NM-SpMM:面向國(guó)產(chǎn)異構(gòu)向量處理器的半結(jié)構(gòu)化稀疏矩陣乘算法

摘要： 深度神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域取得了優(yōu)異的成果，由于智能應(yīng)用處理數(shù)據(jù)規(guī)模的增長(zhǎng)和大模型的快速發(fā)展，對(duì)深度神經(jīng)網(wǎng)絡(luò)的推理性能要求越來(lái)越高，N∶M半結(jié)構(gòu)化稀疏化技術(shù)成為平衡算力需求和應(yīng)用效果的熱點(diǎn)技術(shù)之一。國(guó)產(chǎn)異構(gòu)向量處理器FT-M7032為智能模型處理中的數(shù)據(jù)并行和指令并行開(kāi)發(fā)提供了較大空間。針對(duì)N∶M半結(jié)構(gòu)化稀疏模型計(jì)算稀疏模式多樣性，提出了一種面向FT-M703...