電子發(fā)燒友網(wǎng)報道（文/李彎彎）AI、5G等新興產(chǎn)業(yè)的蓬勃發(fā)展催生了海量數(shù)據(jù)計算需求，同時AI算法模型持續(xù)迭代，復(fù)雜化日益凸顯，數(shù)字經(jīng)濟(jì)時代下市場需要強(qiáng)大、普惠的算力引擎。而從供給端來看，先進(jìn)制程的迭代周期變長，使得芯片能效比的提升并不顯著。

針對AI應(yīng)用特點(diǎn)實現(xiàn)硬件架構(gòu)創(chuàng)新是必然趨勢，墨芯人工智能CEO王維在某論壇上談到，依托對AI的理解用軟硬一體解決算力瓶頸問題是行業(yè)公認(rèn)的發(fā)展方向。他認(rèn)為，稀疏化能夠有效應(yīng)對算力瓶頸，實現(xiàn)原理是，不存儲和不處理零值，從而得到更小且更快的模型。

軟硬一體化稀疏路徑符合AI計算核心訴求

軟硬一體化稀疏路徑符合AI計算高吞吐、低功耗、低延時的核心需求。AI稀疏產(chǎn)業(yè)化的成功要素包括：1、跨算法、軟件、硬件領(lǐng)域的協(xié)同開發(fā)；2、擁有持續(xù)多層次優(yōu)化稀疏運(yùn)算的底層算法能力；3、架構(gòu)需保證可編程性、高度可拓展屬性及快速迭代能力。

稀疏化路徑已具備批量化工程應(yīng)用能力。英偉達(dá)在2020年推出的A100產(chǎn)品中，就率先引入稀疏Tensor Core實現(xiàn)4：2結(jié)構(gòu)化稀疏，稀疏是神經(jīng)網(wǎng)絡(luò)輕量化的重要手段，英偉達(dá)稀疏化產(chǎn)品有效引領(lǐng)市場應(yīng)用趨勢。稀疏化架構(gòu)可與現(xiàn)有AI軟件生態(tài)深度適配，例如英偉達(dá)直接使用Tensor Core進(jìn)行稀疏矩陣乘累加操作，無需進(jìn)行底層編程。

基于雙稀疏特點(diǎn)，自研核心AI架構(gòu)

墨芯是全球最早研發(fā)稀疏化算法及架構(gòu)的企業(yè)，并在2018年開始稀疏化的全球?qū)＠季?，該公司也是最早商用稀疏化產(chǎn)品實現(xiàn)銷售的，第一款FPGA產(chǎn)品在2019年Q4開始產(chǎn)生銷售。

王維表示，現(xiàn)有芯片架構(gòu)設(shè)計在稀疏化支持中面臨較大局限，比如CPU架構(gòu)，可支持跳點(diǎn)運(yùn)算，但因其算力限制，僅能夠支持邊緣端應(yīng)用，無法支持更大的模型，再比如GPU架構(gòu)，只能進(jìn)行并行計算，所有元素（包括0元素）均參與運(yùn)算，無法實現(xiàn)高倍數(shù)加速。

基于雙稀疏特點(diǎn)，墨芯自研核心AI架構(gòu)。其雙稀疏架構(gòu)設(shè)計理念：平衡的權(quán)重和激活張量剪枝技術(shù)，可將精度損失降至最低的前提下保持對硬件的友好度；墨芯獨(dú)有的剪枝和壓縮技術(shù)可以再許多網(wǎng)絡(luò)和應(yīng)用中實現(xiàn)最多高到32倍的稀疏。

墨芯首款稀疏化云端AI芯片Antoum-1已經(jīng)回片，實測性能ResNet 50超33000SPS；墨芯板卡S4（單顆Antoum-1）僅30W功耗，實測性能實現(xiàn)英偉達(dá)主流產(chǎn)品T4近16倍能效比；墨芯板卡S4對比英偉達(dá)主流產(chǎn)品Latency可以做到1/4-1/5。

稀疏化計算產(chǎn)品商業(yè)落地，將賦能AI產(chǎn)業(yè)變革。一、助力云服務(wù)商降低單位算力擁有成本，2021年，Nvidia在中國營收超過38億美金，其中阿里，騰訊等頭部互聯(lián)網(wǎng)公司采購金額基本超過1億美金。隨著AI持續(xù)發(fā)展，數(shù)據(jù)量的指數(shù)上升導(dǎo)致AI芯片的需求會持續(xù)上升，云服務(wù)商采購額將逐年增加，因此他們對降低成本的訴求非常強(qiáng)勁，基于Antoum-1的推理卡S4相較于英偉達(dá)對標(biāo)推理卡T4，ResNest50及BERT每FPS/SPS成本降低約85%。

二、助力云服務(wù)商縮減能耗成本，電費(fèi)支出是數(shù)據(jù)中心最大的營業(yè)成本，平均數(shù)據(jù)中心近60%的營業(yè)成本是電力成本，降低能耗是數(shù)據(jù)中心和云服務(wù)商的最大痛點(diǎn)，2021年全國數(shù)據(jù)中心的耗電量占社會總用電的近3%，且增長率已連續(xù)8年超過12%，基于Antoum-1的推理卡S4相較于Nvidia主力推理卡T4，ResNest50及BERT每FPS/SPS能耗成本降低約90%。

小結(jié)

目前基于稀疏化的AI架構(gòu)主要面向云端訓(xùn)練場景，不過理論上來說，稀疏化訓(xùn)練由于能大幅降低對內(nèi)存、帶寬與計算的需求，十分適合訓(xùn)練，未來墨芯在滿足推理市場的需求后，將切入訓(xùn)練市場，建立稀疏訓(xùn)練生態(tài)，產(chǎn)品在軟件層面對訓(xùn)練做更多的開發(fā)，支持訓(xùn)練專用的算子，同時硬件上也會為訓(xùn)練定義架構(gòu)。