電子發(fā)燒友網(wǎng)(文/莫婷婷)生成式AI(AIGC)成為行業(yè)關(guān)注重點(diǎn),例如Open AI推出的ChatGPT。就在近期Open AI將其升級為ChatGPT4,支持圖片的輸入和分析、更強(qiáng)的推理能力、更加復(fù)雜的指令,并更加具有創(chuàng)造性。ChatGPT的出現(xiàn)引發(fā)AI行業(yè)的新一輪技術(shù)升級,特別是針對算力需求相關(guān)的技術(shù)。
回顧算力的發(fā)展歷程,深度計算在十年的發(fā)展過程中已經(jīng)從AI1.0進(jìn)入AI2.0階段。AI正從解析式到生成式,并且應(yīng)用場景爆發(fā),墨芯人工智能創(chuàng)始人兼CEO王維在公開演講時表示,“生成式給大家打開了應(yīng)用的想象空間和大門,商業(yè)化不再是唯一擔(dān)心重點(diǎn),更需要擔(dān)心的是如何能夠趕上潮流的速度。”
如果將AI時代劃分,AI 1. 0時代是小模型時代,那么AI2. 0時代就是以Transformer為基礎(chǔ)的大模型時代,此時算力出現(xiàn)了根本性的變化,而且是挑戰(zhàn)性的變化,王維指出這種挑戰(zhàn)性體現(xiàn)在算力增長和推理速度上。
AI 1.0時代針對細(xì)分應(yīng)用場景訓(xùn)練小模型,研發(fā)和部署的周期較短,可能是以周、月為單位進(jìn)行部署,對算力的需求更多是通用性和易用性。成本、功耗在大部分的應(yīng)用場景不是“痛點(diǎn)”,只是“癢點(diǎn)”。
到了AI2.0時代,Transformer模型參數(shù)每兩年增長達(dá)到275倍,并且還會持續(xù)增長,算力需求平均每3.5個月翻一倍,對算力的需求是拓展性,會更加關(guān)注算力能不能跟上需求的速度,從而實(shí)現(xiàn)更大規(guī)模的拓展模型,用更先進(jìn)、更聰明的方法訓(xùn)練出更厲害的預(yù)訓(xùn)練模型。
王維認(rèn)為,Transformer模型需要在訓(xùn)練方面上找到更聰明的方法,使得它在生成式上實(shí)現(xiàn)臨界點(diǎn)的突破。而強(qiáng)調(diào)軟硬件協(xié)同設(shè)計的AI芯片,稀疏計算被認(rèn)為最具有發(fā)展?jié)摿?,也是學(xué)術(shù)和行業(yè)巨頭都在研究方向。
資料顯示,稀疏性計算是指剔除計算中不必要、沒用的計算,通過降低不必要的存儲和計算,加快計算速度、提升部署性能。更聰明的計算,只計算真正有用的元素,正是稀疏化計算的本質(zhì)。
就在2022年,墨芯人工智能宣布發(fā)布第一代芯片英騰處理器ANTOUM,官方表示通過多的剪枝和壓縮計算,該產(chǎn)品以32倍稀疏率打破業(yè)界紀(jì)錄,將市場現(xiàn)有產(chǎn)品的稀疏倍率提升16倍。作為稀疏化計算領(lǐng)域的國內(nèi)廠商,墨芯人工智能的產(chǎn)品和稀疏化計算在AIGC的火爆下獲得更多關(guān)注。
圖源:墨芯人工智能
基于ANTOUM芯片,墨芯人工智能推出了S4、S10和S30計算卡,拉開了稀疏計算與稠密計算較量的序幕。在2022年9月,官方宣布12nm的S30計算卡以14000FPS的算力,打敗英偉達(dá)4nm的H100,成為ResNet-50模型算力全球第一。此外,墨芯S4、S30功耗僅為主流GPU的18%、53%。
在當(dāng)下的行業(yè)需求下,稀疏計算的技術(shù)優(yōu)勢被進(jìn)一步放大,也成為國產(chǎn)AI芯片廠商能夠在一個更高的維度上和國際霸主進(jìn)行競爭和挑戰(zhàn)的機(jī)會。在國內(nèi)市場,隨著AIGC實(shí)現(xiàn)商業(yè)模式變革,墨芯人工智能等國產(chǎn)算力芯片廠商將有機(jī)會獲得更大的成長空間。
-
AIGC
+關(guān)注
關(guān)注
1文章
387瀏覽量
2459
發(fā)布評論請先 登錄
評論