超算難勝大腦,何不依照神經(jīng)結(jié)構(gòu)打造芯片?
伴隨著第四次工業(yè)革命的到來(lái),人工智能和機(jī)器學(xué)習(xí)成了半導(dǎo)體行業(yè)熱捧的技術(shù)。從訓(xùn)練和推理的角度來(lái)看,這些技術(shù)用到的數(shù)據(jù)量已經(jīng)足夠龐大,但AI芯片依然很難做到像大腦一樣思考。
以目前世界排名第二的超算IBM Summit為例,其運(yùn)算速率已達(dá)200 PFLOPS,但大腦的運(yùn)算性能仍然是它的5倍。研究人員開始反思為何不仿制一個(gè)大腦結(jié)構(gòu)的芯片,依照人體神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)打造的神經(jīng)形態(tài)芯片也因此出爐。
大腦中的神經(jīng)元可以通過(guò)無(wú)數(shù)個(gè)突觸實(shí)現(xiàn)互通,從而快速處理大腦信息,進(jìn)行記憶、推理和計(jì)算?;隈T諾依曼結(jié)構(gòu)的AI芯片依然需要在多個(gè)部件之間進(jìn)行信息傳輸,造成處理速度瓶頸,這也是為何近年來(lái)業(yè)內(nèi)仍在發(fā)展互聯(lián)技術(shù)的原因。
而神經(jīng)形態(tài)芯片基于人腦的架構(gòu),采用了脈沖神經(jīng)網(wǎng)絡(luò)(SNN),不僅顯著提升了處理速度,更是可以同步進(jìn)行多項(xiàng)操作,同時(shí)進(jìn)行數(shù)據(jù)輸入和輸出,且功耗與當(dāng)前的AI芯片相比大大降低。
嗅覺(jué)識(shí)別
2017年11月,英特爾發(fā)布了自己的神經(jīng)形態(tài)芯片Loihi。這一60mm2大小的芯片基于14nm工藝制造,采用了128個(gè)“神經(jīng)核”的設(shè)計(jì),囊括了13萬(wàn)神經(jīng)元。英特爾稱其設(shè)計(jì)基于專為SNN算法優(yōu)化的架構(gòu),每個(gè)神經(jīng)元都可以數(shù)千個(gè)神經(jīng)元相互通信。Loihi支持的SNN運(yùn)算,不需要在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)下進(jìn)行訓(xùn)練。

Loihi芯片 / Intel
去年3月17日,英特爾研究院和美國(guó)康奈爾大學(xué)研究人員聯(lián)合發(fā)表了一篇論文,展示了一種基于哺乳動(dòng)物嗅覺(jué)系統(tǒng)的神經(jīng)算法,即便存在明顯干擾和遮蓋的情況下,英特爾的神經(jīng)形態(tài)芯片Loihi依然可以學(xué)習(xí)和識(shí)別危險(xiǎn)甲苯和一氧化碳等化學(xué)品。此外,由于神經(jīng)形態(tài)芯片的優(yōu)勢(shì),Loihi僅需單一樣本就可以識(shí)別氣味,不像過(guò)去的深度學(xué)習(xí)一樣需要大量的訓(xùn)練樣本。
在與不少學(xué)術(shù)機(jī)構(gòu)合作的過(guò)程中,研究人員同樣發(fā)現(xiàn)Loihi具備超低功耗的特性。在運(yùn)行一個(gè)實(shí)時(shí)深度學(xué)習(xí)測(cè)試中,Loihi的功耗要比一片GPU低109倍,與專用的IoT推理硬件相比低5倍。更棒的是,即便將深度學(xué)習(xí)網(wǎng)絡(luò)的規(guī)模擴(kuò)展50倍,Loihi不僅能夠保持同樣的實(shí)時(shí)性能表現(xiàn),其功耗占用也只有30%而已,而IoT硬件的功耗已經(jīng)高至6倍,且無(wú)法再滿足實(shí)時(shí)處理了。
視覺(jué)識(shí)別
今年1月,澳大利亞斯威本大學(xué)、電子科大和中國(guó)科學(xué)院聯(lián)合發(fā)表了一篇論文,該團(tuán)隊(duì)聲稱打造出了性能最強(qiáng)大的光學(xué)神經(jīng)形態(tài)處理器。領(lǐng)導(dǎo)這項(xiàng)研究工作的David Moss教授聲稱,該芯片基于光微梳打造,可以實(shí)現(xiàn)10 TOPS的運(yùn)算性能。
該芯片可以生成25萬(wàn)像素的圖像卷積,對(duì)于人臉識(shí)別之類的應(yīng)用已經(jīng)綽綽有余。在測(cè)試中,他們?cè)谠撔酒嫌?0個(gè)輸出神經(jīng)元依次組成一個(gè)光學(xué)卷積神經(jīng)網(wǎng)絡(luò),在識(shí)別手寫數(shù)字圖像上準(zhǔn)確率可達(dá)88%。同樣的方法也可以擴(kuò)展到更復(fù)雜的網(wǎng)絡(luò)上,比如用于自動(dòng)駕駛和實(shí)時(shí)視頻識(shí)別等等。

TrueNorth芯片 / IBM
同樣在用神經(jīng)形態(tài)技術(shù)進(jìn)行視覺(jué)識(shí)別的還有IBM,其TrueNorth芯片包含了100萬(wàn)個(gè)神經(jīng)元和2.56億個(gè)突觸。這個(gè)4096個(gè)內(nèi)核的芯片基于三星的28nm工藝制造,支持多對(duì)象檢測(cè)和分類,正常工作情況下的功耗卻只有60至70mW。
視覺(jué)傳感器也開始應(yīng)用神經(jīng)形態(tài)技術(shù),以Prophesee為例,這家公司基于自己神經(jīng)形態(tài)技術(shù),在去年與索尼聯(lián)合發(fā)布了基于事件的工業(yè)級(jí)視覺(jué)傳感器。該公司也在今年7月獲得了創(chuàng)新工場(chǎng)、小米和韋豪創(chuàng)芯的投資。
結(jié)語(yǔ)
從以上案例可以看出,神經(jīng)形態(tài)芯片和人腦結(jié)構(gòu)一樣,在處理龐大的多樣化數(shù)據(jù)上上有著不小的優(yōu)勢(shì)。而傳統(tǒng)AI和機(jī)器學(xué)習(xí)場(chǎng)景中,許多都需要需要大數(shù)據(jù)支持而且無(wú)法完成直接替代,這些應(yīng)用往往也與人類感知器官相關(guān)。
除了嗅覺(jué)和視覺(jué)外,也有像荷蘭初創(chuàng)公司Innatera這樣專注于音頻和健康的神經(jīng)形態(tài)芯片公司??梢哉f(shuō)神經(jīng)形態(tài)芯片在發(fā)揮傳感應(yīng)用的全部性能上,具備著現(xiàn)有AI芯片難以媲美的優(yōu)勢(shì)。
不過(guò)這項(xiàng)技術(shù)在硬件和軟件上尚未成熟,目前大型的神經(jīng)形態(tài)芯片還沒(méi)有出現(xiàn),而且已有的一些算法也很可能難以兼容。憑借其低功耗和小體積的優(yōu)勢(shì),神經(jīng)形態(tài)芯片最對(duì)口的使用場(chǎng)景也許還是移動(dòng)設(shè)備和AIoT。
伴隨著第四次工業(yè)革命的到來(lái),人工智能和機(jī)器學(xué)習(xí)成了半導(dǎo)體行業(yè)熱捧的技術(shù)。從訓(xùn)練和推理的角度來(lái)看,這些技術(shù)用到的數(shù)據(jù)量已經(jīng)足夠龐大,但AI芯片依然很難做到像大腦一樣思考。
以目前世界排名第二的超算IBM Summit為例,其運(yùn)算速率已達(dá)200 PFLOPS,但大腦的運(yùn)算性能仍然是它的5倍。研究人員開始反思為何不仿制一個(gè)大腦結(jié)構(gòu)的芯片,依照人體神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)打造的神經(jīng)形態(tài)芯片也因此出爐。
大腦中的神經(jīng)元可以通過(guò)無(wú)數(shù)個(gè)突觸實(shí)現(xiàn)互通,從而快速處理大腦信息,進(jìn)行記憶、推理和計(jì)算?;隈T諾依曼結(jié)構(gòu)的AI芯片依然需要在多個(gè)部件之間進(jìn)行信息傳輸,造成處理速度瓶頸,這也是為何近年來(lái)業(yè)內(nèi)仍在發(fā)展互聯(lián)技術(shù)的原因。
而神經(jīng)形態(tài)芯片基于人腦的架構(gòu),采用了脈沖神經(jīng)網(wǎng)絡(luò)(SNN),不僅顯著提升了處理速度,更是可以同步進(jìn)行多項(xiàng)操作,同時(shí)進(jìn)行數(shù)據(jù)輸入和輸出,且功耗與當(dāng)前的AI芯片相比大大降低。
嗅覺(jué)識(shí)別
2017年11月,英特爾發(fā)布了自己的神經(jīng)形態(tài)芯片Loihi。這一60mm2大小的芯片基于14nm工藝制造,采用了128個(gè)“神經(jīng)核”的設(shè)計(jì),囊括了13萬(wàn)神經(jīng)元。英特爾稱其設(shè)計(jì)基于專為SNN算法優(yōu)化的架構(gòu),每個(gè)神經(jīng)元都可以數(shù)千個(gè)神經(jīng)元相互通信。Loihi支持的SNN運(yùn)算,不需要在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)下進(jìn)行訓(xùn)練。

Loihi芯片 / Intel
去年3月17日,英特爾研究院和美國(guó)康奈爾大學(xué)研究人員聯(lián)合發(fā)表了一篇論文,展示了一種基于哺乳動(dòng)物嗅覺(jué)系統(tǒng)的神經(jīng)算法,即便存在明顯干擾和遮蓋的情況下,英特爾的神經(jīng)形態(tài)芯片Loihi依然可以學(xué)習(xí)和識(shí)別危險(xiǎn)甲苯和一氧化碳等化學(xué)品。此外,由于神經(jīng)形態(tài)芯片的優(yōu)勢(shì),Loihi僅需單一樣本就可以識(shí)別氣味,不像過(guò)去的深度學(xué)習(xí)一樣需要大量的訓(xùn)練樣本。
在與不少學(xué)術(shù)機(jī)構(gòu)合作的過(guò)程中,研究人員同樣發(fā)現(xiàn)Loihi具備超低功耗的特性。在運(yùn)行一個(gè)實(shí)時(shí)深度學(xué)習(xí)測(cè)試中,Loihi的功耗要比一片GPU低109倍,與專用的IoT推理硬件相比低5倍。更棒的是,即便將深度學(xué)習(xí)網(wǎng)絡(luò)的規(guī)模擴(kuò)展50倍,Loihi不僅能夠保持同樣的實(shí)時(shí)性能表現(xiàn),其功耗占用也只有30%而已,而IoT硬件的功耗已經(jīng)高至6倍,且無(wú)法再滿足實(shí)時(shí)處理了。
視覺(jué)識(shí)別
今年1月,澳大利亞斯威本大學(xué)、電子科大和中國(guó)科學(xué)院聯(lián)合發(fā)表了一篇論文,該團(tuán)隊(duì)聲稱打造出了性能最強(qiáng)大的光學(xué)神經(jīng)形態(tài)處理器。領(lǐng)導(dǎo)這項(xiàng)研究工作的David Moss教授聲稱,該芯片基于光微梳打造,可以實(shí)現(xiàn)10 TOPS的運(yùn)算性能。
該芯片可以生成25萬(wàn)像素的圖像卷積,對(duì)于人臉識(shí)別之類的應(yīng)用已經(jīng)綽綽有余。在測(cè)試中,他們?cè)谠撔酒嫌?0個(gè)輸出神經(jīng)元依次組成一個(gè)光學(xué)卷積神經(jīng)網(wǎng)絡(luò),在識(shí)別手寫數(shù)字圖像上準(zhǔn)確率可達(dá)88%。同樣的方法也可以擴(kuò)展到更復(fù)雜的網(wǎng)絡(luò)上,比如用于自動(dòng)駕駛和實(shí)時(shí)視頻識(shí)別等等。

TrueNorth芯片 / IBM
同樣在用神經(jīng)形態(tài)技術(shù)進(jìn)行視覺(jué)識(shí)別的還有IBM,其TrueNorth芯片包含了100萬(wàn)個(gè)神經(jīng)元和2.56億個(gè)突觸。這個(gè)4096個(gè)內(nèi)核的芯片基于三星的28nm工藝制造,支持多對(duì)象檢測(cè)和分類,正常工作情況下的功耗卻只有60至70mW。
視覺(jué)傳感器也開始應(yīng)用神經(jīng)形態(tài)技術(shù),以Prophesee為例,這家公司基于自己神經(jīng)形態(tài)技術(shù),在去年與索尼聯(lián)合發(fā)布了基于事件的工業(yè)級(jí)視覺(jué)傳感器。該公司也在今年7月獲得了創(chuàng)新工場(chǎng)、小米和韋豪創(chuàng)芯的投資。
結(jié)語(yǔ)
從以上案例可以看出,神經(jīng)形態(tài)芯片和人腦結(jié)構(gòu)一樣,在處理龐大的多樣化數(shù)據(jù)上上有著不小的優(yōu)勢(shì)。而傳統(tǒng)AI和機(jī)器學(xué)習(xí)場(chǎng)景中,許多都需要需要大數(shù)據(jù)支持而且無(wú)法完成直接替代,這些應(yīng)用往往也與人類感知器官相關(guān)。
除了嗅覺(jué)和視覺(jué)外,也有像荷蘭初創(chuàng)公司Innatera這樣專注于音頻和健康的神經(jīng)形態(tài)芯片公司??梢哉f(shuō)神經(jīng)形態(tài)芯片在發(fā)揮傳感應(yīng)用的全部性能上,具備著現(xiàn)有AI芯片難以媲美的優(yōu)勢(shì)。
不過(guò)這項(xiàng)技術(shù)在硬件和軟件上尚未成熟,目前大型的神經(jīng)形態(tài)芯片還沒(méi)有出現(xiàn),而且已有的一些算法也很可能難以兼容。憑借其低功耗和小體積的優(yōu)勢(shì),神經(jīng)形態(tài)芯片最對(duì)口的使用場(chǎng)景也許還是移動(dòng)設(shè)備和AIoT。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
AI
+關(guān)注
關(guān)注
88文章
35136瀏覽量
279749 -
人工智能
+關(guān)注
關(guān)注
1806文章
49014瀏覽量
249425 -
神經(jīng)形態(tài)芯片
+關(guān)注
關(guān)注
0文章
21瀏覽量
13975
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
軟通智算完成超億級(jí)A輪融資,加速AI算力產(chǎn)業(yè)布局
北京 2025年6月18日 /美通社/ -- 近日,軟通動(dòng)力旗下軟通智算科技(廣東)集團(tuán)有限公司(以下簡(jiǎn)稱"軟通智算")完成超億級(jí)A輪融資,本輪融資由盛景嘉成創(chuàng)投領(lǐng)投,廣發(fā)信德、毅達(dá)資本等多家知名
算力網(wǎng)絡(luò)的“神經(jīng)突觸”:AI互聯(lián)技術(shù)如何重構(gòu)分布式訓(xùn)練范式
過(guò)程中,由于單個(gè)AI芯片的算力提升速度無(wú)法跟上模型參數(shù)的增長(zhǎng)速率,再加上龐大的模型參數(shù)和訓(xùn)練數(shù)據(jù),已遠(yuǎn)遠(yuǎn)超出單個(gè)AI芯片甚至單臺(tái)服務(wù)器的能力范圍。因此,需要將數(shù)據(jù)樣本和模型結(jié)構(gòu)分散到多

大算力芯片的生態(tài)突圍與算力革命
電子發(fā)燒友網(wǎng)報(bào)道(文 / 李彎彎)大算力芯片,即具備強(qiáng)大計(jì)算能力的集成電路芯片,主要應(yīng)用于高性能計(jì)算(HPC)、人工智能(AI)、數(shù)據(jù)中心、自動(dòng)駕駛等需要海量數(shù)據(jù)并行計(jì)算的場(chǎng)景。隨著 AI 與大數(shù)
浙江大學(xué)陳紅勝/錢超團(tuán)隊(duì)探討智能超材料與超材料智能的重大進(jìn)展
and metamaterials intelligence”為題,在Nature Communications期刊發(fā)表綜述論文,探討了智能超材料與超材料智能的重大進(jìn)展。浙江大學(xué)錢超研究員為第一兼通訊作者,陳紅

國(guó)家超算平臺(tái)推出AI生態(tài)加速計(jì)劃
昨日,國(guó)家超算互聯(lián)網(wǎng)平臺(tái)正式推出了旨在促進(jìn)AI生態(tài)發(fā)展的新舉措——“AI生態(tài)伙伴加速計(jì)劃”。該計(jì)劃旨在通過(guò)提供一系列激勵(lì)措施,加速AI技術(shù)的創(chuàng)新與應(yīng)用。 作為計(jì)劃的核心內(nèi)容之一,國(guó)家超算
BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)原則
BP(back propagation)神經(jīng)網(wǎng)絡(luò)是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)原則主要基于以下幾個(gè)方面: 一、層次結(jié)構(gòu) 輸入層 :接收外部輸入信號(hào),不

機(jī)器人“大腦+小腦”范式:算力魔方賦能智能自主導(dǎo)航
和實(shí)時(shí)調(diào)整。 這種分工明確的架構(gòu)不僅提高了機(jī)器人的自主性和適應(yīng)性,還為機(jī)器人在復(fù)雜環(huán)境中的應(yīng)用提供了更多可能。 一, 算力魔方 ? : 機(jī) 器人“大腦”的強(qiáng)大算力支撐 在“大腦+小腦”
人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法
所擬合的數(shù)學(xué)模型的形式受到大腦中神經(jīng)元的連接和行為的啟發(fā),最初是為了研究大腦功能而設(shè)計(jì)的。然而,數(shù)據(jù)科學(xué)中常用的神經(jīng)網(wǎng)絡(luò)作為大腦模型已經(jīng)過(guò)時(shí)

超算智算融合 南京信易達(dá)發(fā)布全新“智能算力融合平臺(tái)”
1月7日,南京信易達(dá)發(fā)布了旗下最新算力平臺(tái)“C-MOM智能算力融合平臺(tái)V3.0”,并更新了全新的UI視覺(jué)與交互系統(tǒng)。 該平臺(tái)集成了HPC超算中心、AI智

LSTM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作機(jī)制
網(wǎng)絡(luò)的結(jié)構(gòu)與工作機(jī)制的介紹: 一、LSTM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) LSTM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要包括以下幾個(gè)部分: 記憶單元(Memory Cell)
ETH-X超節(jié)點(diǎn):開辟AI算力約束突破的新路徑
面對(duì)人工智能大模型的迅速發(fā)展及其對(duì)算力資源的急劇增長(zhǎng)需求,單芯片性能提升遭遇瓶頸,同時(shí)通過(guò)Scale Out策略擴(kuò)展多機(jī)集群以增加算力也遇到了局限性。在此背景下,中國(guó)信通院與騰訊攜手GPU、CPU

OpenAI攜手博通臺(tái)積電打造自主芯片
OpenAI正在與博通和臺(tái)積電兩大半導(dǎo)體巨頭攜手合作,共同打造其首款自主研發(fā)的“in-house”芯片,旨在為其人工智能系統(tǒng)提供更強(qiáng)大的算力支持。
《算力芯片 高性能 CPUGPUNPU 微架構(gòu)分析》第二篇閱讀心得:芯片拓?fù)鋵W(xué):并行擴(kuò)展與CPU設(shè)計(jì)的巨頭對(duì)決
1 芯片拓?fù)?b class='flag-5'>結(jié)構(gòu):多核互聯(lián)的藝術(shù)
繼續(xù)深入《算力芯片》一書,第5-6章探討了芯片拓?fù)?b class='flag-5'>結(jié)構(gòu)與經(jīng)典C
發(fā)表于 10-29 01:48
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--全書概覽
本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯
感謝平臺(tái)提供的書籍,厚厚的一本,很有分量,感謝作者的傾力付出成書。
本書主要講算力芯片CPU
發(fā)表于 10-15 22:08
評(píng)論