總部在加利福尼亞州歐文市的Syntiant公司和總部在德克薩斯州奧斯汀的Mythic公司都認(rèn)為,它們可以使用嵌入式閃存來大大減少執(zhí)行深度學(xué)習(xí)計(jì)算所需的電力。它們可能都是對(duì)的。
越來越多的公司希望推出加速其他計(jì)算繁重的深度學(xué)習(xí)應(yīng)用的芯片,并且在某種程度上它們都有相似之處,因?yàn)椤斑@些是面向相同形態(tài)的一類問題的解決方案”,Mythic創(chuàng)始人兼CTODaveFick解釋說。
當(dāng)在CPU中執(zhí)行深度學(xué)習(xí)計(jì)算時(shí),那類問題在形態(tài)上就像數(shù)據(jù)的交通堵塞。神經(jīng)網(wǎng)絡(luò)由連接和表示那些連接有多強(qiáng)的“權(quán)重”組成,必須移動(dòng)這些權(quán)重以便它們可以在正確的時(shí)間和位置以數(shù)字方式被表示,是如今的深度學(xué)習(xí)中主要的耗能之處。
Syntiant的CEOKurtBush解釋說:“我們的方法是通過在內(nèi)存中進(jìn)行計(jì)算來完全消除內(nèi)存帶寬和內(nèi)存功耗的penalties問題”。
Syntiant和Mythic這兩家公司所采用的方法中,網(wǎng)絡(luò)權(quán)重實(shí)際上是存儲(chǔ)在閃存單元陣列中的電荷水平。電荷改變了流過電池的電流量,電池是以電流可產(chǎn)出至關(guān)重要的“乘法和累加”運(yùn)算的方式排列的,這樣的運(yùn)算是能從日落中讀出停止信號(hào)或從“大灰獅子狗”中讀出“OKGoogle”的網(wǎng)絡(luò)所需要的。
因?yàn)闄?quán)重總是在它們需要在的位置,所以不需要花費(fèi)任何時(shí)間或精力來移動(dòng)它們。計(jì)算的模擬性質(zhì)也使得功耗保持在低水平。雖然訓(xùn)練神經(jīng)網(wǎng)絡(luò)通常是通過使用相當(dāng)精確的(8位或16位)數(shù)字進(jìn)行計(jì)算來實(shí)現(xiàn)的,但實(shí)際上,使用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)(稱為推理)可以更快地完成,并且可以使用更低精度的數(shù)字(5位或者甚至3位)作為權(quán)重以更低的功耗完成。Busch說:“通過模擬計(jì)算,你可以建立低精度但非常非常準(zhǔn)確的乘法和累加運(yùn)算”。
Mythic的目標(biāo)是每次乘法和累加運(yùn)算僅消耗0.5焦耳,這將導(dǎo)致每瓦特可支持約4萬億次操作(TOPS/W)。Syntiant希望達(dá)到20TOPS/W。根據(jù)Syntiant的說法,NvidiaVoltaV100GPU可以達(dá)到0.4TOPS/W。然而,F(xiàn)ick指出,在機(jī)器學(xué)習(xí)領(lǐng)域,真正的蘋果對(duì)蘋果(apples-to-apples)的比較是很難確定的。
每個(gè)創(chuàng)業(yè)公司在多大范圍使用模擬電路,是它們之間的關(guān)鍵差異。Syntiant的整個(gè)網(wǎng)絡(luò)都是模擬的,而Mythic環(huán)繞著帶有可編程數(shù)字電路的模擬閃存陣列。Mythic使用周圍的電路來增加其芯片可以運(yùn)行的網(wǎng)絡(luò)的大小和類型的靈活性。Fick說:“在我們的芯片上,所有的網(wǎng)絡(luò)拓?fù)涞倪\(yùn)行效率大致相同”。
這種差異也會(huì)影響兩家公司的目標(biāo)客戶和應(yīng)用程序。在Syntiant,“我們經(jīng)常說,Mythic百分之百出現(xiàn)在投資會(huì)議上,而從不對(duì)顧客這樣表現(xiàn)殷勤”,Busch說。兩家公司都表示他們正在尋求增加處在前沿的人工智能領(lǐng)域的客戶。但人工智能是一個(gè)寬泛的范疇,包括從自動(dòng)駕駛汽車到人工智能增強(qiáng)助聽器的所有內(nèi)容。
Syntiant正在尋求較小的、通常為毫瓦級(jí)的電力應(yīng)用。它的第一個(gè)設(shè)備將能執(zhí)行諸如識(shí)別喚醒詞和識(shí)別說話者之類的事情。
Mythic正在開發(fā)需要更復(fù)雜網(wǎng)絡(luò)的應(yīng)用程序,這些網(wǎng)絡(luò)能夠在具有很低的一位數(shù)瓦特功率的系統(tǒng)中處理高分辨率視頻,例如自動(dòng)無人機(jī)和智能手機(jī)。Fick說,這些應(yīng)用程序所需的每秒操作數(shù)與Syntiant的那些應(yīng)用程序所追求的每秒操作數(shù)之間存在數(shù)量級(jí)的差異。
-
智能手機(jī)
+關(guān)注
關(guān)注
66文章
18624瀏覽量
183862 -
嵌入式
+關(guān)注
關(guān)注
5152文章
19675瀏覽量
317671 -
無人機(jī)
+關(guān)注
關(guān)注
231文章
10845瀏覽量
186846 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5561瀏覽量
122803
原文標(biāo)題:兩家初創(chuàng)公司都使用嵌入式閃存來減少執(zhí)行深度學(xué)習(xí)計(jì)算所需的電力
文章出處:【微信號(hào):IEEE_China,微信公眾號(hào):IEEE電氣電子工程師】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
Linux嵌入式和單片機(jī)嵌入式的區(qū)別?
嵌入式力矩電機(jī)的設(shè)計(jì)方法研究
嵌入式系統(tǒng)中的代碼優(yōu)化與壓縮技術(shù)
如何提高嵌入式代碼質(zhì)量?
LDO在嵌入式系統(tǒng)中的應(yīng)用 常見LDO故障及解決方法
新手怎么學(xué)嵌入式?
嵌入式超火的方向有哪些?
嵌入式學(xué)習(xí)建議
嵌入式工控機(jī)如何使用?嵌入式工控機(jī)操作方法及注意事項(xiàng)
什么是嵌入式?一文讀懂嵌入式主板
嵌入式主板是什么意思?嵌入式主板全面解析
嵌入式開發(fā)常見問題排查

評(píng)論