IBM 近日提出的全新芯片設計可以通過在數據存儲的位置執(zhí)行計算來加速全連接神經網絡的訓練。研究人員稱，這種「芯片」可以達到 GPU 280 倍的能源效率，并在同樣面積上實現 100 倍的算力。該研究的論文已經發(fā)表在上周出版的 Nature 期刊上。

在最近發(fā)表在Nature上的一篇論文中，IBM Research AI團隊用大規(guī)模的模擬存儲器陣列訓練深度神經網絡（DNN），達到了與GPU相當的精度。研究人員相信，這是在下一次AI突破所需要的硬件加速器發(fā)展道路上邁出的重要一步。

未來人工智能將需要大規(guī)模可擴展的計算單元，無論是在云端還是在邊緣，DNN都會變得更大、更快，這意味著能效必須顯著提高。雖然更好的GPU或其他數字加速器能在某種程度上起到幫助，但這些系統都不可避免地在數據的傳輸，也就是將數據從內存?zhèn)鞯接嬎闾幚韱卧缓蠡貍魃匣ㄙM大量的時間和能量。

模擬技術涉及連續(xù)可變的信號，而不是二進制的0和1，對精度具有內在的限制，這也是為什么現代計算機一般是數字型的。但是，AI研究人員已經開始意識到，即使大幅降低運算的精度，DNN模型也能運行良好。因此，對于DNN來說，模擬計算有可能是可行的。

但是，此前還沒有人給出確鑿的證據，證明使用模擬的方法可以得到與在傳統的數字硬件上運行的軟件相同的結果。也就是說，人們還不清楚DNN是不是真的能夠通過模擬技術進行高精度訓練。如果精度很低，訓練速度再快、再節(jié)能，也沒有意義。

在IBM最新發(fā)表的那篇Nature論文中，研究人員通過實驗，展示了模擬非易失性存儲器（NVM）能夠有效地加速反向傳播（BP）算法，后者是許多最新AI進展的核心。這些NVM存儲器能讓BP算法中的“乘-加”運算在模擬域中并行。

研究人員將一個小電流通過一個電阻器傳遞到一根導線中，然后將許多這樣的導線連接在一起，使電流聚集起來，就實現了大量計算的并行。而且，所有這些都在模擬存儲芯片內完成，不需要數字芯片里數據在存儲單元和和處理單元之間傳輸的過程。

IBM的大規(guī)模模擬存儲器陣列，訓練深度神經網絡達到了GPU的精度

（圖片來源：IBM Research）

由于當前NVM存儲器的固有缺陷，以前的相關實驗都沒有在DNN圖像分類任務上得到很好的精度。但這一次，IBM的研究人員使用創(chuàng)新的技術，改善了很多不完善的地方，將性能大幅提升，在各種不同的網絡上，都實現了與軟件級的DNN精度。

單獨看這個大規(guī)模模擬存儲器陣列里的一個單元，由相變存儲器（PCM）和CMOS電容組成，PCM放長期記憶（權重），短期的更新放在CMOS電容器里，之后再通過特殊的技術，消除器件與器件之間的不同。研究人員表示，這種方法是受了神經科學的啟發(fā)，使用了兩種類型的“突觸”：短期計算和長期記憶。

這些基于NVM的芯片在訓練全連接層方面展現出了極強的潛力，在計算能效 （28,065 GOP/sec/W） 和通量（3.6 TOP/sec/mm^2）上，超過了當前GPU的兩個數量級。

這項研究表明了，基于模擬存儲器的方法，能夠實現與軟件等效的訓練精度，并且在加速和能效上有數量級的提高，為未來設計全新的AI芯片奠定了基礎。研究人員表示，他們接下來將繼續(xù)優(yōu)化，處理全連接層和其他類型的計算。