眾所周知，目前將深度神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)進行匹配的研究正處于瓶頸期。而近期，IBM公司Irem Boybat等人在《Nature Communication》中發(fā)表的文章，有望改善此難題：他們設(shè)計了多記憶突觸結(jié)構(gòu)(multi-memristive synaptic architecture)，能夠在不增加功率密度的情況下提高突觸的精度，并在一個擁有100多萬臺相變存儲器(PCM)器件的脈沖神經(jīng)網(wǎng)絡(luò)(SNN)中對多記憶突觸結(jié)構(gòu)進行了實驗演示。

我們?nèi)祟惖拇竽X可以用低于20瓦的能量來驅(qū)動，再想想我們的筆記本電腦，大約需要消耗80瓦的能量。在能源效率和體積方面，我們的大腦比最先進的超級計算機要多出幾個數(shù)量級。自然，最先進的神經(jīng)網(wǎng)絡(luò)與生物的神經(jīng)網(wǎng)絡(luò)是完全無法抗衡的。造成這個結(jié)果的其中一個原因是現(xiàn)今的計算機的架構(gòu)還是依照馮·諾依曼的思想，即內(nèi)存和處理工作是分開的。這意味著數(shù)據(jù)需要不斷來回穿梭，產(chǎn)生熱量并且需要大量的能量——這是一個效率瓶頸。當(dāng)然，大腦是不存在這個問題的。那么這便是改善該問題的一個突破口。

多記憶突觸(Multi-Memristive Synapse)

多記憶突觸的結(jié)構(gòu)如下圖所示：

多記憶突觸概念

a.一個多記憶突觸的突觸凈權(quán)重(net synaptic weight)是由多記憶設(shè)備(multiple memristive devices)電導(dǎo)累加和()表示。為了實現(xiàn)突觸效能(synaptic efficacy)，所有設(shè)備都使用電壓讀取信號(read voltage signal)，V。通過每個設(shè)備產(chǎn)生的電流被匯總起來，由此產(chǎn)生突觸輸出(synaptic output)。

b.為了捕捉突觸可塑性(synaptic plasticity)，在任何突觸更新時，都只選擇一個裝置。而突觸的更新是通過改變被選擇設(shè)備的電導(dǎo)率來決定的。這個過程是由對所選設(shè)備應(yīng)用恰當(dāng)?shù)?a href="http://www.socialnewsupdate.com/v/tag/1315/" target="_blank">編程脈沖(programming pulse)來實現(xiàn)的。

c.采用一種基于計數(shù)的仲裁機制(counter-based arbitration scheme)來選擇用來編程以實現(xiàn)突觸可塑性的設(shè)備。此處使用一個最大值等于(表示一個突觸的)設(shè)備數(shù)量的全局選擇計數(shù)器。在任何突觸更新的情況下，被選擇計數(shù)器指向的設(shè)備將被編程。隨后，選擇計數(shù)器增加一個固定的量。除了選擇計數(shù)器之外，設(shè)置獨立的增強計數(shù)器和衰減計數(shù)器用來控制增強或衰減事件發(fā)生的頻率。

基于PCM設(shè)備的多記憶突觸

基于相變存儲器(PCM)的突觸

a.PCM器件由夾在頂部和底部電極之間的相變材料層組成。增強脈沖(potentiation pulses)的應(yīng)用可以逐漸增加晶區(qū)(crystalline region)。衰弱脈沖(depression pulse)會產(chǎn)生一個非晶區(qū)，不論設(shè)備的原始狀態(tài)如何都會導(dǎo)致電導(dǎo)的驟然下降。

b.平均電導(dǎo)會隨著不同電流振幅(current amplitude)的脈沖數(shù)而產(chǎn)生變化。每條曲線都是9700個設(shè)備電導(dǎo)測量值的平均。插圖顯示了本研究中使用的一種特征化PCM裝置的透射電子顯微圖。

c.當(dāng)重復(fù)增強和衰弱脈沖時觀察得到的平均累積電導(dǎo)變化。設(shè)備的初始電導(dǎo)為~5μS。

d.當(dāng)脈沖為=100μA時，給9700臺設(shè)備測量電導(dǎo)值的平均和標準誤差(1σ)，相應(yīng)的模型也對應(yīng)相同的設(shè)備數(shù)量。插圖顯示了在第20個增強脈沖后電導(dǎo)的分布，以及由模型所得到的對應(yīng)分布。

e.左圖顯示了在同一個PCM設(shè)備上應(yīng)用1000次的單個脈沖所引起的電導(dǎo)變化的典型分布。該脈沖作為第四個增強脈沖，應(yīng)用到設(shè)備上。用同樣的測量方式在不同的1000臺PCM設(shè)備上重復(fù)，并在插圖顯示這1000個設(shè)備的平均和標準誤差。右圖顯示了單個脈沖在1000個設(shè)備上引起的電導(dǎo)變化的典型分布。該脈沖作為第四個增強脈沖應(yīng)用到設(shè)備上。同樣的測量在1000個電導(dǎo)變化中重復(fù)進行，插圖顯示了1000個電導(dǎo)變化中的平均和標準誤差?？梢钥闯?，設(shè)備間和設(shè)備內(nèi)的可變性是可以比較的。

基于PCM的多記憶突觸

a.對第1、3和7PCM設(shè)備進行實驗，得到突觸的平均累積電導(dǎo)變化。測量是基于1000個突觸，每個設(shè)備的電導(dǎo)都初始化為~5μS。對于增強實驗，脈沖值選擇μA，而衰弱實驗中，脈沖值選擇=450μA。

b.分別用10、30和70個增強脈沖對第1、3和7個PCM突觸進行應(yīng)用后，得到累積電導(dǎo)變化的分布。均值和方差幾乎與每個突觸設(shè)備數(shù)量呈線性關(guān)系，可引出一種改良的權(quán)重更新解決方案。

手寫體數(shù)字分類的仿真效果

多記憶突觸在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

a.利用反向傳播訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)進行手寫數(shù)字分類。在輸入層和隱藏層中使用偏置神經(jīng)元(bias neurons)(白色)。利用PCM器件的非線性電導(dǎo)響應(yīng)，建立了一種多模態(tài)突觸模型，用于表征這些模擬中的突觸權(quán)重。增加多記憶突觸裝置的數(shù)量(包括有差別結(jié)構(gòu)和無差別結(jié)構(gòu))可以提高測試的準確性。對五種不同的初始化權(quán)重進行了重復(fù)模擬。誤差條(error bars)表示標準偏差。虛線顯示了在雙精度浮點軟件上實驗得到的測試精度。

b.使用基于STDP的學(xué)習(xí)規(guī)則對手寫數(shù)字分類任務(wù)進行了脈沖神經(jīng)網(wǎng)絡(luò)(SNN)的訓(xùn)練。同樣地，在該模擬中一個多記憶突觸模型表示突觸權(quán)重(設(shè)備存在有差別和無差別)。網(wǎng)絡(luò)的分類精度隨著每個突觸的設(shè)備數(shù)量而增加。對五種不同的初始化權(quán)重進行了重復(fù)模擬。誤差條(error bars)表示標準偏差。虛線顯示了在雙精度浮點軟件上實驗得到的測試精度。

時間相關(guān)性檢測的實驗結(jié)果

多記憶突觸在神經(jīng)網(wǎng)絡(luò)中的實驗演示

a.通過無監(jiān)督學(xué)習(xí)訓(xùn)練了脈沖神經(jīng)網(wǎng)絡(luò)，完成時間相關(guān)檢測任務(wù)。我們的網(wǎng)絡(luò)由1000個多PCM突觸(在硬件上)組成，連接到一個Integrate-And-Fire(I&F)神經(jīng)元上。突觸接收到由泊松分布產(chǎn)生的基于事件的數(shù)據(jù)流，作為前突觸(presynaptic)輸入峰值。100個突觸接收到相關(guān)數(shù)據(jù)流，相關(guān)系數(shù)為0.75，而其他突觸則接收到不相關(guān)的數(shù)據(jù)流。相關(guān)的和非相關(guān)的數(shù)據(jù)流都有相同的速率。由此產(chǎn)生的后突觸(postsynaptic)輸出在神經(jīng)元膜上累積?；谳斎敕逯岛蜕窠?jīng)元峰值的時間，使用指數(shù)STDP規(guī)則進行權(quán)重更新的計算。如果期望的權(quán)重變化大于(小于)閾值，則應(yīng)用具有固定振幅的增強(衰弱)脈沖。

b.在實驗結(jié)束時，顯示了由N = 1、3和7個PCM設(shè)備組成的突觸權(quán)重?？梢钥闯?，接受相關(guān)輸入的突觸的權(quán)重往往大于接受不相關(guān)輸入的突觸的權(quán)重。隨著N的增加，權(quán)重分布更加清晰。

c.在實驗的前300個步驟中，是六個突觸權(quán)重的變化。隨著每個突觸的設(shè)備數(shù)量的增加，權(quán)重也逐漸增加。

d.在最后的實驗中，顯示的是由144000多元PCM突觸(每個突觸有7臺設(shè)備)組成的一個SNN的突觸權(quán)重分布。14400個突觸接收到相關(guān)的輸入數(shù)據(jù)流，相關(guān)系數(shù)為0.75。這次大規(guī)模實驗共使用了1008000個PCM設(shè)備。下方板顯示了PCM設(shè)備模型預(yù)測的突觸權(quán)重分布。