機(jī)器學(xué)習(xí)和深度學(xué)習(xí)已經(jīng)成為我們生活中不可或缺的一部分。通過(guò)自然語(yǔ)言處理（NLP）、圖像分類(lèi)和對(duì)象檢測(cè)的人工智能（AI）應(yīng)用已經(jīng)深入到我們?cè)S多設(shè)備中。大多數(shù)人工智能應(yīng)用程序都是通過(guò)基于云的引擎提供服務(wù)，這些引擎可以很好地為它們的用途提供基礎(chǔ)支持，比如在Gmail中輸入電子郵件回復(fù)時(shí)獲得單詞預(yù)測(cè)。

盡管我們很享受這些人工智能應(yīng)用所帶來(lái)的好處，但這種方法也帶來(lái)了隱私、功耗、延遲和成本方面的挑戰(zhàn)。如果在數(shù)據(jù)起源處有一個(gè)本地處理引擎能夠執(zhí)行部分或全部計(jì)算（推理），則可以解決這些挑戰(zhàn)。這在傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中是很難做到的，在這種情況下，內(nèi)存成為了耗電的瓶頸。這個(gè)問(wèn)題可以通過(guò)多層內(nèi)存和使用模擬內(nèi)存計(jì)算方法來(lái)解決，這些計(jì)算方法可讓處理引擎能夠滿(mǎn)足在網(wǎng)絡(luò)邊緣執(zhí)行人工智能推斷所需的更低的毫瓦到微瓦的功率要求。

云計(jì)算的挑戰(zhàn)

當(dāng)人工智能應(yīng)用程序通過(guò)基于云的引擎提供服務(wù)時(shí)，用戶(hù)必須上傳一些數(shù)據(jù)到云中，由計(jì)算引擎處理數(shù)據(jù)，提供預(yù)測(cè)，并將預(yù)測(cè)發(fā)送到下游，供用戶(hù)使用。

在這一進(jìn)程中也有一些困難：

1.隱私和安全問(wèn)題：對(duì)于始終在線的、感知的設(shè)備，人們擔(dān)心個(gè)人數(shù)據(jù)在上傳期間或在數(shù)據(jù)中心的存儲(chǔ)期間被濫用。

2.不必要的功耗：如果每個(gè)數(shù)據(jù)位都被云計(jì)算占用，那么它就會(huì)消耗來(lái)自硬件、無(wú)線電、傳輸和云計(jì)算的能量。

3.小批量推理的延遲：如果數(shù)據(jù)來(lái)自邊緣，則從基于云的系統(tǒng)獲得響應(yīng)可能需要一秒或更長(zhǎng)的時(shí)間。對(duì)于人類(lèi)的感官來(lái)說(shuō)，任何超過(guò)100毫秒的延遲都是顯而易見(jiàn)的。

4.數(shù)據(jù)經(jīng)濟(jì)：傳感器無(wú)處不在，而且它們非常便宜;然而，他們產(chǎn)生了大量的數(shù)據(jù)。將所有數(shù)據(jù)上傳到云端并進(jìn)行處理似乎毫無(wú)經(jīng)濟(jì)可言。

通過(guò)使用本地處理引擎來(lái)解決這些挑戰(zhàn)，執(zhí)行推理操作的神經(jīng)網(wǎng)絡(luò)模型，首先要針對(duì)所需用例使用給定的數(shù)據(jù)集進(jìn)行培訓(xùn)。通常，這需要高計(jì)算資源和浮點(diǎn)算術(shù)運(yùn)算。因此，機(jī)器學(xué)習(xí)解決方案的訓(xùn)練部分仍然需要在公共或私有云（或本地GPU、CPU、FPGA場(chǎng)）上使用數(shù)據(jù)集完成，以生成最優(yōu)的神經(jīng)網(wǎng)絡(luò)模型。一旦神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)備就緒，神經(jīng)網(wǎng)絡(luò)模型就不需要反向傳播進(jìn)行推理操作，因此該模型可以進(jìn)一步針對(duì)具有小型計(jì)算引擎的本地硬件進(jìn)行優(yōu)化。一個(gè)推理引擎通常需要大量的多重累加（MAC）單元，然后是一個(gè)激活層，如整流線性單元（ReLU）、sigmoid或tanh，這取決于神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜性和層之間的池化層。

大多數(shù)神經(jīng)網(wǎng)絡(luò)模型需要大量的MAC操作。例如，即使一個(gè)相對(duì)較小的“1.0 MobileNet-224”模型也有420萬(wàn)個(gè)參數(shù)（權(quán)重），需要5.69億個(gè)MAC操作來(lái)執(zhí)行推斷。由于大多數(shù)模型由MAC操作主導(dǎo)，這里的重點(diǎn)將放在機(jī)器學(xué)習(xí)計(jì)算的這一部分，并探索創(chuàng)建更好的解決方案的機(jī)會(huì)。圖2顯示了簡(jiǎn)單的、完全連通的兩層網(wǎng)絡(luò)。

輸入神經(jīng)元（數(shù)據(jù)）使用第一層權(quán)值進(jìn)行處理。第一層的輸出神經(jīng)元然后與第二層的權(quán)重進(jìn)行處理，并提供預(yù)測(cè)（比如，該模型是否能夠在給定的圖像中找到一張貓臉）。這些神經(jīng)網(wǎng)絡(luò)模型使用“點(diǎn)積”來(lái)計(jì)算每一層的每一個(gè)神經(jīng)元，如下式所示（為了簡(jiǎn)化，在方程中省略“偏差”項(xiàng)）：

數(shù)字計(jì)算的內(nèi)存瓶頸

在數(shù)字神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中，權(quán)值和輸入的數(shù)據(jù)存儲(chǔ)在DRAM/SRAM中。權(quán)重和輸入數(shù)據(jù)需要移動(dòng)到MAC引擎進(jìn)行推理。如下圖所示，這種方法在獲取模型參數(shù)和將數(shù)據(jù)輸入到實(shí)際MAC操作發(fā)生的算術(shù)邏輯單元（ALU）時(shí)消耗了大部分能量。

從能量的角度來(lái)看——一個(gè)典型的MAC操作使用數(shù)字邏輯門(mén)消耗大約250飛托焦耳（fJ，或10 - 15焦耳）的能量，但在數(shù)據(jù)傳輸過(guò)程中消耗的能量比計(jì)算本身要多兩個(gè)數(shù)量級(jí)，大概在50皮焦耳（pJ，或10 - 12焦耳）到100pJ之間。

公平地說(shuō)，有許多設(shè)計(jì)技術(shù)從內(nèi)存到ALU的數(shù)據(jù)傳輸可以最小化;然而，整個(gè)數(shù)字方案仍然受到馮·諾依曼架構(gòu)的限制——因此這為減少能源浪費(fèi)提供了巨大的機(jī)會(huì)。如果執(zhí)行MAC操作的能量可以從~100pJ降低到pJ的一個(gè)分?jǐn)?shù)會(huì)是什么結(jié)果？

使用內(nèi)存中的模擬計(jì)算消除內(nèi)存瓶頸

當(dāng)內(nèi)存本身可以用來(lái)減少計(jì)算所需的功耗時(shí)，在邊緣執(zhí)行推理操作就變得非常省電。使用內(nèi)存中的計(jì)算方法可以將必須移動(dòng)的數(shù)據(jù)量最小化。這反過(guò)來(lái)又消除了數(shù)據(jù)傳輸過(guò)程中所浪費(fèi)的能量。采用超低有功功率耗散、待機(jī)狀態(tài)下幾乎無(wú)能量耗散的閃速電池，也會(huì)進(jìn)一步降低了系統(tǒng)的能量耗散。

這種方法的一個(gè)案例是來(lái)自Microchip公司的Silicon Storage Technology （SST） ——memBrain?技術(shù)?；赟ST的SuperFlash?內(nèi)存技術(shù)，解決方案包括一個(gè)內(nèi)存計(jì)算架構(gòu)，可以在存儲(chǔ)推理模型的權(quán)重的地方進(jìn)行計(jì)算。這消除了MAC計(jì)算中的內(nèi)存瓶頸，因?yàn)闄?quán)重沒(méi)有數(shù)據(jù)移動(dòng)——只有輸入數(shù)據(jù)需要從輸入傳感器（如攝像頭或麥克風(fēng)）移動(dòng)到內(nèi)存陣列。

這個(gè)內(nèi)存的概念基于兩個(gè)因素：（a）模擬電流響應(yīng)從一個(gè)晶體管是基于其閾值電壓（Vt）和輸入數(shù)據(jù)，和（b）基爾霍夫電流定律，即導(dǎo)體網(wǎng)絡(luò)中在一點(diǎn)相接的電流的代數(shù)和為零。

理解基本的非易失性?xún)?nèi)存（NVM）位元組（bitcell）同等很重要，它被用在這種多層內(nèi)存架構(gòu)中。下圖（圖4）是兩個(gè)ESF3（嵌入式SuperFlash第三代）位元的橫截面，它們具有共享擦除門(mén)（EG）和源線（SL）。每個(gè)位元有五個(gè)終端：控制門(mén)（CG）、工作線（WL）、擦除門(mén)（EG）、源線（SL）和位線（BL）。擦除操作是通過(guò)在EG上施加高壓來(lái)完成的。對(duì)WL、CG、BL、SL施加高/低電壓偏置信號(hào)進(jìn)行編程操作，對(duì)WL、CG、BL、SL施加低電壓偏置信號(hào)進(jìn)行讀操作。

使用這種內(nèi)存架構(gòu)，用戶(hù)可以通過(guò)細(xì)粒度的編程操作在不同的Vt級(jí)別上對(duì)內(nèi)存位單元進(jìn)行編程。該存儲(chǔ)技術(shù)利用一種智能算法來(lái)調(diào)整存儲(chǔ)單元的浮動(dòng)門(mén)（FG） Vt，以實(shí)現(xiàn)輸入電壓的一定電流響應(yīng)。根據(jù)最終應(yīng)用的需要，我們可以在線性或閾下工作區(qū)域?qū)卧M(jìn)行編程。

下圖演示了在內(nèi)存單元上存儲(chǔ)和讀取多個(gè)級(jí)別的功能。假設(shè)我們?cè)噲D在內(nèi)存單元中存儲(chǔ)一個(gè)2位整數(shù)值。對(duì)于這個(gè)場(chǎng)景，我們需要用2位整數(shù)值（00、01、10、11）的四個(gè)可能值中的一個(gè)對(duì)內(nèi)存數(shù)組中的每個(gè)單元進(jìn)行編程。下面的四條曲線是四種可能狀態(tài)的IV曲線，電池的電流響應(yīng)取決于施加在CG上的電壓。

使用內(nèi)存計(jì)算的乘法累加操作

每個(gè)ESF3單元都可以建模為可變電導(dǎo)（gm）。電導(dǎo)的ESF3細(xì)胞取決于浮動(dòng)?xùn)臯t的編程細(xì)胞。將訓(xùn)練模型的權(quán)值編程為記憶單元的浮動(dòng)門(mén)Vt，因此，單元的gm表示訓(xùn)練模型的權(quán)值。當(dāng)輸入電壓（Vin）作用于ESF3電池時(shí)，輸出電流（Iout）由公式Iout = gm * Vin給出，它是輸入電壓與儲(chǔ)存在ESF3電池上的重量之間的乘法運(yùn)算。

圖6演示了一個(gè)小數(shù)組配置（2×2數(shù)組）中的乘法累加概念，其中累加操作是通過(guò)添加連接到同一列（例如I1 = I11 + I21）的輸出電流來(lái)執(zhí)行的。激活功能可以在ADC塊內(nèi)執(zhí)行，也可以在內(nèi)存塊外的數(shù)字實(shí)現(xiàn)中執(zhí)行，具體取決于應(yīng)用程序。

我們?cè)诟叩膶哟紊线M(jìn)一步闡明這一概念——來(lái)自訓(xùn)練模型的單個(gè)權(quán)值被編程為內(nèi)存單元的浮動(dòng)門(mén)Vt，因此來(lái)自訓(xùn)練模型的每一層（假設(shè)是一個(gè)全連接層）的所有權(quán)值都可以在一個(gè)物理上看起來(lái)像權(quán)值矩陣的內(nèi)存陣列上編程。

對(duì)于推理操作，我們首先使用數(shù)模轉(zhuǎn)換器（DAC）將數(shù)字輸入（比如圖像像素）轉(zhuǎn)換為模擬信號(hào)，并應(yīng)用于內(nèi)存陣列。然后，該陣列對(duì)給定的輸入向量并行執(zhí)行數(shù)千次MAC操作，并產(chǎn)生可進(jìn)入相應(yīng)神經(jīng)元激活階段的輸出，然后使用模數(shù)轉(zhuǎn)換器（ADC）將其轉(zhuǎn)換回數(shù)字信號(hào)。數(shù)字信號(hào)在進(jìn)入下一層之前被處理成池。

這種類(lèi)型的內(nèi)存架構(gòu)非常模塊化和靈活。許多memBrain塊可以被拼接在一起，用混合權(quán)重矩陣和神經(jīng)元構(gòu)建各種大型模型，如下圖所示。在本例中，一個(gè)3×4的拼接配置是與各個(gè)拼接之間的模擬和數(shù)字結(jié)構(gòu)縫合在一起的，數(shù)據(jù)可以通過(guò)共享總線從一個(gè)tile移動(dòng)到另一個(gè)tile。

到目前為止，我們主要討論了該體系結(jié)構(gòu)的硅實(shí)現(xiàn)過(guò)程。軟件開(kāi)發(fā)工具包（SDK）的可用性（圖9）有助于解決方案的部署。除了硅之外，SDK還促進(jìn)了推理引擎的部署。

SDK與培訓(xùn)框架無(wú)關(guān)。用戶(hù)可以在任何可用的框架（如TensorFlow、PyTorch或其他框架）中使用浮點(diǎn)計(jì)算創(chuàng)建神經(jīng)網(wǎng)絡(luò)模型。一旦創(chuàng)建，SDK幫助量化訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)模型，并將其映射到內(nèi)存數(shù)組中，在內(nèi)存數(shù)組中，向量-矩陣乘法可以用來(lái)自傳感器或計(jì)算機(jī)的輸入向量進(jìn)行。

結(jié)論

這種具有內(nèi)存計(jì)算能力的多級(jí)內(nèi)存方法的優(yōu)點(diǎn)：

1.超低功耗：該技術(shù)專(zhuān)為低功耗應(yīng)用而設(shè)計(jì)。

第一級(jí)的功耗優(yōu)勢(shì)來(lái)自于內(nèi)存計(jì)算，因此在計(jì)算期間不會(huì)在數(shù)據(jù)和從SRAM/DRAM傳輸?shù)臋?quán)值中浪費(fèi)能量。

第二個(gè)能量?jī)?yōu)勢(shì)來(lái)自于閃存單元在亞閾值模式下運(yùn)行，電流值非常低，所以有源功耗非常低。

第三個(gè)優(yōu)點(diǎn)，由于非易失性存儲(chǔ)單元不需要任何能量來(lái)保存數(shù)據(jù)，所以在待機(jī)模式下幾乎沒(méi)有能量消耗。該方法也非常適合于利用權(quán)值和輸入數(shù)據(jù)的稀疏性。如果輸入數(shù)據(jù)或權(quán)值為零，則不會(huì)激活內(nèi)存位單元。

2.更低的封裝引腳

該技術(shù)使用分裂門(mén)（1.5T）單元架構(gòu)，而數(shù)字實(shí)現(xiàn)中的SRAM單元基于6T架構(gòu)。此外，與6T SRAM單元相比，該單元要小得多。另外，一個(gè)電池可以存儲(chǔ)4位整數(shù)值，而SRAM電池需要4*6 = 24個(gè)晶體管才能存儲(chǔ)整數(shù)值。這提供了更小的芯片占用空間。

3.更低的開(kāi)發(fā)成本

由于內(nèi)存性能瓶頸和馮諾依曼架構(gòu)的限制，許多專(zhuān)用設(shè)備（如Nvidia的Jetsen或谷歌的TPU）傾向于使用更小的幾何圖形來(lái)獲得每瓦的性能，這是解決邊緣AI計(jì)算挑戰(zhàn)的一種昂貴方式。隨著多級(jí)存儲(chǔ)器方法使用模擬存儲(chǔ)器上的計(jì)算方法，計(jì)算在閃存芯片上完成，因此可以使用更大的幾何圖形，并減少掩模成本和前置時(shí)間。

由此可看，邊緣計(jì)算應(yīng)用程序顯示了巨大的潛力。然而，在邊緣計(jì)算能夠騰飛之前，還有一些功率和成本方面的挑戰(zhàn)需要解決。通過(guò)使用在閃存單元中執(zhí)行芯片上計(jì)算的內(nèi)存方法，可以消除其中的主要障礙。這種方法利用了經(jīng)過(guò)生產(chǎn)驗(yàn)證的、事實(shí)上標(biāo)準(zhǔn)類(lèi)型的多級(jí)內(nèi)存技術(shù)解決方案，該解決方案針對(duì)機(jī)器學(xué)習(xí)應(yīng)用程序進(jìn)行了優(yōu)化。

Vipin Tiwari

延伸閱讀——Microchip-SST神經(jīng)形態(tài)存儲(chǔ)解決方案memBrain

Microchip公司通過(guò)其硅存儲(chǔ)技術(shù)（SST）子公司，通過(guò)其模擬存儲(chǔ)器技術(shù)memBrain神經(jīng)形態(tài)存儲(chǔ)器解決方案降低功耗，從而應(yīng)對(duì)這一挑戰(zhàn)。

該公司的模擬閃存解決方案基于其Superflash技術(shù)并針對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了優(yōu)化以執(zhí)行矢量矩陣乘法（VMM），通過(guò)模擬內(nèi)存計(jì)算方法改善了VMM的系統(tǒng)架構(gòu)實(shí)現(xiàn)，增強(qiáng)了邊緣的AI推理。

由于當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型可能需要50M或更多的突觸（權(quán)重）進(jìn)行處理，因此為片外DRAM提供足夠的帶寬變得具有挑戰(zhàn)性，從而造成神經(jīng)網(wǎng)絡(luò)計(jì)算的瓶頸和整體計(jì)算能力的提高。相比之下，memBrain解決方案將突觸權(quán)重存儲(chǔ)在片上浮動(dòng)門(mén)中，從而顯著改善系統(tǒng)延遲。與傳統(tǒng)的基于數(shù)字DSP和SRAM / DRAM的方法相比，它可以降低10到20倍的功耗并降低整體BOM。

“ 隨著汽車(chē)，工業(yè)和消費(fèi)者市場(chǎng)的技術(shù)提供商繼續(xù)為神經(jīng)網(wǎng)絡(luò)實(shí)施VMM，我們的架構(gòu)可幫助這些前向解決方案實(shí)現(xiàn)功耗，成本和延遲優(yōu)勢(shì)， ”SST許可部門(mén)副總裁Mark Reiten表示。“ Microchip將繼續(xù)為AI應(yīng)用提供高度可靠和多功能的Superflash內(nèi)存解決方案?！?/p>

今天的公司正在采用memBrain解決方案來(lái)提高邊緣設(shè)備的ML容量。由于具有降低功耗的能力，這種模擬內(nèi)存計(jì)算解決方案非常適合任何AI應(yīng)用。

“ Microchip的memBrain解決方案為我們即將推出的模擬神經(jīng)網(wǎng)絡(luò)處理器提供超低功耗的內(nèi)存計(jì)算， ” Syntiant公司首席執(zhí)行官Kurt Busch 說(shuō)道。 “ 我們與Microchip的合作繼續(xù)為Syntiant提供許多關(guān)鍵優(yōu)勢(shì)，因?yàn)槲覀冎С制毡榈腗L邊緣設(shè)備中語(yǔ)音，圖像和其他傳感器模式的永遠(yuǎn)在線應(yīng)用。“

SST展示了這種模擬存儲(chǔ)器解決方案，并在FMS上展示了Microchip的基于memBrain產(chǎn)品區(qū)塊陣列的架構(gòu)。

池化層理解

池化層夾在連續(xù)的卷積層中間， 用于壓縮數(shù)據(jù)和參數(shù)的量，減小過(guò)擬合。簡(jiǎn)而言之，如果輸入是圖像的話(huà)，那么池化層的最主要作用就是壓縮圖像。

池化層的作用：

1. invariance（不變性），這種不變性包括translation（平移），rotation（旋轉(zhuǎn)），scale（尺度）

2. 保留主要的特征同時(shí)減少參數(shù)（降維，效果類(lèi)似PCA）和計(jì)算量，防止過(guò)擬合，提高模型泛化能力