多倫多—有時(shí)問(wèn)題可以變成它自己的解決方案。

對(duì)于CEA-Leti科學(xué)家而言，這意味著先前被視為“非理想”的電阻性RAM（ReRAM）器件的特性可能是克服開(kāi)發(fā)基于ReRAM的邊緣學(xué)習(xí)系統(tǒng)的障礙的答案，自然電子公司最近的出版物題為“通過(guò)馬爾可夫鏈蒙特卡洛采樣利用內(nèi)在憶阻器可變性進(jìn)行原位學(xué)習(xí)”。它描述了如何使用RRAM或憶阻器技術(shù)來(lái)創(chuàng)建智能系統(tǒng)，該系統(tǒng)在邊緣獨(dú)立于云進(jìn)行本地學(xué)習(xí)。

托馬斯·達(dá)爾加蒂

法國(guó)格勒諾布爾大學(xué)（CEA-Leti）的CEA-Leti科學(xué)家Thomas Dalgaty解釋說(shuō)，該團(tuán)隊(duì)如何能夠解決ReRAM技術(shù)固有的非理想性-當(dāng)前基于ReRAM的邊緣方法中使用的學(xué)習(xí)算法無(wú)法與設(shè)備編程的隨機(jī)性相協(xié)調(diào)，或者可變性等。在EE Times的電話采訪中，他說(shuō)解決方案是在制造好的芯片中實(shí)施馬爾可夫鏈蒙特卡洛（MCMC）采樣學(xué)習(xí)算法，該芯片充當(dāng)貝葉斯機(jī)器學(xué)習(xí)模型，該模型積極利用憶阻器隨機(jī)性。

出于研究目的，Dalgaty說(shuō)，清楚定義邊緣系統(tǒng)的含義很重要。它不僅不可能連接到具有大內(nèi)存和標(biāo)記數(shù)據(jù)的基本云計(jì)算資源，而且它的系統(tǒng)并未真正連接到大能源。他說(shuō)，這很重要，因?yàn)樵谶吘壥褂肦eRAM的吸引力之一是存儲(chǔ)器的低功耗?！霸谶吘?，您必須擁有許多未標(biāo)記的數(shù)據(jù)，以便在本地了解自己的情況?！?/p>

Dalgaty說(shuō)，機(jī)器學(xué)習(xí)模型通常使用基于von Neumann架構(gòu)的通用硬件進(jìn)行訓(xùn)練，該架構(gòu)不太適合邊緣學(xué)習(xí)，因?yàn)檫吘墝W(xué)習(xí)系統(tǒng)是分布式，受能量限制和受內(nèi)存限制的系統(tǒng)?！?ReRAM對(duì)這類(lèi)系統(tǒng)很有趣的原因是，一旦您開(kāi)始使用設(shè)備的模擬屬性進(jìn)行計(jì)算，就不必關(guān)心所謂的馮·諾依曼存儲(chǔ)區(qū)中的自存儲(chǔ)信息并將其傳輸?shù)教幚磉^(guò)程中了。中心?！?/p>

他說(shuō)，盡管有很大的潛力可以減少這些邊緣系統(tǒng)中使用的能源，但ReRAM器件對(duì)于實(shí)現(xiàn)標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)算法而言過(guò)于隨機(jī)。憶阻器可變性意味著您不能對(duì)學(xué)習(xí)模型的參數(shù)進(jìn)行特定更改，而這種可變性是需要克服的。

CEA-Leti研究人員在制造的芯片中實(shí)施了馬爾可夫鏈蒙特卡洛（MCMC）算法，以積極利用憶阻器隨機(jī)性ReRAM進(jìn)行邊緣學(xué)習(xí)系統(tǒng)的使用。（由CEA-Leti提供）

Dalgaty說(shuō)，研究人員一直在撞墻，試圖減輕憶阻器的可變性以利用ReRAM器件的效率，然后意識(shí)到答案是使用憶阻器可變性而不是試圖與之對(duì)抗。隨機(jī)變異性。在制造的芯片中實(shí)施MCMC采樣學(xué)習(xí)算法可減輕隨機(jī)性，而無(wú)需任何能源密集型技術(shù)。

他說(shuō)，通過(guò)利用隨機(jī)性而不是防止隨機(jī)性，可以通過(guò)將納秒級(jí)的電壓脈沖應(yīng)用于納米級(jí)ReRAM存儲(chǔ)設(shè)備來(lái)實(shí)現(xiàn)高效的原位機(jī)器學(xué)習(xí)。實(shí)際上，與該算法的標(biāo)準(zhǔn)CMOS實(shí)施相比，該方法所需的能源要少五個(gè)數(shù)量級(jí)（研究團(tuán)隊(duì)采用了與CMOS兼容的二氧化ha技術(shù)）。Dalgaty說(shuō)，這類(lèi)邊緣計(jì)算系統(tǒng)的真實(shí)例子可以是植入式醫(yī)療系統(tǒng)，該系統(tǒng)可以根據(jù)患者的發(fā)展?fàn)顩r在本地更新其操作。該研究小組已經(jīng)通過(guò)實(shí)驗(yàn)將其基于ReRAM的MCMC應(yīng)用于訓(xùn)練多層貝葉斯神經(jīng)網(wǎng)絡(luò)，以從心電圖記錄中檢測(cè)出心律不齊，

他說(shuō)，這是一個(gè)正在研究的應(yīng)用程序的例子，但是與所有這種性質(zhì)的研究一樣，在此方法要在現(xiàn)實(shí)世界中找到商業(yè)應(yīng)用程序之前，還有許多工作要做，并且尚不清楚所有這些內(nèi)容是什么。他們可能是。最終，希望是它可以使機(jī)器學(xué)習(xí)處于盡頭，而無(wú)需當(dāng)前所需的大量能量和內(nèi)存。

ReRAM被認(rèn)為是人工智能（AI）和機(jī)器學(xué)習(xí)應(yīng)用的良好候選者，并且具有模仿人腦如何在神經(jīng)元和突觸級(jí)學(xué)習(xí)和處理信息的潛力。擴(kuò)展神經(jīng)形態(tài)架構(gòu)被認(rèn)為將從ReRAM設(shè)備中受益，因?yàn)樗鼈儽仁褂?a href="http://www.socialnewsupdate.com/tags/dram/" target="_blank">DRAM，閃存甚至是高帶寬內(nèi)存（HBM）的當(dāng)前AI數(shù)據(jù)中心要小得多，并且能效更高。

ReRAM的制造商，例如Weebit Nano，已經(jīng)通過(guò)最近的研究合作關(guān)系投入了時(shí)間和資源，其中包括與德里印度理工學(xué)院（IITD）的非易失性存儲(chǔ)器小組合作進(jìn)行的一項(xiàng)合作研究項(xiàng)目，該項(xiàng)目將采用Weebit的氧化硅（SiOx）ReRAM技術(shù)用于AI的計(jì)算機(jī)芯片。最近，米蘭理工大學(xué)（米蘭理工大學(xué)）的研究人員在與該公司的論文中進(jìn)行了聯(lián)合研究，該研究詳細(xì)介紹了基于Weebit的SiOx ReRAM的新型AI自學(xué)演示，概述了靈感來(lái)自大腦的AI系統(tǒng)如何在不受監(jiān)督的情況下執(zhí)行以高精度結(jié)果學(xué)習(xí)任務(wù)。

Weebit的ReRAM單元由兩層金屬層和一層氧化硅（SiOx）層組成，這兩層之間的材料可用于現(xiàn)有生產(chǎn)線中，從而使其成為AI和機(jī)器學(xué)習(xí)架構(gòu)的潛在成本效益，低功耗選擇（Courtesy Weebit Nano ）。

Weebit Nano已經(jīng)與CEA-Leti建立了長(zhǎng)期合作伙伴關(guān)系，以開(kāi)發(fā)其ReRAM技術(shù)，但是與嵌入式ReRAM計(jì)劃相比，其對(duì)神經(jīng)形態(tài)應(yīng)用的研究工作的優(yōu)先級(jí)較低，這對(duì)推動(dòng)公司收入至關(guān)重要，并且其重點(diǎn)是響應(yīng)客戶(hù)對(duì)分立的ReRAM存儲(chǔ)器組件的需求。但是，它并不是唯一一家對(duì)AI機(jī)會(huì)感興趣的ReRAM制造商-在2019年，一個(gè)由SCAiLE（邊緣學(xué)習(xí)的可管理AI）組成的財(cái)團(tuán)成立了，其中包括ReRAM制造商Crossbar來(lái)創(chuàng)建使用ReRAM的AI平臺(tái)。

無(wú)論內(nèi)存類(lèi)型如何，內(nèi)存都將駐留在AI和機(jī)器學(xué)習(xí)架構(gòu)中成為重點(diǎn)關(guān)注的領(lǐng)域。大數(shù)據(jù)應(yīng)用程序已經(jīng)推動(dòng)了對(duì)使內(nèi)存更接近計(jì)算資源的體系結(jié)構(gòu)的需求。人工智能和機(jī)器學(xué)習(xí)已經(jīng)放大了這種需求，因?yàn)樗鼈兺ㄟ^(guò)神經(jīng)網(wǎng)絡(luò)對(duì)龐大的數(shù)據(jù)矩陣進(jìn)行多次累積操作。由于機(jī)器學(xué)習(xí)是通過(guò)處理數(shù)據(jù)來(lái)學(xué)習(xí)的，因此有很大的動(dòng)力來(lái)尋找將計(jì)算和內(nèi)存更緊密地結(jié)合在一起的方法，這最終將節(jié)省功耗并提高性能。

編輯：hfy