人工智能算法無法以目前的速度保持增長。像深度神經(jīng)網(wǎng)絡(luò)這樣的算法——它受到大腦的松散啟發(fā)，多層人工神經(jīng)元通過稱為權(quán)重的數(shù)值相互連接——每年都在變大。但如今，硬件改進(jìn)已無法跟上運(yùn)行這些海量算法所需的大量內(nèi)存和處理能力。很快，人工智能算法的規(guī)?？赡軙霰?。

即使我們可以不斷擴(kuò)大硬件以滿足人工智能的需求，也存在另一個問題：在傳統(tǒng)計算機(jī)上運(yùn)行它們會浪費(fèi)大量能源。運(yùn)行大型人工智能算法產(chǎn)生的高碳排放已經(jīng)對環(huán)境有害，而且隨著算法變得越來越龐大，情況只會變得更糟。

一種稱為神經(jīng)形態(tài)計算的解決方案從生物大腦中汲取靈感來創(chuàng)建節(jié)能設(shè)計。不幸的是，雖然這些芯片在節(jié)能方面可以超過數(shù)字計算機(jī)，但它們?nèi)狈\(yùn)行大型深度神經(jīng)網(wǎng)絡(luò)所需的計算能力。這讓人工智能研究人員很容易忽視它們。

這在 8 月終于改變了，當(dāng)時Weier Wan ， H.-S. Philip Wong、Gert Cauwenberghs和他們的同事展示了一種名為 NeuRRAM 的新型神經(jīng)形態(tài)芯片，其中包括 300 萬個存儲單元和數(shù)千個內(nèi)置于其硬件中的神經(jīng)元以運(yùn)行算法。它使用一種相對較新的內(nèi)存類型，稱為電阻式 RAM 或 RRAM。與以前的 RRAM 芯片不同，NeuRRAM 被編程為以模擬方式運(yùn)行，以節(jié)省更多的能源和空間。雖然數(shù)字存儲器是二進(jìn)制的——存儲 1 或 0——但 NeuRRAM 芯片中的模擬存儲單元可以在一個完全連續(xù)的范圍內(nèi)存儲多個值。這使得芯片可以在相同數(shù)量的芯片空間中存儲來自大量 AI 算法的更多信息。

因此，新芯片可以在圖像和語音識別等復(fù)雜的人工智能任務(wù)上與數(shù)字計算機(jī)一樣執(zhí)行，作者聲稱它的能效提高了 1000 倍，為微型芯片運(yùn)行越來越復(fù)雜的算法開辟了可能性在以前不適合人工智能的小型設(shè)備中，如智能手表和手機(jī)。

未參與這項(xiàng)工作的研究人員對結(jié)果印象深刻?！斑@篇論文非常獨(dú)特，”香港大學(xué)長期 RRAM 研究員王中瑞說。“它在不同的層面做出了貢獻(xiàn)——在設(shè)備層面、電路架構(gòu)層面和算法層面?！?/p>

創(chuàng)造新的記憶

在數(shù)字計算機(jī)中，運(yùn)行 AI 算法時浪費(fèi)的大量能源是由一個簡單且普遍存在的設(shè)計缺陷造成的，該缺陷使每一次計算都效率低下。通常，計算機(jī)的內(nèi)存——它保存計算過程中處理的數(shù)據(jù)和數(shù)值——放置在遠(yuǎn)離進(jìn)行計算的處理器的主板上。

對于通過處理器傳輸?shù)男畔ⅲ斑@有點(diǎn)像你在通勤上花了八個小時，但你做了兩個小時的工作，”曾在斯坦福大學(xué)工作的計算機(jī)科學(xué)家萬說，他最近搬到了人工智能初創(chuàng)公司 Aizip。

將內(nèi)存和計算放在同一個地方的新型一體化芯片來解決這個問題似乎很簡單。它也更接近于我們的大腦可能如何處理信息，因?yàn)樵S多神經(jīng)科學(xué)家認(rèn)為計算發(fā)生在神經(jīng)元群體中，而記憶是在神經(jīng)元之間的突觸加強(qiáng)或削弱它們的連接時形成的。但事實(shí)證明，制造這樣的設(shè)備很困難，因?yàn)槟壳暗膬?nèi)存形式與處理器中的技術(shù)不兼容。

幾十年前，計算機(jī)科學(xué)家開發(fā)了這些材料來制造新的芯片，這些芯片在存儲內(nèi)存的地方執(zhí)行計算——一種被稱為內(nèi)存計算的技術(shù)。但由于傳統(tǒng)的數(shù)字計算機(jī)表現(xiàn)如此出色，這些想法被忽視了幾十年。

“這項(xiàng)工作，就像大多數(shù)科學(xué)工作一樣，被遺忘了，”斯坦福大學(xué)教授 Wong 說。

事實(shí)上，第一個這樣的設(shè)備至少可以追溯到 1964 年，當(dāng)時斯坦福大學(xué)的電氣工程師發(fā)現(xiàn)他們可以操縱某些稱為金屬氧化物的材料來打開和關(guān)閉其導(dǎo)電能力。這很重要，因?yàn)椴牧显趦煞N狀態(tài)之間切換的能力為傳統(tǒng)內(nèi)存存儲提供了支柱。通常，在數(shù)字存儲器中，高電壓狀態(tài)對應(yīng)于 1，低電壓狀態(tài)對應(yīng)于 0。

為了讓 RRAM 設(shè)備切換狀態(tài)，您需要在連接到金屬氧化物兩端的金屬電極上施加電壓。通常，金屬氧化物是絕緣體，這意味著它們不導(dǎo)電。但有了足夠的電壓，電流就會積聚起來，最終穿過材料的薄弱環(huán)節(jié)，形成通往另一側(cè)電極的路徑。一旦電流突破，它就可以沿著該路徑自由流動。

Wong 將這個過程比作閃電：當(dāng)云中積聚了足夠多的電荷時，它會迅速找到一條低電阻路徑并發(fā)生雷擊。但與路徑消失的閃電不同，穿過金屬氧化物的路徑仍然存在，這意味著它可以無限期地保持導(dǎo)電。并且可以通過向材料施加另一個電壓來擦除導(dǎo)電路徑。因此研究人員可以在兩種狀態(tài)之間切換 RRAM，并使用它們來存儲數(shù)字存儲器。

世紀(jì)中葉的研究人員沒有認(rèn)識到節(jié)能計算的潛力，他們也不需要使用他們正在使用的更小的算法。直到 2000 年代初，隨著新金屬氧化物的發(fā)現(xiàn)，研究人員才意識到這種可能性。

當(dāng)時在 IBM 工作的 Wong 回憶說，一位從事 RRAM 工作的獲獎同事承認(rèn)，他并不完全了解所涉及的物理原理?！叭绻焕斫猓盬ong 回憶道，“也許我不應(yīng)該嘗試去理解它?！?/p>

但在 2004 年，三星電子的研究人員宣布他們已經(jīng)成功地將 RRAM 內(nèi)存集成在傳統(tǒng)計算芯片之上，這表明內(nèi)存計算芯片最終可能成為可能。王決定至少嘗試一下。

用于人工智能的內(nèi)存計算芯片

十多年來，像 Wong 這樣的研究人員一直致力于將 RRAM 技術(shù)構(gòu)建到能夠可靠地處理高性能計算任務(wù)的地步。大約在 2015 年左右，計算機(jī)科學(xué)家開始認(rèn)識到這些節(jié)能設(shè)備對于大型 AI 算法的巨大潛力，并開始起飛。那一年，加州大學(xué)圣巴巴拉分校的科學(xué)家表明，RRAM 設(shè)備可以做的不僅僅是以一種新的方式存儲內(nèi)存。他們可以自己執(zhí)行基本的計算任務(wù)——包括在神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)元中發(fā)生的絕大多數(shù)計算，這些都是簡單的矩陣乘法任務(wù)。

在 NeuRRAM 芯片中，硅神經(jīng)元內(nèi)置于硬件中，RRAM 存儲單元存儲權(quán)重——代表神經(jīng)元之間連接強(qiáng)度的值。由于 NeuRRAM 存儲單元是模擬的，它們存儲的權(quán)重代表了設(shè)備在低電阻狀態(tài)和高電阻狀態(tài)之間切換時出現(xiàn)的所有電阻狀態(tài)。這實(shí)現(xiàn)了比數(shù)字 RRAM 存儲器更高的能效，因?yàn)樵撔酒梢圆⑿羞\(yùn)行許多矩陣計算，而不是像數(shù)字處理版本那樣一個接一個地同步運(yùn)行。

但由于模擬處理仍落后于數(shù)字處理數(shù)十年，仍有許多問題需要解決。一是模擬 RRAM 芯片必須異常精確，因?yàn)槲锢硇酒系娜毕輹肟勺冃院驮肼?。（對于只有兩種狀態(tài)的傳統(tǒng)芯片，這些缺陷幾乎沒有那么重要。）這使得模擬 RRAM 設(shè)備運(yùn)行 AI 算法變得更加困難，因?yàn)樽R別圖像的準(zhǔn)確性會受到影響，如果RRAM 器件的導(dǎo)電狀態(tài)并非每次都完全相同。

“當(dāng)我們查看照明路徑時，每次都不同，”Wong 說?！耙虼?，RRAM 表現(xiàn)出一定程度的隨機(jī)性——每次對它們進(jìn)行編程都會略有不同?！?Wong 和他的同事證明，如果對算法進(jìn)行訓(xùn)練以適應(yīng)芯片上遇到的噪音，RRAM 設(shè)備可以存儲連續(xù)的 AI 權(quán)重，并且仍然與數(shù)字計算機(jī)一樣準(zhǔn)確，這一進(jìn)步使他們能夠生產(chǎn) NeuRRAM 芯片。

他們必須解決的另一個主要問題涉及支持各種神經(jīng)網(wǎng)絡(luò)所需的靈活性。過去，芯片設(shè)計人員必須將微型 RRAM 器件排列在較大的硅神經(jīng)元旁邊的一個區(qū)域中。RRAM 設(shè)備和神經(jīng)元是硬連線的，沒有可編程性，因此只能在一個方向上執(zhí)行計算。為了支持具有雙向計算的神經(jīng)網(wǎng)絡(luò)，需要額外的電線和電路，從而增加了能量和空間需求。

因此，Wong 的團(tuán)隊設(shè)計了一種新的芯片架構(gòu)，其中 RRAM 存儲設(shè)備和硅神經(jīng)元混合在一起。這種對設(shè)計的微小改動減少了總面積并節(jié)省了能源。

瑞士蘇黎世聯(lián)邦理工學(xué)院的神經(jīng)形態(tài)學(xué)研究員梅利卡·佩萬德說：“我認(rèn)為 ［這種安排］ 真的很漂亮?！?“我絕對認(rèn)為這是一項(xiàng)開創(chuàng)性的工作?！?/p>

幾年來，Wong 的團(tuán)隊與合作者一起在 NeuRRAM 芯片上設(shè)計、制造、測試、校準(zhǔn)和運(yùn)行 AI 算法。他們確實(shí)考慮使用其他新興類型的內(nèi)存，這些內(nèi)存也可用于內(nèi)存計算芯片，但 RRAM 具有優(yōu)勢，因?yàn)樗谀M編程方面具有優(yōu)勢，并且相對容易與傳統(tǒng)計算材料集成。

他們最近的結(jié)果代表了第一個可以運(yùn)行如此龐大而復(fù)雜的 AI 算法的 RRAM 芯片——這一壯舉以前只能在理論模擬中實(shí)現(xiàn)。德雷塞爾大學(xué)的計算機(jī)科學(xué)家Anup Das說：“當(dāng)涉及到真正的硅時，這種能力就缺失了。” “這項(xiàng)工作是第一次演示?！?/p>

“數(shù)字人工智能系統(tǒng)靈活而精確，但效率要低幾個數(shù)量級，”Cauwenberghs 說?，F(xiàn)在，Cauwenberghs 說，他們靈活、精確和節(jié)能的模擬 RRAM 芯片“首次彌合了差距”。

擴(kuò)大規(guī)模

該團(tuán)隊的設(shè)計使 NeuRRAM 芯片很小——只有指甲大小——同時壓縮了 300 萬個可用作模擬處理器的 RRAM 存儲設(shè)備。雖然它至少可以像數(shù)字計算機(jī)一樣運(yùn)行神經(jīng)網(wǎng)絡(luò)，但該芯片也（并且是第一次）可以運(yùn)行在不同方向上執(zhí)行計算的算法。他們的芯片可以按照 RRAM 芯片的標(biāo)準(zhǔn)向 RRAM 陣列的行輸入電壓并從列讀取輸出，但它也可以從列到行反向執(zhí)行，因此它可以用于運(yùn)行的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)流向不同的方向。

與 RRAM 技術(shù)本身一樣，這早已成為可能，但沒有人想過這樣做?！盀槭裁次覀円郧皼]有考慮過這個？” 佩萬德問道。“事后看來，我不知道?！?/p>

“這實(shí)際上開辟了許多其他機(jī)會，”達(dá)斯說。作為例子，他提到了一個簡單的系統(tǒng)能夠運(yùn)行多維物理模擬或自動駕駛汽車所需的大量算法。

然而尺寸是個問題。最大的神經(jīng)網(wǎng)絡(luò)現(xiàn)在包含數(shù)十億個權(quán)重，而不是新芯片中包含的數(shù)百萬個權(quán)重。Wong 計劃通過堆疊多個 NeuRRAM 芯片來擴(kuò)大規(guī)模。

在未來的設(shè)備中保持較低的能源成本或進(jìn)一步縮小它們同樣重要。實(shí)現(xiàn)這一目標(biāo)的一種方法是更緊密地復(fù)制大腦，以采用真實(shí)神經(jīng)元之間使用的通信信號：電脈沖。這是當(dāng)細(xì)胞內(nèi)外的電壓差達(dá)到臨界閾值時，從一個神經(jīng)元向另一個神經(jīng)元發(fā)出的信號。

“那里面臨著巨大的挑戰(zhàn)，”倫敦大學(xué)學(xué)院的納米技術(shù)研究員托尼·肯揚(yáng)說?！暗覀兛赡苋韵氤莻€方向發(fā)展，因?yàn)椤绻褂梅浅Ｏ∈璧募夥澹赡軙@得更高的能源效率?！?然而，Kenyon 指出，要在當(dāng)前的 NeuRRAM 芯片上運(yùn)行峰值算法可能需要完全不同的架構(gòu)。

目前，該團(tuán)隊在 NeuRRAM 芯片上運(yùn)行大型 AI 算法時實(shí)現(xiàn)的能源效率創(chuàng)造了新的希望，即內(nèi)存技術(shù)可能代表 AI 計算的未來。也許有一天，我們甚至能夠匹配人類大腦的 860 億個神經(jīng)元和連接它們的數(shù)萬億個突觸，而不會耗盡能量。

審核編輯 ：李倩