人工智能從20世紀(jì)50年代開(kāi)始，經(jīng)歷了60年起伏的發(fā)展歷程。其中，AI共經(jīng)歷了2次發(fā)展的春天和冬天，現(xiàn)在正在經(jīng)歷第3個(gè)春天，即以數(shù)據(jù)為驅(qū)動(dòng)力的深度學(xué)習(xí)。谷歌的AlphaGo、AlphaZero、AlphaFold是很好的標(biāo)志性產(chǎn)品。

佩德羅多明戈斯曾總結(jié)了 AI 的五大流派，包括符號(hào)、進(jìn)化學(xué)派、類(lèi)比學(xué)派、貝葉斯學(xué)派和連接機(jī)制。未來(lái)AI的發(fā)展 趨勢(shì)最大的可能是借各種流派之長(zhǎng)創(chuàng)造新的AI算法，既包含邏輯符號(hào)也有數(shù)據(jù)和知識(shí)，還要借鑒人類(lèi)的進(jìn)化和大腦的特點(diǎn)。所以，當(dāng)前無(wú)論是科學(xué)研究還是產(chǎn)業(yè)發(fā)展，都在思考下一輪AI的突破點(diǎn)在什么地方。

算力需求飛速增長(zhǎng)的瓶頸

對(duì)深度學(xué)習(xí)來(lái)說(shuō)，半導(dǎo)體與芯片架構(gòu)領(lǐng)域的進(jìn)步是不可或缺的發(fā)展動(dòng)力。谷歌公司的杰夫狄恩曾說(shuō)過(guò)：“數(shù)據(jù)+算法+算力=數(shù)據(jù)+100×算力”。也就是說(shuō)，他認(rèn)為在數(shù)據(jù)、算法和算力三大因素中，算力占據(jù)著絕對(duì)的主導(dǎo)地位，算法則相對(duì)來(lái)說(shuō)沒(méi)有那么重要。

隨著時(shí)代的發(fā)展，深度學(xué)習(xí)在訓(xùn)練過(guò)程中產(chǎn)生的計(jì)算量可以分成兩個(gè)階段：在深度學(xué)習(xí)發(fā)展的初期階段，訓(xùn)練產(chǎn)生的計(jì)算量的增長(zhǎng)速率相對(duì)較慢；近10年間，計(jì)算量以每年10倍的速率增長(zhǎng)，遠(yuǎn)遠(yuǎn)超過(guò)摩爾定律每18~24個(gè)月提高2倍的增長(zhǎng)速率。

深度學(xué)習(xí)訓(xùn)練過(guò)程中計(jì)算量需求的發(fā)展

以O(shè)penAI發(fā)布的預(yù)訓(xùn)練模型GPT為例，來(lái)說(shuō)明近幾年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域?qū)λ懔π枨蟮娘w速增長(zhǎng)。2018年6月發(fā)布的GPT-1是在約5GB的文本上進(jìn)行無(wú)監(jiān)督訓(xùn)練，針對(duì)具體任務(wù)，在小的有監(jiān)督數(shù)據(jù)集上做微調(diào)，得到包含1.1億參數(shù)的預(yù)訓(xùn)練模型；而2019年2月發(fā)布的GPT-2則是在約40GB文本上進(jìn)行無(wú)監(jiān)督訓(xùn)練，得到具有15億參數(shù)的預(yù)訓(xùn)練模型；而2020年5月公布的GPT-3則是在 499B tokens（令牌）的數(shù)據(jù)基礎(chǔ)上訓(xùn)練，得到包含1750億參數(shù)的模型。在不到2年的時(shí)間內(nèi)，模型參數(shù)從1.1億的規(guī)模增長(zhǎng)至1750億，而單次訓(xùn)練GPT-3就需要花費(fèi)1200萬(wàn)美元，模型在飛速發(fā)展的同時(shí)，帶來(lái)的是巨大的算力要求和高成本的代價(jià)。

傳統(tǒng)計(jì)算與通訊范式的瓶頸

人工智能領(lǐng)域?qū)λ懔Φ男枨篁?qū)動(dòng)了新算力的發(fā)展。要想謀求更高效率的計(jì)算，就需要回到計(jì)算和通訊領(lǐng)域最基本的理論和范式。在過(guò)去的幾十年間，涌現(xiàn)出了許許多多的定律和體系，而其中有三個(gè)定律和體系被視為計(jì)算與通訊范式的根本。

第一個(gè)是香農(nóng)定律（Shannon Theroy）。香農(nóng)是信息論的奠基者，他引入了信息熵的概念，為數(shù)字通信奠定了基矗其實(shí)香農(nóng)定律定義了三個(gè)極限，分別為無(wú)損壓縮極限E、信道傳輸極限C、有損壓縮極限R（D）。目前，我們已經(jīng)接近這些極限。

第二個(gè)是馮諾伊曼架構(gòu)（Von neumann Structure）。在馮諾伊曼架構(gòu)中，計(jì)算機(jī)由運(yùn)算器、控制器、存儲(chǔ)器、輸入設(shè)備和輸出設(shè)備5個(gè)基本部分組成，具有程序存儲(chǔ)、共享數(shù)據(jù)、順序執(zhí)行的特點(diǎn)。馮諾伊曼架構(gòu)簡(jiǎn)單且漂亮，是圖靈機(jī)的優(yōu)秀范例，至今仍被廣泛地應(yīng)用。然而，馮諾伊曼架構(gòu)的設(shè)計(jì)構(gòu)成了運(yùn)算器和存儲(chǔ)器間的瓶頸，這對(duì)深度學(xué)習(xí)的發(fā)展造成了一定的限制。

信息論的研究方向

第三個(gè)是摩爾定律（Moore‘s Law）。戈登摩爾（Gordon Moore）總結(jié)認(rèn)為，集成電路上可以容納的晶體管數(shù)目大約在18 個(gè)月左右便會(huì)增加一倍。而現(xiàn)在晶體管數(shù)目的增長(zhǎng)越來(lái)越慢，摩爾定律逐步趨向于飽和階段，而我們對(duì)計(jì)算能力的需求卻飛速 提升，不斷提升的算力需求與芯片技術(shù)發(fā)展趨緩的矛盾日趨顯現(xiàn)。

計(jì)算體系與通訊架構(gòu)的革新展望

在過(guò)去的60年里，這三個(gè)基本理論在計(jì)算和 通訊領(lǐng)域建立了決定性的基礎(chǔ)，然而日趨逼近的極限也使得當(dāng)前AI技術(shù)的發(fā)展逐步接近瓶頸。為了避免技術(shù)的停滯不前，產(chǎn)業(yè)界或許可以從以下三個(gè)方面做出一些突破和革新。

首先，對(duì)信息重新定義。香農(nóng)于上世紀(jì)40年代對(duì)信息熵、速率失真函數(shù)R（D）和信道容量C做出了定義，而這些定義是基于比特的基礎(chǔ)實(shí)現(xiàn)的。以視頻圖像舉例，過(guò)去我們一直采用比特來(lái)描述信息；后來(lái)我們從數(shù)字的層面使用像素、運(yùn)動(dòng)向量、宏塊（macroblock）和區(qū)域（regions）結(jié)合的方式來(lái)描述圖像；之后我們上升到從內(nèi)容層面來(lái)描述圖像，比如一個(gè)身體部位是臉部還是手部等；現(xiàn)在我們對(duì)圖像的描述上升到語(yǔ)義層面，比如“是誰(shuí)”“在做什么動(dòng)作”“是否在睡覺(jué)”“眼睛在看什么”等，這些問(wèn)題從語(yǔ)義的層面描述了圖像傳達(dá)的信息。當(dāng)信息的描述方式發(fā)生變化時(shí)，熵的概念也發(fā)生了變化。比方說(shuō)，過(guò)去我們用比特的形式來(lái)描述圖像失真現(xiàn)象，而現(xiàn)在我們用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）生成圖像，用肉眼來(lái)看GAN輸入的圖片和生成的圖像幾乎是一致的，但是從比特層面 來(lái)比較，會(huì)發(fā)現(xiàn)二者十分不同。因此，如何從語(yǔ)義、特征和內(nèi)容的角度來(lái)定義熵與速率失真函數(shù)是我們未 來(lái)需要研究的問(wèn)題。另外，香農(nóng)理論從最開(kāi)始的點(diǎn)到點(diǎn)通訊，擴(kuò)展到后來(lái)的多用戶信息論。但是在當(dāng)下的互聯(lián)網(wǎng)時(shí)代，面對(duì)海量的交互信息，部分香農(nóng)理論已不再適用，學(xué)術(shù)界卻沒(méi)有提出一個(gè)新的完善的理論。 過(guò)去的信息更多的是人與人之間的傳輸，而現(xiàn)在的信息則更多地面向機(jī)器，比如3D Point Cloud、3D SS、Genomics、Geometry等，所以我們需要新的算法和新的標(biāo)準(zhǔn)。

計(jì)算體系與通訊架構(gòu)的研究方向

第二，我們需要新的計(jì)算范式。包括量子計(jì)算、類(lèi)腦計(jì)算和生物計(jì)算等在內(nèi)的新的計(jì)算范式能夠?yàn)橛?jì)算瓶頸提供解決途徑。

第三，我們需要新的計(jì)算體系和通訊架構(gòu)突破馮諾伊曼體系架構(gòu)的限制。首先，我們需要新的傳感器、新的數(shù)據(jù)流架構(gòu)和計(jì)算模式，以及高速的存儲(chǔ)，這些都與傳統(tǒng)的馮諾伊曼架構(gòu)不同。我們還需要新的通訊架構(gòu)，即5G技術(shù)和邊緣計(jì)算。5G技術(shù)首次在應(yīng)用層上實(shí)現(xiàn)了“三網(wǎng)合一”，比提升傳輸?shù)乃俣雀佑行?。此外?G技術(shù)更好地解決了延時(shí)問(wèn)題并帶來(lái)了新的應(yīng)用，如百度的阿波羅項(xiàng)目中有一個(gè)服務(wù)叫做“云代駕”，通過(guò)5G技術(shù)讓遠(yuǎn)程的安全操作員實(shí)時(shí)了解車(chē)輛所處的環(huán)境與狀態(tài)，在自動(dòng)駕駛無(wú)法完成的場(chǎng)景 下接管車(chē)輛，完成遠(yuǎn)程協(xié)助。但3G和4G網(wǎng)絡(luò)的延遲使得“云代駕”模式無(wú)法成為現(xiàn)實(shí)，必須通過(guò)5G網(wǎng)絡(luò)來(lái)解決延遲問(wèn)題。很多人認(rèn)為，當(dāng)前的5G技術(shù)在能耗和覆蓋率等方面還沒(méi)有達(dá)到預(yù)期，但任何新技術(shù)的發(fā)展都需要時(shí)間，相信在未來(lái)的三五年后，5G技術(shù)能夠?yàn)橛脩簟⒐I(yè)和產(chǎn)業(yè)界帶來(lái)巨大的變革。

芯片的升級(jí)對(duì)產(chǎn)業(yè)界的作用是顯著的，近年來(lái)國(guó)內(nèi)有許多公司在芯片領(lǐng)域有所成就。以百度的昆侖AI芯片為例，第一代昆侖芯片采用14nm先進(jìn)工藝，2.5D封裝，使用HBM內(nèi)存，可以達(dá)到 512GB/s 的帶寬。而預(yù)計(jì)于2021年量產(chǎn)的第二代昆侖芯片，采用7nm先進(jìn)工藝，性能是第一代昆侖芯片的3倍，同時(shí)耗能減少，具備了大規(guī)模片間互聯(lián)的能力，進(jìn)步顯著。
責(zé)任編輯：YYX