我們分析了16625篇論文，以洞察AI下一步的發(fā)展方向

我們深入研讀了25年來(lái)的AI研究論文，結(jié)果表明深度學(xué)習(xí)的時(shí)代即將結(jié)束。

如今你聽(tīng)到的關(guān)于AI的幾乎所有內(nèi)容都?xì)w功于深度學(xué)習(xí)。這類算法的工作原理是使用統(tǒng)計(jì)方法來(lái)查找數(shù)據(jù)中的模式；事實(shí)證明，深度學(xué)習(xí)在模仿人類技能（比如我們的視覺(jué)和聽(tīng)覺(jué)能力）方面功能異常強(qiáng)大，它甚至可以模仿我們推理的能力。這些功能在幕后支持谷歌的搜索、Facebook的新聞源和Netflix的推薦引擎，并正在徹底改變醫(yī)療保健和教育等行業(yè)。

不過(guò)雖然深度學(xué)習(xí)憑一己之力將AI推入了公眾視野，但它只是全人類竭力復(fù)制自身智慧的歷史長(zhǎng)河中的一小朵浪花。它在不到10年的時(shí)間里處于這方面的最前沿。如果你綜觀這個(gè)領(lǐng)域的整個(gè)歷史，很容易意識(shí)到深度學(xué)習(xí)可能很快行將消失。

華盛頓大學(xué)的計(jì)算機(jī)科學(xué)教授、《終極算法》一書(shū)的作者Pedro Domingos說(shuō)：“要是有人在2011年撰文稱，深度學(xué)習(xí)很快消失的言論幾年后會(huì)出現(xiàn)在報(bào)刊雜志的頭版，我們可能會(huì)這么說(shuō)‘哇，你是不是吃錯(cuò)藥了?！?/p>

他表示，長(zhǎng)期以來(lái)，不同技術(shù)的突然興衰起落已成為AI研究領(lǐng)域的特征。每隔十年，不同想法之間就會(huì)出現(xiàn)一番激烈的競(jìng)爭(zhēng)。之后，偶爾會(huì)出現(xiàn)大反轉(zhuǎn)，這個(gè)圈子中的每個(gè)人就某一種特定的想法達(dá)成共識(shí)。

《麻省理工學(xué)院科技評(píng)論》雜志（MIT Technology Review）想要直觀地呈現(xiàn)這些變化。于是，我們將目光投向最龐大的科學(xué)論文開(kāi)源數(shù)據(jù)庫(kù)之一：arXiv。我們下載了2018年11月18日之前歸屬“AI”部分的所有16625篇論文的摘要，跟蹤分析了這些年來(lái)提及的單詞，看看這個(gè)領(lǐng)域是如何演變的。

從arXiv下載的論文數(shù)量

我們通過(guò)一番分析，發(fā)現(xiàn)了三個(gè)主要的趨勢(shì)：20世紀(jì)90年代末和21世紀(jì)初向機(jī)器學(xué)習(xí)轉(zhuǎn)變，2010年初開(kāi)始神經(jīng)網(wǎng)絡(luò)日漸普及，以及近幾年強(qiáng)化學(xué)習(xí)大行其道。

有幾個(gè)地方需要注意。首先，arXiv的AI部分只追溯到1993年，而“AI”這個(gè)術(shù)語(yǔ)可以追溯到20世紀(jì)50年代，所以這個(gè)數(shù)據(jù)庫(kù)只代表該領(lǐng)域發(fā)展史的幾個(gè)最新章節(jié)。其次，每年添加到數(shù)據(jù)庫(kù)中的論文只代表當(dāng)時(shí)該領(lǐng)域所做工作的一小部分。不過(guò)，arXiv還是提供了出色的資源，便于匯集一些較大的研究趨勢(shì)，并了解不同想法的角力。

一種機(jī)器學(xué)習(xí)范式

我們發(fā)現(xiàn)的最大轉(zhuǎn)變是21世紀(jì)初期離基于知識(shí)的系統(tǒng)漸行漸遠(yuǎn)。這種計(jì)算機(jī)程序基于這個(gè)想法：你可以使用規(guī)則來(lái)編碼所有的人類知識(shí)。研究人員求助于機(jī)器學(xué)習(xí)，這個(gè)大類的算法包括深度學(xué)習(xí)。

在提及的前100個(gè)單詞中，與基于知識(shí)的系統(tǒng)相關(guān)的那些單詞（比如“邏輯”、“約束”和“規(guī)則”）跌勢(shì)最猛。而與機(jī)器學(xué)習(xí)有關(guān)的那些單詞（比如“數(shù)據(jù)”、“網(wǎng)絡(luò)”和“性能”）增勢(shì)最猛。

機(jī)器學(xué)習(xí)讓基于知識(shí)的推理相形見(jiàn)絀

每1000個(gè)單詞的單詞頻率

這種巨大變化的原因相當(dāng)簡(jiǎn)單。在80年代，由于試圖在機(jī)器中重現(xiàn)常識(shí)的雄心勃勃的項(xiàng)目激動(dòng)人心，基于知識(shí)的系統(tǒng)積累了一大批擁躉。但隨著那些項(xiàng)目逐漸展開(kāi)來(lái)，研究人員遇到了一大問(wèn)題：如果一個(gè)系統(tǒng)要做任何有用的事情，需要編寫(xiě)的規(guī)則實(shí)在太多了。這增加了成本，并嚴(yán)重阻礙了后期的日常工作。

機(jī)器學(xué)習(xí)成為了解決這個(gè)問(wèn)題的答案。這種方法不是要求人們手動(dòng)編碼成千上萬(wàn)條規(guī)則，而是對(duì)機(jī)器編程，以便從一堆數(shù)據(jù)中自動(dòng)提取那些規(guī)則。正因?yàn)槿绱耍@個(gè)領(lǐng)域擯棄了基于知識(shí)的系統(tǒng)，改而轉(zhuǎn)向完善機(jī)器學(xué)習(xí)。

神經(jīng)網(wǎng)絡(luò)的繁榮期

在新的機(jī)器學(xué)習(xí)范式下，并沒(méi)有立即出現(xiàn)向深度學(xué)習(xí)轉(zhuǎn)變的一幕。相反，正如我們對(duì)關(guān)鍵術(shù)語(yǔ)的分析顯示的那樣，除了深度學(xué)習(xí)的核心機(jī)制神經(jīng)網(wǎng)絡(luò)外，研究人員還測(cè)試了眾多方法。另外一些流行的技術(shù)包括貝葉斯網(wǎng)絡(luò)、支持向量機(jī)和進(jìn)化算法，所有這些技術(shù)都采用了不同的方法來(lái)查找數(shù)據(jù)中的模式。

神經(jīng)網(wǎng)絡(luò)取代其他機(jī)器學(xué)習(xí)方法

在20世紀(jì)90年代和2000年代，所有這些方法之間存在著穩(wěn)定的競(jìng)爭(zhēng)。然后在2012年，一項(xiàng)關(guān)鍵的突破導(dǎo)致了另一次巨大變化。在旨在推動(dòng)計(jì)算機(jī)視覺(jué)發(fā)展的一年一度的ImageNet比賽期間，一位名叫Geoffrey Hinton的研究人員及其在多倫多大學(xué)的同事在圖像識(shí)別方面獲得了最佳準(zhǔn)確度，整整高出10個(gè)百分點(diǎn)。

他使用的技術(shù)即深度學(xué)習(xí)引發(fā)了一波新的研究：先是在視覺(jué)領(lǐng)域內(nèi)部，然后擴(kuò)大到另外的領(lǐng)域。隨著越來(lái)越多的研究人員開(kāi)始使用深度學(xué)習(xí)來(lái)獲得令人印象深刻的結(jié)果，深度學(xué)習(xí)的受歡迎程度急劇提高，神經(jīng)網(wǎng)絡(luò)隨之走紅。

加強(qiáng)學(xué)習(xí)方興未艾

我們的分析表明，在深度學(xué)習(xí)崛起后的幾年里，AI領(lǐng)域出現(xiàn)了第三次也是最后一次轉(zhuǎn)變。

除了機(jī)器學(xué)習(xí)中的不同技術(shù)外，還有三種不同的類型：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。監(jiān)督學(xué)習(xí)是最常用的一種，也是迄今為止最實(shí)用的應(yīng)用，它需要為機(jī)器饋送經(jīng)過(guò)標(biāo)記的數(shù)據(jù)。然而在過(guò)去幾年，強(qiáng)化學(xué)習(xí)在論文摘要中的提及率迅速增加，它模仿通過(guò)獎(jiǎng)懲機(jī)制訓(xùn)練動(dòng)物的過(guò)程。

強(qiáng)化學(xué)習(xí)發(fā)展勢(shì)頭正猛

這并不是什么新想法，但幾十年來(lái)它其實(shí)沒(méi)有真正奏效過(guò)。Domingos說(shuō)：“搞監(jiān)督學(xué)習(xí)的人會(huì)取笑搞強(qiáng)化學(xué)習(xí)的人。”但是正如深度學(xué)習(xí)一樣，一個(gè)關(guān)鍵時(shí)刻突然讓強(qiáng)化學(xué)習(xí)家喻戶曉。

那個(gè)時(shí)刻發(fā)生在2015年10月，當(dāng)時(shí)DeepMind研發(fā)的AlphaGo用強(qiáng)化學(xué)習(xí)經(jīng)過(guò)訓(xùn)練后，在古老的圍棋比賽中擊敗了世界冠軍。這立即對(duì)研究界產(chǎn)生了影響。

下一個(gè)十年

我們的分析只不過(guò)對(duì)AI研究領(lǐng)域的幾種主要想法之間的激烈競(jìng)爭(zhēng)給出了最近寫(xiě)照，但它表明了竭力復(fù)制智慧這條道路上的變幻莫測(cè)。Domingos說(shuō)：“認(rèn)識(shí)到?jīng)]有人知道如何解決這個(gè)問(wèn)題很重要?！?/p>

過(guò)去25年中使用的許多技術(shù)起源于大概同一個(gè)時(shí)期，即20世紀(jì)50年代，因每十年的挑戰(zhàn)和成功而失寵和受寵。比如說(shuō)，神經(jīng)網(wǎng)絡(luò)在60年代達(dá)到頂峰，80年代回光返照、奄奄一息，但隨后因深度學(xué)習(xí)而重新獲得了目前的人氣。

換句話說(shuō)，每十年實(shí)際上看到不同技術(shù)輪流唱主角：50年代末和60年代的神經(jīng)網(wǎng)絡(luò)，70年代的各種象征方法，80年代基于知識(shí)的系統(tǒng)，90年代的貝葉斯網(wǎng)絡(luò)，2000年代的支持向量機(jī)，以及2010年代的神經(jīng)網(wǎng)絡(luò)。

Domingos表示，20世紀(jì)20年代應(yīng)該沒(méi)什么不同，這意味著深度學(xué)習(xí)時(shí)代可能很快就會(huì)結(jié)束。但研究界對(duì)于接下來(lái)會(huì)發(fā)生什么莫衷一是、眾說(shuō)紛紜——到底一種舊技術(shù)重新獲得青睞，還是這個(gè)領(lǐng)域會(huì)創(chuàng)造一種全新的范式。

Domingos說(shuō)：“如果你回答了這個(gè)問(wèn)題，我想為這個(gè)答案申請(qǐng)專利?！?/p>