人工智能的主流技術(shù)的發(fā)展大致經(jīng)歷了三個(gè)重要的歷程。1956-1965年，人工智能的形成期，強(qiáng)調(diào)推理的作用。一般認(rèn)為只要機(jī)器被賦予邏輯推理能力就可以實(shí)現(xiàn)人工智能。不過(guò)此后人們發(fā)現(xiàn)，只是具備了邏輯推理能力，機(jī)器還遠(yuǎn)遠(yuǎn)達(dá)不到智能化的水平。1965-1990年，人工智能的“知識(shí)期”。這一時(shí)期，人們認(rèn)為要讓機(jī)器變得有智能，就應(yīng)該設(shè)法讓機(jī)器具有知識(shí)。

后來(lái)人們發(fā)現(xiàn)，知識(shí)獲取相當(dāng)困難。1990年至今，人工智能進(jìn)入“機(jī)器學(xué)習(xí)期”。隨著各種機(jī)器學(xué)習(xí)算法的提出和應(yīng)用，特別是深度學(xué)習(xí)技術(shù)的發(fā)展，人們希望機(jī)器能夠通過(guò)大量數(shù)據(jù)分析，從而自動(dòng)學(xué)習(xí)出知識(shí)并實(shí)現(xiàn)智能化水平。這一時(shí)期，隨著計(jì)算機(jī)硬件水平的提升，大數(shù)據(jù)分析技術(shù)的發(fā)展，機(jī)器采集、存儲(chǔ)、處理數(shù)據(jù)的水平有了大幅提高。特別是深度學(xué)習(xí)技術(shù)對(duì)知識(shí)的理解比之前淺層學(xué)習(xí)有了很大的進(jìn)步，Alpha Go和中韓圍棋高手過(guò)招大幅領(lǐng)先就是人工智能的高水平代表之一。

人工智能發(fā)展的62年中，有高潮，有低潮，呈現(xiàn)波浪式前進(jìn)，螺旋式提升。1960年代，人工智能大發(fā)展，1970年代，人工智能處于低潮，特別是神經(jīng)網(wǎng)路、機(jī)器翻譯等的研究項(xiàng)目大量取消。1980年代，人工智能發(fā)展迎來(lái)了“日本五代機(jī)”大好時(shí)光。但是到1988年，“日本五代機(jī)”研究沒(méi)有達(dá)到預(yù)期的目標(biāo)，引起人們反思人工智能的研究。1991年，人工智能頂級(jí)刊物“Artificial Intelligence”第47卷發(fā)表了人工智能基礎(chǔ)專輯，指出了人工智能研究的趨勢(shì)。Kirsh在專輯中提出了人工智能的五個(gè)基本問(wèn)題：

(1)知識(shí)與概念化是否是人工智能的核心？

(2)認(rèn)知能力能否與載體分開(kāi)來(lái)研究？

(3)認(rèn)知的軌跡是否可用類自然語(yǔ)言來(lái)描述？

(4)學(xué)習(xí)能力能否與認(rèn)知分開(kāi)來(lái)研究？

(5)所有的認(rèn)知是否有一種統(tǒng)一的結(jié)構(gòu)？

這些問(wèn)題都是與人工智能有關(guān)的認(rèn)知問(wèn)題,必須從認(rèn)知科學(xué)的基礎(chǔ)理論進(jìn)行探討?；A(chǔ)理論研究是為獲得關(guān)于現(xiàn)象和可觀察事實(shí)的基本原理及新知識(shí)而進(jìn)行的實(shí)驗(yàn)性和理論性工作，它不以任何專門或特定的應(yīng)用或使用為目的。

在過(guò)去的幾年間，由于神經(jīng)網(wǎng)絡(luò)，或者“深度學(xué)習(xí)”方法的飛速發(fā)，人工智能已經(jīng)發(fā)生了一場(chǎng)變革，這些人工智能方法的起源都直接來(lái)自神經(jīng)科學(xué)。1943年，心理學(xué)家麥克洛奇(W S McCulloch) 和數(shù)理邏輯學(xué)家皮茲 (W Pitts) 在《數(shù)學(xué)生物物理公報(bào) (Bulletin ofMathematical Biophysics)》上發(fā)表了關(guān)于神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，提出了MP神經(jīng)網(wǎng)絡(luò)模型，開(kāi)創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究。

神經(jīng)計(jì)算的研究以建設(shè)人工的神經(jīng)網(wǎng)絡(luò)作為開(kāi)端，這些神經(jīng)網(wǎng)絡(luò)能計(jì)算邏輯函數(shù)。不久之后，有人提出了另外的一些機(jī)制，認(rèn)為神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元可能可以逐步地從監(jiān)督式的回饋或者非監(jiān)督方法中有效的編碼環(huán)境統(tǒng)計(jì)下進(jìn)行學(xué)習(xí)。這些機(jī)制打開(kāi)了人工神經(jīng)網(wǎng)絡(luò)研究的另一扇大門，并且提供了當(dāng)代對(duì)深度學(xué)習(xí)進(jìn)行研究的基礎(chǔ)。費(fèi)爾德曼(Feldmann) 和 巴拉德(Ballard) 的連接網(wǎng)絡(luò)模型指出了傳統(tǒng)的人工智能計(jì)算與生物的“計(jì)算"的區(qū)別, 提出了并行分布處理的計(jì)算原則。

1985年，欣頓(Hinton)和塞杰諾斯基(Sejnowsky) 提出了一個(gè)可行的算法，稱為玻耳茲曼(Boltzmann) 機(jī)模型。他們借用了統(tǒng)計(jì)物理學(xué)的概念和方法,首次提出了多層網(wǎng)絡(luò)的學(xué)習(xí)算法。1986年，魯梅爾哈特(Rumelhart) 和 麥克萊倫德(McClelland) 等人提出并行分布處理(Parallel Distributed Processing, 簡(jiǎn)稱PDP) 的理論。一群神經(jīng)科學(xué)和認(rèn)知科學(xué)家意識(shí)到，他們的研究屬于平行分布式處理（PDP）。

當(dāng)時(shí)，大多數(shù)的人工智能研究都集中在基于序列計(jì)算建立邏輯處理系統(tǒng)，這一概念部分是受到這樣一種思路的啟發(fā)——人類的智能包含了對(duì)符號(hào)表征的處理。但是，在有一些領(lǐng)域，越來(lái)越多的人意識(shí)到，純粹的符號(hào)方法可能過(guò)于脆弱，并且在解決人類習(xí)以為常的現(xiàn)實(shí)問(wèn)題時(shí)，可能不夠靈活。取而代之的是，關(guān)于大腦基礎(chǔ)知識(shí)的不斷增加，指出了一個(gè)非常不一樣的方向，強(qiáng)調(diào)動(dòng)態(tài)和高度平行信息處理的重要性?；诖?，PDP興起提出了一個(gè)思路：人類的認(rèn)知和行為來(lái)自動(dòng)態(tài)的、分布式交互，并且基于神經(jīng)網(wǎng)絡(luò)內(nèi)單一類神經(jīng)元的處理單元，通過(guò)學(xué)習(xí)進(jìn)程來(lái)對(duì)交互進(jìn)行調(diào)整，他們通過(guò)調(diào)整參數(shù)，以將誤差最小化，將反饋?zhàn)畲蠡Ｔ诟鱾€(gè)地方，神經(jīng)科學(xué)為架構(gòu)和算法的范圍提供了初步指導(dǎo)，從而引導(dǎo)人工智能成功應(yīng)用神經(jīng)網(wǎng)絡(luò)。

除了在深度學(xué)習(xí)發(fā)展中的神經(jīng)科學(xué)發(fā)揮重要作用之外，神經(jīng)科學(xué)還推動(dòng)了強(qiáng)化學(xué)習(xí)（RL）的出現(xiàn)。強(qiáng)化學(xué)習(xí)方法解決了如何通過(guò)將環(huán)境中的狀態(tài)映射到行動(dòng)來(lái)最大化未來(lái)獎(jiǎng)勵(lì)的問(wèn)題，并且是人工智能研究中使用最廣泛的工具之一。深度 Q 網(wǎng)絡(luò)（DQN）通過(guò)學(xué)習(xí)將圖像像素的矢量轉(zhuǎn)換為用于選擇動(dòng)作（例如操縱桿移動(dòng)）的策略，在 Atari 2600 視頻游戲中展現(xiàn)出專家級(jí)的水平。DQN 的一個(gè)關(guān)鍵因素是“體驗(yàn)重播”（experience replay），其中網(wǎng)絡(luò)以基于實(shí)例的方式存儲(chǔ)訓(xùn)練數(shù)據(jù)的一部分，然后“離線重播”，從過(guò)去新發(fā)現(xiàn)的成功或失敗中學(xué)習(xí)。體驗(yàn)重播對(duì)于最大限度地提高數(shù)據(jù)效率至關(guān)重要，避免了從連續(xù)相關(guān)經(jīng)驗(yàn)中學(xué)習(xí)的不穩(wěn)定的影響，使網(wǎng)絡(luò)即使在復(fù)雜、高度結(jié)構(gòu)化的順序環(huán)境中，也能學(xué)習(xí)可行的價(jià)值函數(shù)。

體驗(yàn)重播直接受理論的啟發(fā)，這些理論旨在了解哺乳動(dòng)物大腦中的多個(gè)記憶系統(tǒng)如何相互作用。動(dòng)物的學(xué)習(xí)行為是由海馬和新皮質(zhì)中互補(bǔ)學(xué)習(xí)系統(tǒng)為基礎(chǔ)。DQN 中的重播緩沖區(qū)可以被視為一個(gè)非常原始的海馬，使計(jì)算機(jī)能夠進(jìn)行輔助學(xué)習(xí)，就像在生物大腦里發(fā)生的那樣。后續(xù)工作表明，當(dāng)具有高度獎(jiǎng)勵(lì)價(jià)值的事件重播被優(yōu)先考慮時(shí)，DQN 中體驗(yàn)重播的好處得到了增長(zhǎng)，正如海馬重播似乎更偏好能夠帶來(lái)高水平強(qiáng)化的事件一樣。

存儲(chǔ)在內(nèi)存緩沖區(qū)中的體驗(yàn)不僅可以用于逐漸將深度網(wǎng)絡(luò)的參數(shù)調(diào)整為最佳策略（就像在 DQN 中那樣），還可以根據(jù)個(gè)人經(jīng)驗(yàn)支持快速的行為變化。事實(shí)上，理論神經(jīng)科學(xué)已經(jīng)證明了情景控制的潛在好處，在生物大腦的海馬中，獎(jiǎng)勵(lì)動(dòng)作序列能夠在內(nèi)部從快速可更新的記憶庫(kù)中被重新激活。此外，當(dāng)獲得的環(huán)境經(jīng)驗(yàn)有限時(shí)，情景控制特別優(yōu)于其他的學(xué)習(xí)機(jī)制。最近的人工智能 研究已經(jīng)吸取了這些想法來(lái)克服深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)慢的特性，開(kāi)發(fā)了實(shí)現(xiàn)情景控制的架構(gòu)。這些網(wǎng)絡(luò)存儲(chǔ)特定的體驗(yàn)，并且基于當(dāng)前情況輸入和存儲(chǔ)在存儲(chǔ)器中的先前事件之間的相似性來(lái)選擇新的動(dòng)作，考慮與之前的事件相關(guān)聯(lián)的獎(jiǎng)勵(lì)。

智能科學(xué)是由腦科學(xué)、認(rèn)知科學(xué)、人工智能等構(gòu)建的前沿交叉學(xué)科，研究智能的基本理論和實(shí)現(xiàn)技術(shù)。腦科學(xué)從分子水平、細(xì)胞水平、行為水平研究人腦智能機(jī)理，建立腦模型，揭示人腦的本質(zhì)。認(rèn)知科學(xué)是研究人類感知、學(xué)習(xí)、記憶、思維、意識(shí)等人腦心智活動(dòng)過(guò)程的科學(xué)。人工智能研究用人工的方法和技術(shù)，模仿、延伸和擴(kuò)展人的智能, 實(shí)現(xiàn)機(jī)器智能。智能科學(xué)是實(shí)現(xiàn)人類水平的人工智能的重要途徑，引領(lǐng)新一代人工智能的發(fā)展。