Facebook AI 研究總監(jiān) Yann LeCun 近日在普林斯頓高等研究所進行了一次演講，題為《深度學習認識論》，重點討論了深度學習思想的早期歷史和動態(tài)，強調(diào)理論理解在深度學習研究中的重要意義。

更好的理論理解，將有助于深度學習研究的發(fā)展。

近日，F(xiàn)acebook AI 研究總監(jiān) Yann LeCun 在普林斯頓高等研究所進行了一次演講，題為《深度學習認識論》(The Epistemology of Deep Learning)，重點討論了深度學習思想的早期歷史和動態(tài)。

LeCun 認為，深度學習在一定程度上是一門 “工程科學”，我們通過理論洞見、直覺、靈感和經(jīng)驗探索來創(chuàng)造新的工件。但是理解深度學習在一定程度上是 “物理科學”，需要理解這個工件的一般屬性。

科學和技術(shù)的歷史有很多技術(shù)工件先于理論理解的例子：透鏡的發(fā)明在光學理論之前，蒸汽機的發(fā)明在熱力學之前，飛機在空氣動力學之前，無線電通信再信息理論之前，可編程計算器在計算機科學之前。

LeCun 演講的兩個要點是：

(1) 經(jīng)驗主義是一種完全合適的研究方法，盡管它效率低下；

(2) 我們面臨的挑戰(zhàn)是為學習和智能開發(fā)一種理論，對應于蒸汽機的熱力學理論。

有了理論基礎，即使只是概念上的基礎，也將大大加快該領(lǐng)域的研究進展，但必須認識到一般理論的實際影響有限。

深度學習：工程科學還是自然科學？

2017 年 Ali Rahimi 在 NIPS 的演講中批判深度學習是 “煉金術(shù)”（Alchemy），引起機器學習界大討論。當時反駁他的代表、深度學習領(lǐng)軍人物 Yann LeCun 在自己的主頁上回應 Ali，說自己完全不同意 Ali 的說法。

LeCun 表示，那次大爭論很有意思，但他認為 Ali Rahami 混淆了兩個概念，即 “煉金術(shù)” 和 “工程”。Ali 所指的 “煉金術(shù)” 實際上是工程學。

煉金術(shù) & 工程

工程科學是關(guān)于發(fā)明新工件 (new artifacts) 的，你有很多方法可以用來發(fā)明新東西。比如望遠鏡、蒸汽機、電磁體、飛機、無線電等新發(fā)明，顯然有方法被用來創(chuàng)造它們。這是一種創(chuàng)造性的活動，其方法如創(chuàng)造、直覺、探測、實驗等等。如果我們對這些現(xiàn)象有一些理論上的理解，這些發(fā)明創(chuàng)造顯然能夠更加高效。

這與今天的神經(jīng)科學也有相似之處。神經(jīng)科學是關(guān)于發(fā)現(xiàn)、學習和解釋現(xiàn)象的，其方法如在控制條件下的可復現(xiàn)實驗、數(shù)學、統(tǒng)計學、系統(tǒng)性實驗等，同樣也由理論性、概念性和直覺理解所指導。

而理論往往是在發(fā)明之后構(gòu)建起來的，比如：透鏡的發(fā)明在光學理論之前，蒸汽機的發(fā)明在熱力學之前，飛機在空氣動力學之前，無線電通信再信息理論之前，可編程計算器在計算機科學之前。

如此，現(xiàn)代世界的種種神奇在人們完全理解它們之前就已經(jīng)被發(fā)明出來了。這和我們告訴學生的故事有些不同，我們會告訴他們?nèi)プ鰯?shù)學運算，要理解所有的理論，只有這樣你才能利用那些理論去發(fā)明東西。但現(xiàn)實從來不是這樣。

來自大腦的啟發(fā)

上面這張 PPT 展示了深度學習的根源，即啟發(fā)了深度學習的一些理論。

McCulloch & Pitts (1943) : 二元神經(jīng)元網(wǎng)絡可以做邏輯運算

Donald Hebt (1947) : Hebbian 發(fā)現(xiàn)突觸可塑性的基本機制（赫布理論）

Norbert Wiener (1948) ：控制論，最佳濾波器，反饋，自動生成，自動組織

Frank Rosenblatt (1957): 感知機

今天的 AI 大部分是監(jiān)督學習

其運作方式是：向系統(tǒng)提供樣本以訓練機器，而非直接編程。

當輸出錯誤時，則調(diào)整參數(shù)。

這是模式識別的一個標準范式

從 1969 到 1985 年，是深度學習的第一個 “冬天”。當時提出的多層網(wǎng)絡并不學習，原因包括使用了錯誤的 “神經(jīng)元”，而二元神經(jīng)元阻礙了人們往 gradient-based 的方法去想。

不過到 80 年代早期，出現(xiàn)了神經(jīng)網(wǎng)絡的第二次熱潮。當時提出了 Hopfield nets、玻爾茲曼機。到 1985/86 年，反向傳播 (Backprop) 出現(xiàn)了，深度學習迎來轉(zhuǎn)機。

來自生物學的啟發(fā)

深度學習為什么需要理論

理論是好東西，因為它使得實驗有效。

理論允許我們修補、完善經(jīng)驗。一些理論甚至能讓我們預測現(xiàn)象。

多層神經(jīng)網(wǎng)絡和深度學習

卷積網(wǎng)絡啟發(fā)自視覺皮層

卷積網(wǎng)絡能夠識別多個物體

其中，所有層都是卷積的，神經(jīng)網(wǎng)絡同時進行分割和識別。

80、90 年代時的神經(jīng)網(wǎng)絡硬件

深度學習的第二個冬天

1996~2006 年的 10 年間，是神經(jīng)網(wǎng)絡的第二個冬天。這期間，很少有團隊能夠訓練大型神經(jīng)網(wǎng)絡。

原因有很多

硬件在浮點計算方面很慢

數(shù)據(jù)稀缺，數(shù)據(jù)成本昂貴，而神經(jīng)網(wǎng)絡是數(shù)據(jù)饑渴性的

交互式的軟件工具必須從頭開始構(gòu)建

在互聯(lián)網(wǎng)時代之前，開源并不常見

學習理論

理論可能會限制我們的創(chuàng)造性思維