摘要：最近， 深度學(xué)習(xí)三杰獲得了計算機(jī)界最重要的圖靈獎， 它們的貢獻(xiàn)都集中在對深度學(xué)習(xí)的根據(jù)神經(jīng)網(wǎng)絡(luò)的理論突破。今天我們看到的所有和人工智能有關(guān)的偉大成就， 從阿法狗到自動駕駛， 從海量人臉識別到對話機(jī)器人， 都可以歸功于人工神經(jīng)網(wǎng)絡(luò)的迅速崛起。那么對于不了解神經(jīng)網(wǎng)絡(luò)的同學(xué)如何入門？ 神經(jīng)網(wǎng)絡(luò)的技術(shù)為什么偉大， 又是什么讓它們這么多年才姍姍走來? 我們一一拆解開來。

一 引入

我們說人工智能經(jīng)歷了若干階段， 從規(guī)則主導(dǎo)的計算模型到統(tǒng)計機(jī)器學(xué)習(xí)。傳統(tǒng)統(tǒng)計機(jī)器學(xué)習(xí)不乏極為強(qiáng)大的算法， 從各種高級的線性回歸，SVM到?jīng)Q策樹隨機(jī)森林，它們的共同特點是把人類的學(xué)習(xí)過程直接轉(zhuǎn)化為算法。 但是沿著直接模擬人類學(xué)習(xí)和思維的路線， 我們是否可以走向人工智能的終極大廈呢？

答案是否定的。 基于統(tǒng)計， 模擬人類思維的機(jī)器學(xué)習(xí)模型， 最典型的是決策樹， 而即使決策樹， 最多能夠提取的無非是一種數(shù)據(jù)特征之間的樹形邏輯關(guān)系。 但是顯然我們?nèi)说墓δ埽?很多并不是基于這種非常形式化的邏輯。 比如你一看到一個人， 就記住了他的面孔。 比如你有情感， 在你憤怒和恐懼的時候擊退敵人。 比如你一不小心產(chǎn)生了靈感， 下了一手妙棋或者畫出一幅名畫。 這些顯然都與決策樹那種非常機(jī)械的邏輯相差甚遠(yuǎn)。

人類的智慧根據(jù)， 是從感知， 到直覺， 到創(chuàng)造力的一系列很難轉(zhuǎn)化為程序的過程。 那我們?nèi)绾尾拍苷嬲M人類的智能？ 我們回到人的組成人的智能本身最重要的材料。 大腦。

如果說統(tǒng)計機(jī)器學(xué)習(xí)的故事是一個模擬人類思維的過程， 那么神經(jīng)網(wǎng)絡(luò)的故事就是一個信息加工和處理的故事， 我們的思維將一步步接近造物， 接近 - “信息”， 這個一切認(rèn)知和智能的本源。 看它該如何流動， 才能產(chǎn)生人的思維。

二 神經(jīng)元

生物神經(jīng)元

首先， 神經(jīng)網(wǎng)絡(luò)的靈感來自生物神經(jīng)網(wǎng)絡(luò)。 那么生物神經(jīng)網(wǎng)絡(luò)是怎么組成的？ 神經(jīng)元。 神經(jīng)元的基本結(jié)構(gòu)是樹突， 胞體和軸突（如上圖）。這樣一個結(jié)構(gòu)，就像因特網(wǎng)上的一臺電腦，它有一部接受器-樹突，每一個樹突的頂端是一個叫突出的結(jié)構(gòu)，上面布滿各種各樣的傳感器（離子通道），接受外界物理信號，或其它“電腦”給它發(fā)來的脈沖，一部發(fā)射器，軸突，則以化學(xué)遞質(zhì)的形式放出自身的信號。只不過樹突和軸突是有形的生物組織， 他們象樹枝，根須一般延伸出去，不停的探知外界的情況并調(diào)整自己。

神經(jīng)元模型

我們把生物神經(jīng)元進(jìn)行數(shù)學(xué)抽象， 就得到人工神經(jīng)元。如何抽取它的靈魂？ 簡單的說， 每一個神經(jīng)元扮演的角色就是一個收集+傳話者。樹突不停的收集外部的信號，大部分是其它細(xì)胞傳遞進(jìn)來的信號，也有物理信號， 比如光。 然后把各種各樣的信號轉(zhuǎn)化成胞體上的電位， 如果胞體電位大于一個閾值， 它就開始向其它細(xì)胞傳遞信號。 這個過程非常像爆發(fā)。 要不是沉默， 要不就瘋狂的對外喊話。

我們說， 一個神經(jīng)細(xì)胞就是一個最小的認(rèn)知單元， 何為認(rèn)知單元， 就是把一定的數(shù)據(jù)組成起來，對它做出一個判斷， 我們可以給它看成一個具有偏好的探測器。 聯(lián)系機(jī)器學(xué)習(xí)， 就是分類器，不停的對外界數(shù)據(jù)進(jìn)行處理。為什么要做分類？ 因為正確的分類， 是認(rèn)知的基礎(chǔ)， 也是決策的基礎(chǔ)。 因為認(rèn)識任何概念， 往往都是離散的分類問題， 比如色彩， 物體的形狀等等。因此， 神經(jīng)細(xì)胞做的事情， 就像是模數(shù)轉(zhuǎn)化， 把連續(xù)的信號轉(zhuǎn)化成離散的樣子。

突觸：生物神經(jīng)元對話的媒介， 信號在這里實現(xiàn)轉(zhuǎn)化

如果說把神經(jīng)元看成這樣一個信息轉(zhuǎn)化的函數(shù)， 那么生物神經(jīng)元的這副樣子，使它能夠極好的調(diào)節(jié)這個函數(shù)。 信號的收集者樹突， 可以向外界生長決定探測哪些信號， 然后通過一個叫離子通道的東西收集信號，每個樹突上這種通道的數(shù)量不一樣。 有的多一點， 有的少一點， 而且是可以調(diào)控的。 這個調(diào)控的東西， 就是對外界信號的敏感度。 這樣的結(jié)構(gòu)， 可以說得到了最大的對外界信息的選擇性。

什么是外界信號？ 這里我們用上次課將的一個東西替代， 特征， 如果把一切看作樹， 神經(jīng)元在不停觀測外界， 每個樹突都在收集某個特征。而這個離子通道的數(shù)量， 就是線性回歸里面的那個權(quán)重。

它在干什么事情呢？ 收集特征， 作為決策證據(jù)！ 當(dāng)某些信息積累到一定地步， 它就可以做決策了， 如果把這個功能進(jìn)一步簡化， 我們就可以把這個決策過程描述成以單純的閾值函數(shù)， 要么就干， 否則就不干。 就這么簡單的。

從生物神經(jīng)元到數(shù)學(xué)神經(jīng)元

神經(jīng)細(xì)胞與晶體管和計算機(jī)的根本區(qū)別在于可塑性?；蛘吒鼫?zhǔn)確的說具有學(xué)習(xí)能力。從機(jī)器學(xué)習(xí)的角度看， 它實現(xiàn)的是一個可以學(xué)習(xí)的分類器，就和我們上次課講的一樣， 具有自己調(diào)整權(quán)重的能力， 也就是調(diào)整這個w1和w2.

我們這個簡化出來的模型，正是所有人工神經(jīng)網(wǎng)絡(luò)的祖母－感知機(jī)。從名字可以看出，人們設(shè)計這個模型的最初目的就是像讓它像真實的生物神經(jīng)元一樣，做出感知和判斷。并且從數(shù)據(jù)中學(xué)習(xí)。

感知機(jī)算是最早的把連接主義引入機(jī)器學(xué)習(xí)的嘗試。它直接模擬Warren McCulloch 和 Walter Pitts 在1943 提出而來神經(jīng)元的模型， 它的創(chuàng)始人 Rosenblatt 事實上制造了一臺硬件裝置的跟神經(jīng)元器件裝置。

把數(shù)學(xué)神經(jīng)元變成機(jī)器

你要是想理解這個過程。最好的方法是幾何法。你仔細(xì)觀察， 這個感知機(jī)的方程， 如果只有兩個特征的時候， 描述的就是一個x1和x2坐標(biāo)的平面， 中間有一條直線w1x1+w2x2=0，直線的左邊是一類， 右邊是二類 。感知機(jī)的學(xué)習(xí)過程就是調(diào)整這條分類直線的位置，我們測量錯分點到這條線的距離之和，調(diào)整線的位置， 直到兩個類的點乖乖分布到直線兩邊，我們就實現(xiàn)了分類過程。

一個神經(jīng)元相當(dāng)于一個分類器

這其實就是一個神經(jīng)元的偏好。 比你讓一個神經(jīng)元幫你確定是否去看電影的例子。它根據(jù)今天的溫度，一個是電影的長度來判斷， 當(dāng)然一開始它不了解你， 但是它可以先幫你做做決策， 然后根據(jù)你每次給他的反饋意見它調(diào)整自己，如果你注重溫度，它就加大溫度的權(quán)重，總之找到你看重的東西， 這就是感知機(jī)訓(xùn)練的方法白話版， 如果你給他肯定意見，他就不做改變， 你不滿意， 他就變一變。

最初的感知機(jī)采用閾值函數(shù)作為神經(jīng)元的決策（激活）函數(shù)。后來這個函數(shù)逐步被調(diào)整為sigmoid函數(shù)。表現(xiàn)上看， 這個函數(shù)把閾值函數(shù)進(jìn)行了軟化， 事實上， 它使得我們不是僅僅能夠表達(dá)非黑即白的邏輯， 而是一個連續(xù)變化的概率。 而這個函數(shù)的擴(kuò)展softmax則可以幫助我們實現(xiàn)多個分類的選擇。

sigmoid 函數(shù)

我們說， 這一類模型開始被人們寄托重大希望， 不久卻落空。原因在于， 它真是太簡單了。 在幾何上， 無論怎么變它都只是一個線性的模型。 而事實上， 這個世界卻是非線性的。

三 神經(jīng)網(wǎng)絡(luò)降伏非線性

什么是非線性， 我們舉一個經(jīng)典的機(jī)器學(xué)習(xí)的房價的例子，首先這是一個經(jīng)典的線性問題。 我們通常用線性模型描述房價的問題。 把各個影響因子線性的累加起來。比如我們把問題簡化為臥室數(shù)量， 面積 ，地段， 最后求成交價。 我們用線性模型求解價格。 然而， 著一定不是真實的情況， 這背后的關(guān)鍵假設(shè)是，我們的臥室數(shù)量，面積， 地段都會獨立的影響房價， 這就好像說， 如果你有幾個不同的因素， 某個要素變化， 不影響其它要素最終決定房價的方式，我們具體來說， 還是房屋單價只受地段， 距離地鐵遠(yuǎn)近，臥室數(shù)量三個要素影響，假定三者的權(quán)重是w1，w2, w3. 如果你去改變地段，那么w2，和w3必須是不變的。 就拿海淀和朝陽來說，對這兩個區(qū)， w2 和w3 是一致的。 事實上呢？ 顯然這三個要素互相制約，或許海淀的人都做地鐵， 朝陽的有車的比較多， 它們對距離地鐵遠(yuǎn)近的敏感就不同， 或者說海淀的單身漢比較多， 朝陽的成家的比較多， 朝陽的就更喜歡臥室多的大戶型。 如何表現(xiàn)這種特征之間的相互依賴關(guān)系呢？ 一個天然的解決方法，就是：網(wǎng)絡(luò)模型

看看人類可能是怎么處理這些信息的，人對于這種復(fù)雜的信息，往往采用的是陪審團(tuán)模式，我們可能有好幾個房價專家， 就自己了解的方向去提供意見， 最后我們再根據(jù)每個人的情況綜合出一個結(jié)果。雖然這個時候我們失去了簡單的線性， 但是通過對不同意見單元的歸納， 和集中的過程， 就可以模擬更復(fù)雜的問題。

再看看怎么把它變成數(shù)學(xué)處理房價問題。 首先把他表示成公式， 他其實是說的是

系數(shù)變成了和x有關(guān)的，仔細(xì)想一下，這不就是增加了一個新的層次嗎，我們需要再原始特征x1和x2的基礎(chǔ)上，增加一個新的處理層次，讓不同的特征區(qū)域，享受不同的權(quán)重。 就好比我們有好幾位房價評估師，每一位都是針對某種情況下房價的專家，最后有一個人， 根據(jù)專家的特長給出最終的綜合結(jié)果。這與我們的靈感是相符的。

我們把他表示成圖示方法。 首先， 每個專家都仿佛是一個小的線性模型， 它們具有唯一的一組權(quán)重， 顯示它們再所熟悉的區(qū)域的權(quán)威。

圖片改編自網(wǎng)絡(luò)博文Machine Learning is Fun! by Adam Geitgey

然后，我們把它們匯總起來， 得到下面這個圖， 這個圖和之前我們講解線性回歸的圖是一樣的， 但是我們增加了一個中間的層次，這就是剛剛說的陪審團(tuán)， 哪些中間的位置， 事實上就是表達(dá)了特征之間復(fù)雜的互相影響。而最終我們把它們的意見綜合起來， 就是最終的結(jié)果。

你換個角度思考， 那些中間的綠色圓圈， 也就是說每個專家，不就是神經(jīng)元嗎？ 而那個黃色圓圈， 是最終決策的神經(jīng)元。 這樣的一個組織， 而不是單個神經(jīng)元， 就是神經(jīng)網(wǎng)絡(luò)的雛形。

當(dāng)然， 房價的問題是個回歸問題， 而這個世界的大部分機(jī)器學(xué)習(xí)問題是分類， 每個神經(jīng)元也是一個小小的分類器， 所以我們把每個神經(jīng)元的角色變成線性分類器，再套用剛剛陪審團(tuán)的邏輯， 看看我們得到了什么：每個線性分類器， 剛剛講過都是一個小的特征檢測器， 具有自己的偏好，這個偏好剛好用一個直線表示， 左邊是yes，右邊是no， 那么多個神經(jīng)元表達(dá)的是什么呢？ 很多條這樣yes or no的直線！ 最終的結(jié)果是什么呢？ 我們得到一個被一條條直線割的四分五裂的結(jié)構(gòu)， 既混亂又沒用！ 這就好比每個信息收集者按照自己的偏好得到一個結(jié)論。幸好我們有一組頭頂?shù)纳窠?jīng)元， 它就是最終的大法官， 它把每個人劃分的方法， 做一個匯總。 大法官并不需要什么特殊的手段做匯總， 它所做到的，無非是邏輯運算， 所謂的“與”， “或”， “非”， 這個合并方法，可以得到一個非常復(fù)雜的判決結(jié)果。 你可以把大法官的工作看成是篩選， 我們要再空間里篩選出一個我們最終需要的形狀來， 這有點像是小孩子玩的折紙游戲，每一次都這一條直線， 最終會得到一個邊界非常復(fù)雜的圖形。 我們說， 這就是一個一層的神經(jīng)網(wǎng)絡(luò)所能干的事情。 它可以做出一個復(fù)雜的選擇， 每個神經(jīng)元都代表著對特征的一個組合方法，最后決策神經(jīng)元把這些重組后的特征已經(jīng)刻畫了不同特征之間的關(guān)系， 就可以干掉認(rèn)識現(xiàn)實世界復(fù)雜特性-非線性的能力， 特征之間的關(guān)系很復(fù)雜， 我也可以學(xué)出來。

所謂神經(jīng)網(wǎng)絡(luò)的近似定理， 是說一個前饋神經(jīng)網(wǎng)絡(luò)如果具有線性輸出層和至少一層具有任何一種‘‘?dāng)D壓’’ 性質(zhì)的激活函數(shù)（例如logistic sigmoid激活函數(shù)）的隱藏層，只要給予網(wǎng)絡(luò)足夠數(shù)量的隱藏單元，它可以以任意的精度來近似任何從一個有限維空間到另一個有限維空間的Borel 可測函數(shù)。 這是關(guān)于神經(jīng)網(wǎng)絡(luò)最經(jīng)典的理論了，簡稱萬能函數(shù)逼近器。

另外的一種理解是，神經(jīng)網(wǎng)絡(luò)具有生成非常復(fù)雜的規(guī)則的能力， 如果你可以讓神經(jīng)網(wǎng)絡(luò)很好的學(xué)習(xí)， 他就可以自發(fā)的去做那些與或非， 和邏輯運算，不用你自己寫程序就解決非線性問題。

四 關(guān)于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

是什么阻止了神經(jīng)網(wǎng)絡(luò)從出現(xiàn)之后很快的發(fā)展， 事實上是它們非常不好學(xué)習(xí)。

我們說神經(jīng)網(wǎng)絡(luò)能夠成為一種機(jī)器學(xué)習(xí)的工具關(guān)鍵在于能夠?qū)W習(xí)，那么如何學(xué)習(xí)的呢？ 如果說單個神經(jīng)元可以學(xué)習(xí)的它的偏好， 通過調(diào)整權(quán)重來調(diào)整自己的偏好。 那么神經(jīng)網(wǎng)絡(luò)所干的事情就是調(diào)整每個神經(jīng)元和神經(jīng)元之間的聯(lián)系， 通過調(diào)整這個連接， 來學(xué)習(xí)如何處理復(fù)雜的特征。

說的簡單， 這在數(shù)學(xué)上是一個非常難的問題。 我們通常要把一個機(jī)器學(xué)習(xí)問題轉(zhuǎn)化為優(yōu)化問題求解。 這里， 神經(jīng)網(wǎng)絡(luò)既然在解決非線性問題， 事實上和它有關(guān)的優(yōu)化又叫做非線性優(yōu)化。

先看生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)， 它是通過一種叫做可塑性的性質(zhì)進(jìn)行調(diào)節(jié)的。 這種調(diào)控的法則十分簡單。說的是神經(jīng)細(xì)胞之間的連接隨著它們的活動而變化， 這個變化的方法是， 如果有兩個上游的神經(jīng)元同時給一個共同的下游神經(jīng)元提供輸入， 那么這個共同的輸入將導(dǎo)致那個弱的神經(jīng)元連接的增強(qiáng)， 或者說權(quán)重的增強(qiáng)。 這個原理導(dǎo)致的結(jié)果是，我們會形成對共同出現(xiàn)的特征的一種相關(guān)性提取。 比如一個香蕉的特征是黃色和長形， 一個猴子經(jīng)?？吹较憬?， 那么一個連接到黃色和長形這兩種底層特征的細(xì)胞就會越來越敏感， 形成一個對香蕉敏感的細(xì)胞，我們簡稱香蕉細(xì)胞。 也就是說我們通過底層特征的“共現(xiàn)” 形成了對高級特征的認(rèn)知。 上述過程被總結(jié)hebbain學(xué)習(xí)的一個過程。

從本質(zhì)上說， 剛剛說的過程是一種無監(jiān)督學(xué)習(xí)，你接受輸入引起神經(jīng)活動， 它慢慢的調(diào)整。 如果用這樣的方法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，恐怕需要跑一個世紀(jì)。 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練依賴的是監(jiān)督學(xué)習(xí)，一種有效的結(jié)果導(dǎo)向的思維，如果我要它判斷香蕉和蘋果， 我就是要一邊給它看圖片， 叫它告訴我是什么 ，然后馬上告訴它對錯， 如果錯了，就是尋找那個引起錯誤的神經(jīng)連接。 然而這個過程在數(shù)學(xué)上特別的難以表達(dá)， 因為一個復(fù)雜網(wǎng)絡(luò)的判斷， 引起錯誤的原因可能是任何中間環(huán)節(jié) ，這就好像調(diào)節(jié)一大堆互相關(guān)聯(lián)在一起的參數(shù)，更加可怕的是， 神經(jīng)網(wǎng)絡(luò)往往有很多層， 使得這些參數(shù)的相關(guān)性更加復(fù)雜， 如果你一個個去試探， 那個感覺就是立即瘋。

最終， 這個問題被BP算法的提出解決。 BP反向傳播算法， 是一種精確的根據(jù)最終實現(xiàn)的目標(biāo)，然后通過比較當(dāng)下輸出和最終目標(biāo)的差距， 然后一級反推如何微小的改變各級連接權(quán)重以減少這種誤差的方法。 這其實就是梯度下降結(jié)合復(fù)合函數(shù)求導(dǎo)法則的一個更復(fù)雜的形式。 我們通常把一組剛剛到來的數(shù)據(jù)， 扎成一捆喂給神經(jīng)網(wǎng)絡(luò)， 讓它計算出一個輸出， 這個輸出當(dāng)然會錯的很離譜， 然后我們把這個結(jié)果和我們真正需求的比較得到一個誤差信號， 這個誤差信號會一級一級的改變所有的連接權(quán)重。 每一捆數(shù)據(jù)， 被稱為一個tensor， 都像一個個子彈一樣塑造著整個網(wǎng)絡(luò)。 對于這個方法的理解， 最好的辦法是使用一套由tensorflow提供的可視化工具。

當(dāng)然這僅僅是一個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練的簡短小節(jié)， 當(dāng)你在神經(jīng)網(wǎng)絡(luò)堅守的Hinton這樣的大神，事實上提出過對學(xué)習(xí)算法的無數(shù)改進(jìn)細(xì)節(jié)， 才有了它今天的成功。

五 關(guān)于多層神經(jīng)網(wǎng)絡(luò)，深有什么好處？

剛剛說的方法你可以理解一個一層的神經(jīng)網(wǎng)絡(luò)， 那更多層的神經(jīng)網(wǎng)絡(luò)呢？深層的神經(jīng)網(wǎng)絡(luò)究竟有什么好處？事實上深度學(xué)習(xí)的深，就是指神經(jīng)網(wǎng)絡(luò)之神，可見這是奧妙的門道。

用一句化說，一層的神經(jīng)網(wǎng)絡(luò)可以對特征做一次變換，就如同得到了一組新的特征， 這種特征的變換， 用數(shù)學(xué)家的眼光就是做了一個坐標(biāo)變換， 兌換到一個新的空間。

我舉一個最小的例子讓你理解。 你記得高中學(xué)過的直角坐標(biāo)系和極坐標(biāo)系吧， 這兩個坐標(biāo)系之間存在一個經(jīng)典的坐標(biāo)變換公式。 這就可以看作一個坐標(biāo)變換。 我們舉一個例子看，如果要做一個分類器， 把一些居住在圓形中心的點和它的外周分離開來， 那么這個坐標(biāo)變換就有奇效。

多層網(wǎng)絡(luò)， 就代表一個多次連續(xù)的特征變換，最后會把數(shù)據(jù)從一種性質(zhì)變到另一個性質(zhì)，從一個空間拉到另一個空間。最終總有一個空間， 這些數(shù)據(jù)呆著最合適。這種行為，簡稱為表征學(xué)習(xí)（representative learning）。

表征學(xué)習(xí)顧名思義，是要一種特征轉(zhuǎn)化為另外的特征，因為簡單的特征一旦發(fā)生關(guān)系就可以構(gòu)成復(fù)雜的特征，剛剛那個處在領(lǐng)頭的大法官和司令再次變成士兵，給上層的決策者提供信息,隱層神經(jīng)網(wǎng)絡(luò)所作的事情，我們說其實就是對特征進(jìn)行重組， 然后得到一組新的特征的坐標(biāo)變換， 只不過這個變換的形式是可以學(xué)習(xí)的。 我們說，越限制， 就越自由，為了更好的學(xué)習(xí)， 我們會限制神經(jīng)元對信息的處理只由兩部分組成， 一個是用一定的權(quán)重組合上層的特征， 另一個是通過某個樣子的激活函數(shù)把這個總和變一變。

多層的神經(jīng)網(wǎng)絡(luò)， 通過多次的基變換， 把特征一次次重組，得到越來越復(fù)雜的新的特征， 這就是深度神經(jīng)網(wǎng)絡(luò)作用的機(jī)制。 某種程度上， 它把這種層級特征強(qiáng)加給了它要識別的事物， 但是假定事物本身也是這種按照一層層的方法搭建起來， 那么神經(jīng)網(wǎng)絡(luò)就會取得奇效。

哪些事物是有這種層級結(jié)構(gòu)的呢？ 我們說，所有的感知信號都是， 從視覺， 到聽覺，到語言。假定你看著一個屏幕， 你真正看到的是每個像素點， 而最終你要組合成為一個可以認(rèn)知的圖象。 假定你聽著的是聲音， 你最終需要分辨出一個個單詞 ，句式，直到語言。

認(rèn)知科學(xué)里說，抽象使得不同的事物可以在更深的層次上被聯(lián)系起來， 的就是說， 不同層次的函數(shù)迭代，產(chǎn)生的新的空間（某種程度也是降維，比如圖形處理中），使得原先的距離概念被打破，具體怎樣被打破。 這正是人腦處理信息的本質(zhì)。 實驗表明，越靠近感官的神經(jīng)元處理的信息就具體， 比如顏色，亮度， 而經(jīng)過多級處理，達(dá)到皮層之后， 我們的神經(jīng)元就可以對比較抽象的實體，如人名，物體的種類敏感。

當(dāng)然，這只是最形象的一個描述，關(guān)于增加深度相比增加寬度對神經(jīng)網(wǎng)絡(luò)功能的好處，是整個深度學(xué)習(xí)問題的焦點問題之一。因此引出了幾個不同的數(shù)學(xué)觀點， 有機(jī)會給大家總結(jié)。

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是困吶的，由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練里有大量的復(fù)雜求導(dǎo)運算， 我們是不是函數(shù)要寫死為止？ 其實不是， 我們有一個強(qiáng)大的框架， 就是tensorflow，讓你的整個求導(dǎo)過程十分容易。你只需要寫出你的目標(biāo)函數(shù)cost function，然后簡簡單單的調(diào)用tensorflow內(nèi)部的optimisor就可以了。

六 神經(jīng)網(wǎng)絡(luò)動物園

神經(jīng)網(wǎng)絡(luò)經(jīng)過這些年的進(jìn)化，已經(jīng)是一個大家族。 我們來看幾個具體的神經(jīng)網(wǎng)絡(luò)

Auto-encoder 自編碼器：

最早成功的一種深度神經(jīng)網(wǎng)絡(luò)，自編碼器意如其名， 其實做的就是對數(shù)據(jù)進(jìn)行編碼， 或者壓縮。 這種網(wǎng)絡(luò)通常具有的特點是輸出的長度或者說大小遠(yuǎn)小于輸入，但是神奇的是， 這個輸出卻保留了數(shù)據(jù)種的大部分信息。 你是不是想到了上節(jié)課介紹的PCA了呢？ 是的， 這就是一種降維的模型。 這個模型的實質(zhì)， 也就是一個復(fù)雜， 或者說是非線性的降維操作， 比如說你把一張圖象壓成很簡單的編碼。 由于這種輸入多輸出少的性質(zhì)， 自編碼器的形狀形如一個下夸上窄的漏斗， 數(shù)據(jù)從夸的一面進(jìn)來， 出去的就是壓縮的精華。 自編碼器之所以在神經(jīng)網(wǎng)絡(luò)的進(jìn)化歷史里舉足輕重， 是因為它在回答一個很核心的問題， 那就是在變化的信息里那些是不變的， 這些不變的東西往往也就是最重要的東西。比如說人臉， 你把1萬張不同的人臉輸入到網(wǎng)絡(luò)里， 這些人類分屬于十個人， 那么按說， 很多照片無非是一個人的不同狀態(tài)，它的不變性就是這個人本身。 這個網(wǎng)絡(luò)能夠把數(shù)據(jù)最終一步步的集中到十個維度就夠了， 這樣， 最終可能用一個十位數(shù)的數(shù)字就可以壓縮整個數(shù)據(jù)集。 而這， 正是神經(jīng)網(wǎng)絡(luò)， 甚至是人類理解事物的關(guān)鍵， 那就是找出紛繁變化事物里的不變性， 它對應(yīng)的正是一個概念。 抓住了概念， 就抓住了從具象到抽象的過程， 抓住了知識，抓住了人認(rèn)知的關(guān)鍵所在。 深度學(xué)習(xí)大師Hinton早期的核心工作，正是圍繞自編碼器。

卷積神經(jīng)網(wǎng)絡(luò)：

卷積神經(jīng)網(wǎng)絡(luò)就是模擬人類是視覺的一種深度神經(jīng)網(wǎng)絡(luò)。這個網(wǎng)絡(luò)的特點是能夠把圖象數(shù)據(jù)，像photoshop 里的濾鏡一樣， 被過濾成某種特征圖，比如紋理圖， 這些低級的特征圖， 將再次被過濾， 得到一個新的特征圖， 這個特征圖的特點就是更抽象， 還有更多的剛剛講過的概念性的特征。 比如一個物體的形狀輪廓。 直到最后一層， 得到對某類物體概念的認(rèn)知。 這就是人類視覺知識形成的過程。 也是我們下次課的重點。

含時間的神經(jīng)網(wǎng)絡(luò)：

神經(jīng)網(wǎng)絡(luò)不僅能夠描述靜態(tài)的各個特征之間的關(guān)系， 而且能夠描述特征（這里更好叫因子）之間在時間上的復(fù)雜相互作用關(guān)系， 一個神經(jīng)網(wǎng)絡(luò)的做出的含時間過程， 最好的例子就是含有證據(jù)積累的決策過程。 即使是單個神經(jīng)元， 也可以把不同時間的信息積累起來做個決定， 而動態(tài)的神經(jīng)網(wǎng)絡(luò)， 就可以更好的把這些證據(jù)總體的匯集起來。

總的來說 ， 幾個神經(jīng)元組成的網(wǎng)絡(luò)， 可以像一個信息的蓄水池一樣， 通過互相喊話， 把過去的信息在自己人之間流傳起來， 從而產(chǎn)生類似于人的記憶的效應(yīng)， 這些通過特定方法連接在一起的神經(jīng)元， 就可以形成人的工作記憶或內(nèi)隱記憶， 而同時， 也可以幫我們設(shè)定出處理和時間有關(guān)信號的神經(jīng)網(wǎng)絡(luò)工具， 這就是RNN – LSTM家族， 以及其它的長時間記憶網(wǎng)絡(luò)。

在深度時間序列處理種扮演重要核心角色的LSTM，其創(chuàng)始人schmidhuber卻無緣此次圖靈獎。