一、深度信念網(wǎng)絡(luò)（DBN）

深度信念，就是要有至尊寶一樣戴金箍的信念

2006年，神經(jīng)網(wǎng)絡(luò)之父Geoffrey Hinton祭出神器深度信念網(wǎng)絡(luò)，一舉解決了深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題，推動(dòng)了深度學(xué)習(xí)的快速發(fā)展。 深度信念網(wǎng)絡(luò)（Deep Belief Nets），是一種概率生成模型，能夠建立輸入數(shù)據(jù)和輸出類(lèi)別的聯(lián)合概率分布。 深度信念網(wǎng)絡(luò)通過(guò)采用逐層訓(xùn)練的方式，解決了深層次神經(jīng)網(wǎng)絡(luò)的優(yōu)化問(wèn)題，通過(guò)逐層訓(xùn)練為整個(gè)網(wǎng)絡(luò)賦予了較好的初始權(quán)值，使得網(wǎng)絡(luò)只要經(jīng)過(guò)微調(diào)就可以達(dá)到最優(yōu)解。 深度信念網(wǎng)絡(luò)的每個(gè)隱藏層都扮演著雙重角色：它既作為之前神經(jīng)元的隱藏層，也作為之后神經(jīng)元的可見(jiàn)層。 在逐層訓(xùn)練的時(shí)候起到最重要作用的是“受限玻爾茲曼機(jī)” 結(jié)構(gòu)上看，深度信念網(wǎng)絡(luò)可以看成受限玻爾茲曼機(jī)組成的整體

1. 玻爾茲曼機(jī)（BM）

玻爾茲曼機(jī)，（Boltzmann Machines，簡(jiǎn)稱(chēng)BM），1986年由大神Hinton提出，是一種根植于統(tǒng)計(jì)力學(xué)的隨機(jī)神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)中神經(jīng)元只有兩種狀態(tài)（未激活、激活），用二進(jìn)制0、1表示，狀態(tài)的取值根據(jù)概率統(tǒng)計(jì)法則決定。 由于這種概率統(tǒng)計(jì)法則的表達(dá)形式與著名統(tǒng)計(jì)力學(xué)家L.E.Boltzmann提出的玻爾茲曼分布類(lèi)似，故將這種網(wǎng)絡(luò)取名為“玻爾茲曼機(jī)”。 在物理學(xué)上，玻爾茲曼分布是描述理想氣體在受保守外力的作用時(shí)，處于熱平衡態(tài)下的氣體分子按能量的分布規(guī)律。 在統(tǒng)計(jì)學(xué)習(xí)中，如果我們將需要學(xué)習(xí)的模型看成高溫物體，將學(xué)習(xí)的過(guò)程看成一個(gè)降溫達(dá)到熱平衡的過(guò)程。能量收斂到最小后，熱平衡趨于穩(wěn)定，也就是說(shuō)，在能量最少的時(shí)候，網(wǎng)絡(luò)最穩(wěn)定，此時(shí)網(wǎng)絡(luò)最優(yōu)。 玻爾茲曼機(jī)（BM）可以用在監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)中。 在無(wú)監(jiān)督學(xué)習(xí)中，隱變量可以看做是可見(jiàn)變量的內(nèi)部特征表示，能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則。玻爾茲曼機(jī)代價(jià)是訓(xùn)練時(shí)間很長(zhǎng)很長(zhǎng)很長(zhǎng)。2. 受限玻爾茲曼機(jī)（RBM）

受限玻爾茲曼機(jī)（Restricted Boltzmann Machines，簡(jiǎn)稱(chēng)RBM） 將“玻爾茲曼機(jī)”（BM）的層內(nèi)連接去掉，對(duì)連接進(jìn)行限制，就變成了“受限玻爾茲曼機(jī)”（RBM） 一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)，一個(gè)可見(jiàn)層和一個(gè)隱藏層。 可見(jiàn)層接收數(shù)據(jù)，隱藏層處理數(shù)據(jù)，兩層以全連接的方式相連，同層之前不相連。 受限玻爾茲曼機(jī)需要將輸出結(jié)果反饋給可見(jiàn)層，通過(guò)讓重構(gòu)誤差在可見(jiàn)層和隱藏層之間循環(huán)往復(fù)地傳播，從而重構(gòu)出誤差最小化的一組權(quán)重系數(shù)。 傳統(tǒng)的反向傳播方法應(yīng)用于深度結(jié)構(gòu)在原則上是可行的，可實(shí)際操作中卻無(wú)法解決梯度彌散的問(wèn)題 梯度彌散（gradient vanishing），當(dāng)誤差反向傳播時(shí)，傳播的距離越遠(yuǎn)，梯度值就變得越小，參數(shù)更新的也就越慢。 這會(huì)導(dǎo)致在輸出層附近，隱藏層的參數(shù)已經(jīng)收斂；而在輸入層附近，隱藏層的參數(shù)幾乎沒(méi)有變化，還是隨機(jī)選擇的初始值。

二、生成對(duì)抗網(wǎng)絡(luò)（GAN）

就像孫悟空和牛魔王一樣搶奪紫霞仙子，進(jìn)入對(duì)抗?fàn)顟B(tài)

GAN（Generative Adversarial Network）是由Goodfellow等人于2014年設(shè)計(jì)的生成模型，受博弈論中的零和博弈啟發(fā)，將生成問(wèn)題視作生成器和判別器這兩個(gè)網(wǎng)絡(luò)的對(duì)抗和博弈。 該方法由是由Goodfellow等人于2014年提出，生成對(duì)抗網(wǎng)絡(luò)由一個(gè)生成器與一個(gè)判別器組成，生成網(wǎng)器從潛在空間中隨機(jī)取樣作為輸入，其輸出結(jié)果需要盡量模仿訓(xùn)練集中的真實(shí)樣本。 判別器的輸入為真實(shí)樣本或生成器的輸出，其目的是將生成器的輸出從真實(shí)樣本中盡可能分辨出來(lái)。

GAN主要優(yōu)點(diǎn)是超越了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)分類(lèi)和特征提取的功能，能夠按照真實(shí)數(shù)據(jù)的特點(diǎn)生成新的數(shù)據(jù)。 兩個(gè)網(wǎng)絡(luò)在對(duì)抗中進(jìn)步，在進(jìn)步后繼續(xù)對(duì)抗，由生成式網(wǎng)絡(luò)得的數(shù)據(jù)也就越來(lái)越完美，逼近真實(shí)數(shù)據(jù)，從而可以生成想要得到的數(shù)據(jù)（圖片、序列、視頻等）。1. 生成器（generator）生成器從給定噪聲中（一般是指均勻分布或者正態(tài)分布）產(chǎn)生合成數(shù)據(jù)。試圖產(chǎn)生更接近真實(shí)的數(shù)據(jù)。 “生成器像是白骨精，想方設(shè)法從隨機(jī)噪聲中模擬真實(shí)數(shù)據(jù)樣本的潛在分布，以生成以假亂真的數(shù)據(jù)樣本”2. 判別器（discriminator）判別器分辨生成器的的輸出和真實(shí)數(shù)據(jù)。試圖更完美地分辨真實(shí)數(shù)據(jù)與生成數(shù)據(jù)。 “判別器是孫悟空，用火眼金睛來(lái)判斷是人畜無(wú)害的真實(shí)數(shù)據(jù)還是生成器假扮的偽裝者” 生成器和判別器都可以采用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，建立數(shù)據(jù)的生成模型，使生成器盡可能精確你有沒(méi)出數(shù)據(jù)樣本的分布，從學(xué)習(xí)方式上對(duì)抗性學(xué)習(xí)屬于無(wú)監(jiān)督學(xué)習(xí)，

網(wǎng)絡(luò)訓(xùn)練可以等效為目錄函數(shù)的極大-極小問(wèn)題

極大：讓判別器區(qū)分真實(shí)數(shù)據(jù)和偽造數(shù)據(jù)的準(zhǔn)確率最大化

極小：讓生成器生成的數(shù)據(jù)被判別器發(fā)現(xiàn)的概率最小化

傳統(tǒng)生成模型定義了模型的分布，進(jìn)而求解參數(shù)。比如在已知數(shù)據(jù)滿(mǎn)足正態(tài)分布的前提下，生成模型會(huì)通過(guò)極大似然估計(jì)等方法根據(jù)樣本來(lái)求解正態(tài)的均值和方差。 生成對(duì)抗網(wǎng)絡(luò)擺脫了對(duì)模型分布的依賴(lài)，也不限制生成的維度，大大拓寬了生成數(shù)據(jù)樣本的范圍，還能融合不同的損失函數(shù)，增加了設(shè)計(jì)的自由度。

三、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

循環(huán)網(wǎng)絡(luò)，如同月光寶盒，時(shí)間在不停地循環(huán)

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network），也可以表示遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network）。循環(huán)神經(jīng)網(wǎng)絡(luò)可以看成是遞歸神經(jīng)網(wǎng)絡(luò)的特例，遞歸神經(jīng)網(wǎng)絡(luò)可以看成是循環(huán)神經(jīng)網(wǎng)絡(luò)的推廣。 卷積神經(jīng)網(wǎng)絡(luò)具有空間上的參數(shù)共享的特性，可以讓同樣的核函數(shù)應(yīng)用在圖像的不同區(qū)域。 把參數(shù)共享調(diào)整到時(shí)間維度上，讓神經(jīng)網(wǎng)絡(luò)使用相同權(quán)重系數(shù)來(lái)處理具有先后順序的數(shù)據(jù)，得到的就是循環(huán)神經(jīng)網(wǎng)絡(luò)。

時(shí)間

循環(huán)神經(jīng)網(wǎng)絡(luò)引入了”時(shí)間“的維度，適用于處理時(shí)間序列類(lèi)型的數(shù)據(jù)。
循環(huán)神經(jīng)網(wǎng)絡(luò)就是將長(zhǎng)度不定的輸入分割為等長(zhǎng)的小塊，再使用相同的權(quán)重系統(tǒng)進(jìn)行處理，從而實(shí)現(xiàn)對(duì)變長(zhǎng)輸入的計(jì)算與處理。
比方說(shuō)媽媽在廚房里突然喊你：“菜炒好了，趕緊來(lái)......”，即使后面的話(huà)沒(méi)有聽(tīng)清楚，也能猜到十有八九是讓你趕緊吃飯

記憶

循環(huán)神經(jīng)網(wǎng)絡(luò)t時(shí)刻的輸出取決于當(dāng)前時(shí)刻的輸入，也取決于網(wǎng)絡(luò)前一時(shí)刻t-1甚至更早的輸出。

從這個(gè)意義上來(lái)講，循環(huán)神經(jīng)網(wǎng)絡(luò)引入引入了反饋機(jī)制，因而具有了記憶功能。記憶功能使循環(huán)神經(jīng)網(wǎng)絡(luò)能夠提取來(lái)自序列自身的信息，輸入序列的內(nèi)部信息存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)的隱藏層中，并隨著時(shí)間的推移在隱藏層中流轉(zhuǎn)。循環(huán)網(wǎng)絡(luò)的記憶特性可以用公式表示為

W 表示從輸入到狀態(tài)的權(quán)重矩陣，U 表示從狀態(tài)到狀態(tài)的轉(zhuǎn)移矩陣。
對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就是根據(jù)輸出結(jié)果和真實(shí)結(jié)果之間的誤差不斷調(diào)整參數(shù) W 和 U，直到達(dá)到預(yù)設(shè)要求的過(guò)程，訓(xùn)練方法也是基于梯度的反向傳播算法。 前饋神經(jīng)網(wǎng)絡(luò)某種程序上也具有記憶特性，只要神經(jīng)網(wǎng)絡(luò)參數(shù)經(jīng)過(guò)最優(yōu)化，優(yōu)化的參數(shù)就會(huì)包含以往數(shù)據(jù)的蹤跡，但是優(yōu)化的記憶只局限于訓(xùn)練數(shù)據(jù)集上，當(dāng)訓(xùn)練的醋應(yīng)用到新的測(cè)試數(shù)據(jù)集上時(shí)，其參數(shù)并不會(huì)根據(jù)測(cè)試數(shù)據(jù)的表現(xiàn)做出進(jìn)一步調(diào)整。1. 雙向RNN比如有一部電視劇，在第三集的時(shí)候才出現(xiàn)的人物，現(xiàn)在讓預(yù)測(cè)一下在第三集中出現(xiàn)的人物名字，你用前面兩集的內(nèi)容是預(yù)測(cè)不出來(lái)的，所以你需要用到第四，第五集的內(nèi)容來(lái)預(yù)測(cè)第三集的內(nèi)容，這就是雙向RNN的想法

如果想讓循環(huán)神經(jīng)網(wǎng)絡(luò)利用來(lái)自未來(lái)的信息，就要讓當(dāng)前的狀態(tài)和以后時(shí)刻的狀態(tài)建立直聯(lián)系，就是雙向循環(huán)神經(jīng)網(wǎng)絡(luò)。

雙向循環(huán)網(wǎng)絡(luò)包括正向計(jì)算和反向計(jì)算兩個(gè)環(huán)節(jié)

雙向循環(huán)網(wǎng)絡(luò)需要分別計(jì)算正向和反向的結(jié)果，并將兩者作為隱藏層的最終參數(shù)。

2. 深度RNN將深度結(jié)構(gòu)引入循環(huán)神經(jīng)網(wǎng)絡(luò)就可以得到深度循環(huán)網(wǎng)絡(luò)。 比如你學(xué)習(xí)英語(yǔ)的時(shí)候，背英語(yǔ)單詞一定不會(huì)就看一次就記住了所有要考的單詞，一般是帶著先前幾次背過(guò)的單詞，然后選擇那些背過(guò)但不熟的內(nèi)容或者沒(méi)背過(guò)的單詞來(lái)背

深層雙向RNN 與雙向RNN相比，多了幾個(gè)隱藏層，因?yàn)樗南敕ㄊ呛芏嘈畔⒂浺淮斡洸幌聛?lái)， 深層雙向RNN就是基于這么一個(gè)想法，每個(gè)隱藏層狀態(tài)h_{t}^{i}既取決于同一時(shí)刻前一隱藏層的狀態(tài)h_{t}^{i-1}，也取決于同一隱藏層的狀態(tài)h_{t-1}^{i} 深度結(jié)構(gòu)的作用在于建立更清晰的表示。用“完形填空”來(lái)說(shuō)，需要根據(jù)上下文，來(lái)選擇合適的詞語(yǔ)。有些填空只需要根據(jù)它所在的句子便可以推斷出來(lái)，這對(duì)應(yīng)著單個(gè)隱藏層在時(shí)間維度上的依賴(lài)性；有些填空則可能要通讀整段或全文才能確定，這對(duì)應(yīng)了時(shí)間維度和空間維度共有的依賴(lài)性。3. 遞歸RNN遞歸神經(jīng)網(wǎng)絡(luò)能夠處理具有層次化結(jié)構(gòu)的數(shù)據(jù)，可以看成循環(huán)網(wǎng)絡(luò)的推廣

循環(huán)神經(jīng)網(wǎng)絡(luò)特點(diǎn)是在時(shí)間維度上共享參數(shù)，從而展開(kāi)處理序列，如果展開(kāi)成樹(shù)狀態(tài)結(jié)構(gòu)，用到的就是遞歸神經(jīng)網(wǎng)絡(luò)。遞歸神經(jīng)網(wǎng)絡(luò)首先將輸入數(shù)據(jù)轉(zhuǎn)化為某種拓?fù)浣Y(jié)構(gòu)，再在相同的結(jié)構(gòu)上遞歸使用相同的權(quán)重系數(shù)，通過(guò)遍歷方式得到結(jié)構(gòu)化的預(yù)測(cè)。 例如，“兩個(gè)大學(xué)的老師”有歧義，如果單純拆分為詞序列無(wú)法消除歧義。
遞歸神經(jīng)網(wǎng)絡(luò)通過(guò)樹(shù)狀結(jié)構(gòu)將一個(gè)完整的句子打散為若干分量的組合，生成的向量不是樹(shù)結(jié)構(gòu)的根節(jié)點(diǎn)。

四、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）

如果非要給記憶加一個(gè)期限，希望是一萬(wàn)年

長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，為了解決一般的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）存在的長(zhǎng)期依賴(lài)問(wèn)題而專(zhuān)門(mén)設(shè)計(jì)出來(lái)的，論文首次發(fā)表于1997年。由于獨(dú)特的設(shè)計(jì)結(jié)構(gòu)，LSTM適合于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲非常長(zhǎng)的重要事件。

RNN通過(guò)在時(shí)間共享參數(shù)引入了記特性，從而可以將先前的信息應(yīng)用在當(dāng)前的任務(wù)上，可是這種記憶通常只有有限的深度。 例如龍珠超或者火影每周更新一集，即使經(jīng)歷了一周的空檔期，我們還是能將前一集的內(nèi)容和新一集的情節(jié)無(wú)縫銜接起來(lái)。但是RNN的記憶就沒(méi)有這么強(qiáng)的延續(xù)性，別說(shuō)一個(gè)星期，5分鐘估計(jì)都已經(jīng)歇菜了。 LSTM可以像人的記憶中選擇性地記住一些時(shí)間間隔更久遠(yuǎn)的信息，它會(huì)根據(jù)組成元素的特性，來(lái)判斷不同信息是被遺忘或被記住繼續(xù)傳遞下去。
LSTM就是實(shí)現(xiàn)長(zhǎng)期記憶用的，實(shí)現(xiàn)任意長(zhǎng)度的記憶。要求模型具備對(duì)信息價(jià)值的判斷能力，結(jié)合自身確定哪些信息應(yīng)該保存，哪些信息該舍棄，元還要能決定哪一部分記憶需要立刻使用。4種組成LSTM通常由下面4個(gè)模塊組成

① 記憶細(xì)胞（memory cell）
作用是存儲(chǔ)數(shù)值或狀態(tài)，存儲(chǔ)的時(shí)限可以是長(zhǎng)期也可以是短期 ② 輸入門(mén)（input gate）
決定哪些信息在記憶細(xì)胞中存儲(chǔ) ③ 遺忘門(mén)（forget gate）
決定哪些信息從記憶細(xì)胞中丟棄 ④ 輸出門(mén)（output gate）
決定哪些信息從記憶細(xì)胞中輸出

五、卷積神經(jīng)網(wǎng)絡(luò)（CNN）

將鮮花用包裝紙沿著對(duì)角線(xiàn)卷起來(lái)，顧名思義卷積

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network）指至少某一導(dǎo)中用了卷積運(yùn)算（convolution）來(lái)代替矩陣乘法的神經(jīng)網(wǎng)絡(luò)。

1. 卷積是什么卷積是對(duì)兩個(gè)函數(shù)進(jìn)行的一種數(shù)學(xué)運(yùn)算，我們稱(chēng)(f?g)(n)為f,g的卷積

我們令x=τ,y=n?τ，那么x+y=n，相當(dāng)于下面的直線(xiàn)

如果遍歷這些直線(xiàn)，就像毛巾卷起來(lái)一樣，顧名思義“卷積”

在卷積網(wǎng)絡(luò)中，卷積本質(zhì)就是以核函數(shù)g作為權(quán)重系數(shù)，對(duì)輸入函數(shù)f進(jìn)行加權(quán)求和的過(guò)程。 其實(shí)把二元函數(shù)U(x,y)=f(x)g(y)卷成一元函數(shù)V(t)，俗稱(chēng)降維打擊 函數(shù) f 和 g 應(yīng)該地位平等，或者說(shuō)變量 x 和 y 應(yīng)該地位平等，一種可取的辦法就是沿直線(xiàn) x+y = t 卷起來(lái)；① 擲骰子求兩枚骰子點(diǎn)數(shù)加起來(lái)為4的概率，這正是卷積的應(yīng)用場(chǎng)景。 第一枚骰子概率為為f(1)、f(2)、...f(6)
第二枚骰子概率為g(1)、g(2)、...g(m)

② 做饅頭機(jī)器不斷的生產(chǎn)饅頭，假設(shè)饅頭生產(chǎn)速度是f(t)，
那么一天生產(chǎn)出來(lái)的饅頭總量為

生產(chǎn)出來(lái)后會(huì)逐漸腐敗，腐敗函數(shù)為g(t)，比如10個(gè)饅頭，24小時(shí)會(huì)腐敗
10?g(t)
一天生產(chǎn)出來(lái)的饅頭就是

③ 做魚(yú)

卷積看做做菜，輸入函數(shù)是原料，核函數(shù)是菜譜，對(duì)于同一輸入函數(shù)鯉魚(yú)來(lái)說(shuō)

核函數(shù)中的醬油權(quán)重較大，輸出紅燒魚(yú)

核函數(shù)中的糖和醋權(quán)重大較大，輸出西湖醋魚(yú)

核函數(shù)中的辣椒權(quán)重較大，輸出朝鮮辣魚(yú)

④ 圖像處理假設(shè)一幅圖有噪點(diǎn)，要將它進(jìn)行平滑處理，可以把圖像轉(zhuǎn)為一個(gè)矩陣

如果要平滑a1,1點(diǎn)，就把a(bǔ)1,1點(diǎn)附近的組成矩陣f，和g進(jìn)行卷積運(yùn)算，再填充回去

f 和g的計(jì)算如下，其實(shí)就是以相反的方向進(jìn)行計(jì)算，像卷毛巾一樣

具體參考 ：

何通俗易懂地解釋卷積？ https://www.zhihu.com/question/22298352 卷積為什么叫「卷」積？ https://www.zhihu.com/question/54677157/answer/141245297

2. 卷積神經(jīng)網(wǎng)絡(luò)特性

卷積運(yùn)算的特性決定了神經(jīng)網(wǎng)絡(luò)適用于處理具有網(wǎng)絡(luò)狀結(jié)構(gòu)的數(shù)據(jù)。 典型的網(wǎng)絡(luò)型數(shù)據(jù)就是數(shù)字圖像，無(wú)論是灰度還是彩色圖像，都是定義在二維像素網(wǎng)絡(luò)上的一組標(biāo)題或向量。 卷積神經(jīng)網(wǎng)絡(luò)廣泛地應(yīng)用于圖像與文本識(shí)別之中，并逐漸擴(kuò)展到自然語(yǔ)言處理等其他領(lǐng)域。① 稀疏感知性
卷積層核函數(shù)的大小通常遠(yuǎn)遠(yuǎn)小于圖像的大小。
圖像可能在兩個(gè)維度上都有幾千個(gè)像素，但核函數(shù)最大不會(huì)超過(guò)幾十個(gè)像素。
選擇較小的核函數(shù)有助于發(fā)現(xiàn)圖像中細(xì)微的局部細(xì)節(jié)，提升算法的存儲(chǔ)效率和運(yùn)行效率。② 參數(shù)共享性
一個(gè)模型中使用相同的參數(shù)。每一輪訓(xùn)練中用單個(gè)核函數(shù)去和圖像的所有分塊來(lái)做卷積。③ 平移不變性
當(dāng)卷積的輸入產(chǎn)生平衡時(shí)，其輸出等于原始輸出相同數(shù)量的平移，說(shuō)明平移操作和核函數(shù)的作用是可以交換的。

3. 卷積神經(jīng)網(wǎng)絡(luò)分層

當(dāng)輸入圖像被送入卷積神經(jīng)網(wǎng)絡(luò)后，先后要循環(huán)通過(guò)卷積層、激勵(lì)層和池化層，最后從全連接層輸出分類(lèi)結(jié)果。① 輸入層
輸入數(shù)據(jù)，通常會(huì)做一些數(shù)據(jù)處理，例如去均值、歸一化、 PCA/白化等② 卷積層
卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心部分，參數(shù)是一個(gè)或多個(gè)隨機(jī)初始化的核函數(shù)，核函數(shù)就像按照燈一樣，逐行逐列掃描輸入圖像。掃描完畢后計(jì)算出的所有卷積結(jié)果可以構(gòu)成一個(gè)矩陣，這個(gè)新的矩陣叫特征映射（feature map）。卷積層得到的特征一般會(huì)送到激勵(lì)層處理③ 激勵(lì)層
主要作用是將卷積層的結(jié)果做非線(xiàn)性映射。常見(jiàn)的激勵(lì)層函數(shù)有sigmoid、tanh、Relu、Leaky Relu、ELU、Maxout④ 池化層
在連續(xù)的卷基層和激勵(lì)層中間，用于壓縮數(shù)據(jù)和參數(shù)的量，用于減少過(guò)擬合。
簡(jiǎn)而言之，如果輸入是圖像的話(huà)，那么池化層的最主要作用就是壓縮圖像。
常見(jiàn)的最大池化做法就是將特征映射劃分為若干個(gè)矩形區(qū)域，挑選每個(gè)區(qū)域中的最大值。

⑤ 全連接層
兩層之間所有神經(jīng)元都有權(quán)重連接，通常全連接層在卷積神經(jīng)網(wǎng)絡(luò)尾部，輸出分類(lèi)結(jié)果。

在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練里，待訓(xùn)練的參數(shù)是卷積核。

卷積核：也就是用來(lái)做卷積的核函數(shù)。

卷積神經(jīng)網(wǎng)絡(luò)的作用是逐層提取輸入對(duì)象的特征，訓(xùn)練采用的也是反向傳播的方法，參數(shù)的不斷更新能夠提升圖像特征提取的精度
責(zé)任編輯:pj