發(fā)展過(guò)程

1986年Rumelhart等人提出了人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法，掀起了神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中的熱潮，神經(jīng)網(wǎng)絡(luò)中存在大量的參數(shù)，存在容易發(fā)生過(guò)擬合、訓(xùn)練時(shí)間長(zhǎng)的缺點(diǎn)，但是對(duì)比Boosting、Logistic回歸、SVM等基于統(tǒng)計(jì)學(xué)習(xí)理論的方法（也可以看做具有一層隱層節(jié)點(diǎn)或不含隱層節(jié)點(diǎn)的學(xué)習(xí)模型，被稱為淺層模型）來(lái)說(shuō)，具有較大的優(yōu)越性。

淺層模型為什么效果沒(méi)有深層模型好？

淺層學(xué)習(xí)模型通常要由人工的方法來(lái)獲得好的樣本特性，在此基礎(chǔ)上進(jìn)行識(shí)別和預(yù)測(cè)，因此方法的有效性在很大程度上受到特征提取的制約。

深度學(xué)習(xí)的提出：

2006年，Hinton提出了深度學(xué)習(xí)，兩個(gè)主要的觀點(diǎn)是：

多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)到的數(shù)據(jù)更能反映數(shù)據(jù)的本質(zhì)特征有利于可視化或分類

深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過(guò)逐層無(wú)監(jiān)督訓(xùn)練有效克服，

深度學(xué)習(xí)取得成功的原因：

大規(guī)模數(shù)據(jù)（例如ImageNet）：為深度學(xué)習(xí)提供了好的訓(xùn)練資源

計(jì)算機(jī)硬件的飛速發(fā)展：特別是GPU的出現(xiàn)，使得訓(xùn)練大規(guī)模上網(wǎng)絡(luò)成為可能

深度學(xué)習(xí)的思想：

深度神經(jīng)網(wǎng)絡(luò)的基本思想是通過(guò)構(gòu)建多層網(wǎng)絡(luò)，對(duì)目標(biāo)進(jìn)行多層表示，以期通過(guò)多層的高層次特征來(lái)表示數(shù)據(jù)的抽象語(yǔ)義信息，獲得更好的特征魯棒性。

什么是卷積神經(jīng)網(wǎng)絡(luò)：

卷積神經(jīng)網(wǎng)絡(luò)是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，卷積結(jié)構(gòu)可以減少深層網(wǎng)絡(luò)占用的內(nèi)存量，其三個(gè)關(guān)鍵的操作，其一是局部感受野，其二是權(quán)值共享，其三是pooling層，有效的減少了網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)，緩解了模型的過(guò)擬合問(wèn)題。

1）網(wǎng)絡(luò)結(jié)構(gòu)

**卷積神經(jīng)網(wǎng)絡(luò)整體架構(gòu)：**卷積神經(jīng)網(wǎng)絡(luò)是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，隱含層的卷積層和池采樣層是實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能的核心模塊。該網(wǎng)絡(luò)模型通過(guò)采用梯度下降法最小化損失函數(shù)對(duì)網(wǎng)絡(luò)中的權(quán)重參數(shù)逐層反向調(diào)節(jié)，通過(guò)頻繁的迭代訓(xùn)練提高網(wǎng)絡(luò)的精度。卷積神經(jīng)網(wǎng)絡(luò)的低隱層是由卷積層和最大池采樣層交替組成，高層是全連接層對(duì)應(yīng)傳統(tǒng)多層感知器的隱含層和邏輯回歸分類器。第一個(gè)全連接層的輸入是由卷積層和子采樣層進(jìn)行特征提取得到的特征圖像。最后一層輸出層是一個(gè)分類器，可以采用邏輯回歸，Softmax回歸甚至是支持向量機(jī)對(duì)輸入圖像進(jìn)行分類。

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：卷積層，降采樣層，全鏈接層。每一層有多個(gè)特征圖，每個(gè)特征圖通過(guò)一種卷積濾波器提取輸入的一種特征，每個(gè)特征圖有多個(gè)神經(jīng)元。

輸入圖像統(tǒng)計(jì)和濾波器進(jìn)行卷積之后，提取該局部特征，一旦該局部特征被提取出來(lái)之后，它與其他特征的位置關(guān)系也隨之確定下來(lái)了，每個(gè)神經(jīng)元的輸入和前一層的局部感受野相連，每個(gè)特征提取層都緊跟一個(gè)用來(lái)求局部平均與二次提取的計(jì)算層，也叫特征映射層，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射平面組成，平面上所有的神經(jīng)元的權(quán)重相等。

通常將輸入層到隱藏層的映射稱為一個(gè)特征映射，也就是通過(guò)卷積層得到特征提取層，經(jīng)過(guò)pooling之后得到特征映射層。

2）局部感受野與權(quán)值共享

卷積神經(jīng)網(wǎng)絡(luò)的核心思想就是局部感受野、是權(quán)值共享和pooling層，以此來(lái)達(dá)到簡(jiǎn)化網(wǎng)絡(luò)參數(shù)并使得網(wǎng)絡(luò)具有一定程度的位移、尺度、縮放、非線性形變穩(wěn)定性。

局部感受野：由于圖像的空間聯(lián)系是局部的，每個(gè)神經(jīng)元不需要對(duì)全部的圖像做感受，只需要感受局部特征即可，然后在更高層將這些感受得到的不同的局部神經(jīng)元綜合起來(lái)就可以得到全局的信息了，這樣可以減少連接的數(shù)目。

權(quán)值共享：不同神經(jīng)元之間的參數(shù)共享可以減少需要求解的參數(shù)，使用多種濾波器去卷積圖像就會(huì)得到多種特征映射。權(quán)值共享其實(shí)就是對(duì)圖像用同樣的卷積核進(jìn)行卷積操作，也就意味著第一個(gè)隱藏層的所有神經(jīng)元所能檢測(cè)到處于圖像不同位置的完全相同的特征。其主要的能力就能檢測(cè)到不同位置的同一類型特征，也就是卷積網(wǎng)絡(luò)能很好的適應(yīng)圖像的小范圍的平移性，即有較好的平移不變性（比如將輸入圖像的貓的位置移動(dòng)之后，同樣能夠檢測(cè)到貓的圖像）

3）卷積層、下采樣層、全連接層

卷積層：因?yàn)橥ㄟ^(guò)卷積運(yùn)算我們可以提取出圖像的特征，通過(guò)卷積運(yùn)算可以使得原始信號(hào)的某些特征增強(qiáng)，并且降低噪聲。

用一個(gè)可訓(xùn)練的濾波器fx去卷積一個(gè)輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個(gè)偏置bx，得到卷積層Cx。

下采樣層：因?yàn)閷?duì)圖像進(jìn)行下采樣，可以減少數(shù)據(jù)處理量同時(shí)保留有用信息，采樣可以混淆特征的具體位置，因?yàn)槟硞€(gè)特征找出來(lái)之后，它的位置已經(jīng)不重要了，我們只需要這個(gè)特征和其他特征的相對(duì)位置，可以應(yīng)對(duì)形變和扭曲帶來(lái)的同類物體的變化。

每鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素，然后通過(guò)標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后通過(guò)一個(gè)sigmoid激活函數(shù)，產(chǎn)生一個(gè)大概縮小四倍的特征映射圖Sx+1。 **

全連接層：采用softmax全連接，得到的激活值即卷積神經(jīng)網(wǎng)絡(luò)提取到的圖片特征。

卷積神經(jīng)網(wǎng)絡(luò)相比一般神經(jīng)網(wǎng)絡(luò)在圖像理解中的優(yōu)點(diǎn)：

網(wǎng)絡(luò)結(jié)構(gòu)能夠較好的適應(yīng)圖像的結(jié)構(gòu)

同時(shí)進(jìn)行特征提取和分類，使得特征提取有助于特征分類

權(quán)值共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得簡(jiǎn)單，適應(yīng)性更強(qiáng)