在過去幾年里，許多計算機視覺相關的深度學習的發(fā)展，都可以歸結于少數(shù)幾個神經(jīng)網(wǎng)絡架構。拋開所有關于數(shù)學、代碼和實現(xiàn)的細節(jié)，來探索一個簡單的問題：這些模型如何工作以及為什么工作？

　　在撰寫這篇文章時，Keras 庫（http://suo.im/4aLGEd）中已經(jīng)涵蓋了6種預訓練模型，分別是：

　　VGG16

　　VGG19

　　ResNet50

　　Inception v3

　　Xception

　　MobileNet

　　▍VGG

　　VGG網(wǎng)絡和從2012年早期的 AlexNet 網(wǎng)絡一樣，遵循著現(xiàn)有卷積網(wǎng)絡的典型布局：在最終的全連接分類層（fully-connected classification layers）之前，由一系列的卷積層（convolutional layers），最大池化層（max-pooling layers）和激活層（activation layers）構成。

　　MobileNet 本質(zhì)上是 Xception 架構，針對移動應用而優(yōu)化的線性版本。剩下的三種架構則真正重新定義了我們看待深度網(wǎng)絡的方式。

　　這篇文章接下來的部分將側重于ResNet，Inception和Xception三種架構的直觀理解，以及為什么它們成為計算機視覺中許多后續(xù)工作的基石。

　　▍ResNet

　　為什么深度網(wǎng)絡在不斷增加層的時候，表現(xiàn)反而變的更差？

　　直觀來想， 更深層次的網(wǎng)絡，應該不比較淺的網(wǎng)絡表現(xiàn)的差，至少在訓練的時候應該這樣（這時沒有過擬合over-fitting的風險）。

　　讓我們作一個思維實驗，假設我們已經(jīng)建立了一個n層的網(wǎng)絡，達到了一定的準確性。 如果僅通過復制相同的前n個層并對最后一層執(zhí)行單位映射，則n + 1層的網(wǎng)絡至少應該能夠獲得完全相同的精度。

　　類似地，n + 2，n + 3和n + 4層的網(wǎng)絡都可以繼續(xù)執(zhí)行單位映射并獲得相同的準確性。 然而，實際上，這些更深層的網(wǎng)絡在性能上幾乎都會有所下降。

　　ResNet的作者將這些問題歸結為一個假設：直接映射難以學習。

　　他們提出了一個解決辦法：用學習 x到 H（x） 兩者之間的差異，或者“殘差”的方式，替代嘗試學習從x到 H（x） 的底層映射。這樣，我們就可以可以通過輸入殘差來計算 H（x） 。

　　假設我們用 F（x）=H（x）-x 來表示殘差。 ResNet 網(wǎng)絡現(xiàn)在不是試圖直接學習 H（x） ， 而是學習 F（x）+x。

　　這引出了你可能知道的著名的ResNet（或“殘差網(wǎng)絡”）模塊：

　　ResNet中的每個“模塊”都由一系列層和一個“捷徑”連接，捷徑連接將模塊的輸入值直接添加到其輸出值。 “添加”操作以元素對應方式執(zhí)行，如果輸入和輸出的大小不同，可以使用補零法（zero-padding）或投影（通過1x1卷積）匹配尺寸。

　　回到我們的思維實驗，捷徑連接大大簡化了我們對單位層的構建。 直觀的看，學習將 F（x） 推到0并將輸出值保留為x比從頭開始學習單位交換（identity transformation）要容易得多。 一般情況下，ResNet為層提供了一個“參考”點—x—來開始學習。

　　這個想法在實踐中效果驚人。在此之前，深度神經(jīng)網(wǎng)絡經(jīng)常遇到梯度消失（vanishing gradients）的問題，來自誤差函數(shù)的梯度信號隨著它們向較早層反向傳播而呈指數(shù)下降。

　　從本質(zhì)上說，當誤差信號一直傳到到早期層時，它們已經(jīng)小到網(wǎng)絡無法進行學習了。然而，由于ResNet中的梯度信號可以通過捷徑連接直接返回到早期層，突然間我們就可以建立 50層，101層，152層，甚至（想當然）1000+層的網(wǎng)絡，而它們?nèi)匀槐憩F(xiàn)良好。用22層的網(wǎng)絡贏得了2014年ILSVRC挑戰(zhàn)，這在當時是一個巨大的技術飛躍。