人們對(duì)于程序猿的刻板印象，宅男、呆板、直男癌晚期……你所猜不到的另一面，程序猿撩起妹來(lái)不遑多讓。不信，且看程序猿為大家?guī)?lái)的深度學(xué)習(xí)版本“撩妹”技巧。

LSTM算法

圖1就是大名鼎鼎的長(zhǎng)短記憶模型(Long Short-Term Memory,LSTM)，也是遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)中最受歡迎的一種形式。它最早是由Sepp Hochreiter于1991發(fā)表原型，然后Jürgen Schmidhuber于1997將該理論基礎(chǔ)大功告成。沒(méi)錯(cuò)！LSTM是個(gè)快要30歲的老算法了，它也是被Hinton發(fā)展出的深度學(xué)習(xí)優(yōu)化方法救活的一票算法之一。

圖1 LSTM算法

LSTM最大的好處在于它解決了遞歸神經(jīng)網(wǎng)絡(luò)容易發(fā)生的梯度爆炸以及梯度彌散問(wèn)題，它使用了稱(chēng)之為「門(mén)控(Gate)」的機(jī)制，可以學(xué)習(xí)開(kāi)啟或是關(guān)閉的時(shí)機(jī)，來(lái)控制上下文向量(Context Vector)的流動(dòng)。LSTM總共有3個(gè)門(mén)控，分別是輸入門(mén)、遺忘門(mén)以及輸出門(mén)。輸入門(mén)負(fù)責(zé)管理新數(shù)據(jù)是否該納入，而遺忘門(mén)負(fù)責(zé)管理哪些舊數(shù)據(jù)該遺忘，輸出門(mén)則管理哪些上下文該納入輸出。所以，對(duì)女孩子說(shuō)它的遺忘門(mén)總是關(guān)著，正是表達(dá)永不遺忘的最高禮遇。

Faster RCNN算法

Faster RCNN(圖2)是由被粉絲們昵稱(chēng)為RGB的Ross B.Girshick所發(fā)表。自2013年起發(fā)表的RCNN三部曲包含RCNN、Fast RCNN以及Faster RCNN。最終版本Faster RCNN于2015發(fā)表，是精確率最高的物體檢測(cè)算法之一；但可惜它是先定位，再分類(lèi)的兩階段模型，所以速度不高。

圖2 Faster RCNN算法

物體檢測(cè)就是不但要知道照片里有什么(物體識(shí)別)，還需要把它框出來(lái)(物體檢測(cè))。Faster RCNN使用了Region Proposal Network，解決了過(guò)去算法中以人工方式產(chǎn)生大量候選位置區(qū)域(Proposal)的問(wèn)題；并改用預(yù)埋的不同尺寸Anchor，來(lái)解決物體不確定尺寸大小與比例的問(wèn)題。所以，不管天涯海角，F(xiàn)aster RCNN都能把妹的位置給檢測(cè)出來(lái)。

Auto-Encoder算法

Auto-Encoder(圖3)是最古老的深度學(xué)習(xí)結(jié)構(gòu)之一。它是一個(gè)漏斗型的結(jié)構(gòu)，讓高維度數(shù)據(jù)逐步被降維，到了最窄處，再逐步升維，并且要求輸入必須等于輸出。這意味著最窄處被極致降維的結(jié)果必須包含重建原始高維數(shù)據(jù)的一切必要訊息。我們稱(chēng)這樣的高度壓縮向量為表征(Representation)或者是嵌入(Embedded)，這也是深度學(xué)習(xí)壓縮算法的核心網(wǎng)絡(luò)結(jié)構(gòu)，由于它沒(méi)有依賴(lài)任何外部卷標(biāo)，因此被歸屬為標(biāo)準(zhǔn)的非監(jiān)督式學(xué)習(xí)。所以只要看過(guò)妹的一顰一笑，它就能夠取得表征，然后完整重現(xiàn)。

圖3 Auto-Encoder算法

WaveNet算法

WaveNet(圖4)是來(lái)自于Deepmind的得意之作，它也是目前聲音生成模型的SOTA(State-of-The-Art)。WaveNet可以模仿人類(lèi)或者是各種樂(lè)器的聲音，他的模仿能力甚至連人類(lèi)講話時(shí)特有的換氣呼吸聲都可以模仿。

圖4 Faster RCNN算法

WaveNet的本質(zhì)是一個(gè)一維空洞卷積，一般我們用二維卷積處理二維的影像數(shù)據(jù)，那么一維的聲音數(shù)據(jù)當(dāng)然要用一維卷積。至于空洞卷積(Dilation)則是一種特殊卷積型態(tài)，它可以有效地在不增加訓(xùn)練參數(shù)的狀況下，擴(kuò)大每個(gè)卷積的感知域，這樣就可以從細(xì)節(jié)到大趨勢(shì)的捕捉聲音特性。所以當(dāng)然忘不了妹的聲音。

Deep Belief Network算法

學(xué)深度學(xué)習(xí)的人千萬(wàn)不能不知道什么是深度信念網(wǎng)絡(luò)(Deep Belief Network)，它是深度學(xué)習(xí)三大神之首Hinton發(fā)展深度學(xué)習(xí)理論時(shí)的第一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)(圖5)。所以，我也借用它作為我在大陸創(chuàng)業(yè)的公司名字Deepbelief.ai。

圖5 Deep Belief Network算法

深度信念網(wǎng)絡(luò)每一層都是受限波茲曼機(jī)(Restricted Boltzmann Machine,RBM)，Hinton拿它來(lái)做語(yǔ)音識(shí)別以及人臉識(shí)別，在那時(shí)都獲得巨大的成功。這是神級(jí)的深度信念，妹怎能不感動(dòng)。

DenseNet算法

DenseNet(圖6)可以說(shuō)是這類(lèi)使用了跳轉(zhuǎn)連接(Skip Connection)的卷積神經(jīng)網(wǎng)絡(luò)中的超級(jí)進(jìn)化版，每一個(gè)稠密單元(Dense Block)中，每一層卷積神經(jīng)層除了來(lái)自上一層傳送的特征外，在之前的「每」一層都會(huì)透過(guò)跳轉(zhuǎn)連接將特征直送，這樣保證重要特征絕不丟失，所以超級(jí)珍惜與妹在一起的所有回憶。

圖6 DenseNet算法

Attention算法

深度學(xué)習(xí)三大神之一的Yoshua Bengio首次將注意力機(jī)制(Attention)運(yùn)用在機(jī)器翻譯中，它模仿人類(lèi)閱讀文字的習(xí)慣，先逐字讀取后，會(huì)將注意力放在特定的詞匯以產(chǎn)生正確翻譯結(jié)果，注意力機(jī)制可以衡量特別詞匯的重要性(圖7)。若是注意力一直在她身上，多么深情的執(zhí)著。

圖7 Attention算法

152-Layers ResNet算法

由微軟亞洲研究院的兩大男神孫劍與何愷明連手發(fā)表的ResNet，在2015年利用了一百五十二層前所未有的超深卷積神經(jīng)網(wǎng)絡(luò)獲得了該年ImageNet的冠軍，而且以?xún)H有3.57%的物體識(shí)別錯(cuò)誤率，終于在視覺(jué)領(lǐng)域上擊敗人類(lèi)。一百五十二層殘差神經(jīng)網(wǎng)絡(luò)，沒(méi)有最深，只有更深(圖8)。

圖8 152-Layers ResNet算法

ResNet算法

殘差神經(jīng)網(wǎng)絡(luò)(ResNet)利用了跳轉(zhuǎn)鏈接傳遞梯度，逐層優(yōu)化輸出值與實(shí)際值之間的差異(殘差)，可以有效地傳遞梯度避免梯度彌散，也成為現(xiàn)在最主流的卷積神經(jīng)網(wǎng)絡(luò)骨干架構(gòu)(圖9)。

圖9 ResNet算法