我們現(xiàn)在所使用的神經(jīng)網(wǎng)絡(luò)模型，可能有 80% - 90% 的體積是多余的，這浪費(fèi)了巨大的處理能力。

近日，麻省理工學(xué)院的計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（MIT CSAIL）公布了一項(xiàng)新的研究成果，用富有創(chuàng)意的“彩票機(jī)制”修剪了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型，選擇性地剔除了對(duì)結(jié)果意義不大的連接（權(quán)重），使其變?yōu)楦〉淖由窠?jīng)網(wǎng)絡(luò)。

最終，在保證預(yù)測(cè)準(zhǔn)確率前提下，他們將實(shí)驗(yàn)中的子網(wǎng)絡(luò)模型的體積減少了 80% - 90%，進(jìn)而降低了對(duì)訓(xùn)練數(shù)據(jù)量和硬件的需求，而且學(xué)習(xí)速度還有所提升。

研究團(tuán)隊(duì)將這一方法稱為“彩票假設(shè)（Lottery Ticket Hypothesis）”，成果以論文形式發(fā)表在最近召開的 ICLR 2019 大會(huì)上，并且被評(píng)選為兩篇最佳論文之一?！堵槭±砉た萍荚u(píng)論》報(bào)道了這一成果，預(yù)測(cè)這種構(gòu)建微小神經(jīng)網(wǎng)絡(luò)的新方法，可以在手機(jī)上創(chuàng)建強(qiáng)大的人工智能。

將訓(xùn)練神經(jīng)網(wǎng)絡(luò)看作是抽獎(jiǎng)

如今，深度學(xué)習(xí)技術(shù)已經(jīng)成為了計(jì)算機(jī)科學(xué)領(lǐng)域的最熱門研究方向，從應(yīng)用自然語言處理的語音識(shí)別，到應(yīng)用計(jì)算機(jī)視覺的自動(dòng)駕駛，都十分依賴于構(gòu)建（深度）神經(jīng)網(wǎng)絡(luò)。而為了達(dá)到最佳學(xué)習(xí)效果，構(gòu)建神經(jīng)網(wǎng)絡(luò)通常需要非常龐大的數(shù)據(jù)集，用來訓(xùn)練和測(cè)試模型。很多研究團(tuán)隊(duì)都在想辦法優(yōu)化這一過程，在不犧牲準(zhǔn)確度的前提下，讓神經(jīng)網(wǎng)絡(luò)和模型變得更小巧輕便。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)由很多層和神經(jīng)元構(gòu)成，神經(jīng)元之間的連接可以用權(quán)重來衡量，通過調(diào)整某些權(quán)重的參數(shù)，我們就可以改變相應(yīng)的連接在整個(gè)網(wǎng)絡(luò)中的作用。權(quán)重一般都是隨機(jī)初始化的，隨著模型經(jīng)過大量訓(xùn)練，神經(jīng)網(wǎng)絡(luò)會(huì)慢慢“學(xué)會(huì)”哪些神經(jīng)元和連接更重要，繼而改變對(duì)應(yīng)的權(quán)重參數(shù)，輸出準(zhǔn)確率更高的結(jié)果。

圖 | 神經(jīng)網(wǎng)絡(luò)剪枝示意圖（來源：Dr. Lance Eliot, the AI Trends Insider）

在 MIT 研究人員看來，這就像是一個(gè)抽獎(jiǎng)過程：最開始我們手里有一大堆數(shù)字，但只有少部分?jǐn)?shù)字最富價(jià)值，所以我們可以在訓(xùn)練過程中將它們篩選出來，用這些數(shù)字組合成一張“中獎(jiǎng)彩票”，也就是實(shí)現(xiàn)了準(zhǔn)確預(yù)測(cè)的目的。

如果我們可以在最開始就知道哪些數(shù)字能夠或者更容易中獎(jiǎng)，那么就可以*直接**去除**剩下**那些價(jià)值不大的**數(shù)字*，從而在保證準(zhǔn)確率的情況下，縮小神經(jīng)網(wǎng)絡(luò)的體積，甚至是提高訓(xùn)練效率。

研究人員將這一思路命名為“彩票假設(shè)”。他們認(rèn)為，一個(gè)隨機(jī)初始化的密集神經(jīng)網(wǎng)絡(luò)包含一個(gè)（一些）子網(wǎng)絡(luò)，在獨(dú)立初始化并訓(xùn)練相同迭代次數(shù)后，它們的預(yù)測(cè)準(zhǔn)確率能夠媲美原始的神經(jīng)網(wǎng)絡(luò)。

圖 |“彩票假設(shè)”定義

“稀疏剪枝”法修剪出微小神經(jīng)網(wǎng)絡(luò)

值得注意的是，目前已存在多種神經(jīng)網(wǎng)絡(luò)剪枝（Pruning）技術(shù)，AI 大牛 Yann LeCun 就曾提出過。在最理想的情況下，可以將網(wǎng)絡(luò)體積縮小 90%。但修剪之后的網(wǎng)絡(luò)普遍難以重新訓(xùn)練，而且重新訓(xùn)練還會(huì)導(dǎo)致準(zhǔn)確率降低等問題。

相比之下，MIT 團(tuán)隊(duì)想要找到一種，可以在最開始就訓(xùn)練修剪過的小型神經(jīng)網(wǎng)絡(luò)的方法。

為了驗(yàn)證“彩票假設(shè)”，研究人員先進(jìn)行了復(fù)雜的數(shù)學(xué)推導(dǎo)，從理論上證明了實(shí)現(xiàn)的可行性。然后隨機(jī)初始化了一個(gè)神經(jīng)網(wǎng)絡(luò)，并且迭代訓(xùn)練 N 次，獲得了第 N 次迭代之后的所有參數(shù)，再按照特定的比例和方法剪掉部分參數(shù)，比如剔除數(shù)量級(jí)最小的權(quán)重，創(chuàng)造出一個(gè)蒙版。最后將所有剩余參數(shù)還原到初始值，套上剛剛得到的參數(shù)蒙版，由此創(chuàng)建了一套“中獎(jiǎng)彩票”，再進(jìn)行重新初始化和訓(xùn)練。

圖 | 如何找到“中獎(jiǎng)彩票”的官方解釋

研究團(tuán)隊(duì)使用了全連接網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)來測(cè)試“彩票假設(shè)”的效果，分別建立在 MNIST 和 CIFAR10 數(shù)據(jù)集之上——兩者都是深度學(xué)習(xí)領(lǐng)域知名數(shù)據(jù)集。

針對(duì)這兩種網(wǎng)絡(luò)，他們?cè)诙喾N條件下重復(fù)進(jìn)行了數(shù)萬次實(shí)驗(yàn)，嘗試分析和組合很多不同的方法，從而確定在不犧牲學(xué)習(xí)能力和準(zhǔn)確度的前提下，可以最多刪除多少個(gè)參數(shù)。

結(jié)果顯示，“稀疏剪枝（Sparse Pruning）”方法是找到“中獎(jiǎng)彩票”的最有效手段。由此生成的子網(wǎng)絡(luò)大小只有原始網(wǎng)絡(luò)前饋架構(gòu)大小的 10% - 20%，而且在某些情況下，例如使用早停，Dropout 或隨機(jī)重初始化等方法，還可以使學(xué)習(xí)速度加快，甚至是獲得超過原始網(wǎng)絡(luò)的準(zhǔn)確度。

研究人員認(rèn)為，這樣的成果還只是起步，如果想找到合適的子網(wǎng)絡(luò)，必須經(jīng)過多次迭代、訓(xùn)練和修剪，對(duì)于算力有較高要求，而且存在一定的局限性，因?yàn)樗麄冎徽业搅恕跋∈杓糁Α边@一種尋求“彩票”的方法，還只考慮了數(shù)據(jù)集相對(duì)較小的視覺分類任務(wù)。

不過“彩票假設(shè)”的新思路可以激發(fā)機(jī)器學(xué)習(xí)領(lǐng)域的其它團(tuán)隊(duì)，嘗試更多類似的網(wǎng)絡(luò)壓縮和優(yōu)化研究。研究團(tuán)隊(duì)下一步將圍繞更多的剪枝方法展開研究，分析為什么迭代剪枝（Iterative Pruning）在更深的網(wǎng)絡(luò)中無法找到“中獎(jiǎng)彩票”，同時(shí)對(duì)參數(shù)初始化機(jī)制進(jìn)行更透徹的研究。

他們相信，如果投入更多的努力，能夠找到最有效的剪枝手段，或許有望加速很多深度學(xué)習(xí)模型的訓(xùn)練過程，節(jié)省可觀的開支和工作量，甚至是創(chuàng)造更有價(jià)值的新模型。