關(guān)于深度學(xué)習(xí)，它正在快速接近其極限。雖然事實(shí)可能的確如此，但我們?nèi)晕茨茉谌粘Ｉ钪懈惺艿饺娌渴鹕疃葘W(xué)習(xí)的影響。

MIT：算力將探底，算法需改革

近日，MIT發(fā)出警告：深度學(xué)習(xí)正在接近現(xiàn)有芯片的算力極限，如果不變革算法，深度學(xué)習(xí)恐難再進(jìn)步。

根據(jù)麻省理工學(xué)院，MIT－IBM Watson AI實(shí)驗(yàn)室，Underwood國(guó)際學(xué)院和巴西利亞大學(xué)的研究人員在最近的研究中發(fā)現(xiàn)，持續(xù)不斷的進(jìn)步將需要通過(guò)改變現(xiàn)有技術(shù)或通過(guò)尚未發(fā)現(xiàn)的新方法來(lái)更有效地使用深度學(xué)習(xí)方法。

目前深度學(xué)習(xí)的繁榮過(guò)度依賴算力的提升，在后摩爾定律時(shí)代可能遭遇發(fā)展瓶頸，在算法改進(jìn)上還需多多努力。

深度學(xué)習(xí)不是偶然的計(jì)算代價(jià)，而是設(shè)計(jì)的代價(jià)。共同的靈活性使它能夠出色地建模各種現(xiàn)象，并且性能優(yōu)于專家模型，這也使其在計(jì)算上的成本大大提高。

研究人員估計(jì)，三年的算法改進(jìn)相當(dāng)于計(jì)算能力提高10倍。總體而言，在深度學(xué)習(xí)的許多領(lǐng)域中，訓(xùn)練模型的進(jìn)步取決于所使用的計(jì)算能力的大幅度提高。 另一種可能性是，要改善算法本身可能需要互補(bǔ)地提高計(jì)算能力。

在研究過(guò)程中，研究人員還對(duì)預(yù)測(cè)進(jìn)行了推斷，以了解達(dá)到各種理論基準(zhǔn)所需的計(jì)算能力以及相關(guān)的經(jīng)濟(jì)和環(huán)境成本。

即使是最樂(lè)觀的計(jì)算，要降低ImageNet上的圖像分類錯(cuò)誤率，也需要進(jìn)行10的五次方以上的計(jì)算。

根據(jù)多項(xiàng)式和指數(shù)模型的預(yù)測(cè)，通過(guò)深度學(xué)習(xí)獲得相應(yīng)性能基準(zhǔn)所需的算力（以Gflops為單位），碳排放量和經(jīng)濟(jì)成本，最樂(lè)觀的估計(jì)，ImageNet分類誤差要想達(dá)到1％，需要10＾28 Gflops的算力，這對(duì)硬件來(lái)說(shuō)是不小的壓力。

爆炸式增長(zhǎng)結(jié)束，頂部提升有機(jī)會(huì)

用于深度學(xué)習(xí)模型的計(jì)算能力的爆炸式增長(zhǎng)已經(jīng)結(jié)束了，并為各種任務(wù)的計(jì)算機(jī)性能樹(shù)立了新的基準(zhǔn)。但是這些計(jì)算限制的可能影響迫使機(jī)器學(xué)習(xí)轉(zhuǎn)向比深度學(xué)習(xí)更高效的技術(shù)。

過(guò)去算力的提升歸納了兩個(gè)原因：

一個(gè)是底部的發(fā)展，即計(jì)算機(jī)部件的小型化，其受摩爾定律制約；

另一個(gè)是頂部的發(fā)展，是上面提到的軟件、算法、硬件架構(gòu)的統(tǒng)稱。

在后摩爾定律時(shí)代，提升計(jì)算性能的方法，雖然底部已經(jīng)沒(méi)有太多提升的空間，但頂部還有機(jī)會(huì)。

在軟件層面，可以通過(guò)性能工程（performance engineering）提高軟件的效率，改變傳統(tǒng)軟件的開(kāi)發(fā)策略，盡可能縮短軟件運(yùn)行時(shí)間，而不是縮短軟件開(kāi)發(fā)時(shí)間。另外，性能工程還可以根據(jù)硬件的情況進(jìn)行軟件定制，如利用并行處理器和矢量單元。

在算法層面，在已有算法上的改進(jìn)是不均勻的，而且具有偶然性，大量算法進(jìn)展可能來(lái)源于新的問(wèn)題領(lǐng)域、可擴(kuò)展性問(wèn)題、根據(jù)硬件定制算法。

在硬件層面，由于摩爾定律的制約，顯然需要改進(jìn)的是硬件的架構(gòu)，主要問(wèn)題就是如何簡(jiǎn)化處理器和利用應(yīng)用程序的并行性。

通過(guò)簡(jiǎn)化處理器，可以將復(fù)雜的處理核替換為晶體管數(shù)量需求更少的簡(jiǎn)單處理核。由此釋放出的晶體管預(yù)算可重新分配到其他用途上，比如增加并行運(yùn)行的處理核的數(shù)量，這將大幅提升可利用并行性問(wèn)題的效率。

深度學(xué)習(xí)時(shí)代AI模型需規(guī)?；瘮U(kuò)展

現(xiàn)代AI模型需要消耗大量電力，而且對(duì)電力的需求正以驚人的速度增長(zhǎng)。在深度學(xué)習(xí)時(shí)代，構(gòu)建一流AI模型所需要的計(jì)算資源平均每3．4個(gè)月翻一番。

在當(dāng)今以深度學(xué)習(xí)為中心的研究范式當(dāng)中，AI的主要進(jìn)步主要依賴于模型的規(guī)?；瘮U(kuò)展：數(shù)據(jù)集更大、模型更大、計(jì)算資源更大。

在訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)需要為每一條數(shù)據(jù)執(zhí)行一整套冗長(zhǎng)的數(shù)學(xué)運(yùn)算（正向傳播與反向傳播），并以復(fù)雜的方式更新模型參數(shù)。

在現(xiàn)實(shí)環(huán)境中部署并運(yùn)行AI模型，所帶來(lái)的能源消耗量甚至高于訓(xùn)練過(guò)程。實(shí)際上，神經(jīng)網(wǎng)絡(luò)全部算力成本中的80％到90％來(lái)自推理階段，而非訓(xùn)練階段。

因此，數(shù)據(jù)集規(guī)模越大，與之對(duì)應(yīng)的算力與能源需求也在飛速增長(zhǎng)。模型中包含的參數(shù)量越大，推理階段所帶來(lái)的電力需求就越夸張。

深度學(xué)習(xí)時(shí)代AI模型需規(guī)?；瘮U(kuò)展

現(xiàn)代AI模型需要消耗大量電力，而且對(duì)電力的需求正以驚人的速度增長(zhǎng)。在深度學(xué)習(xí)時(shí)代，構(gòu)建一流AI模型所需要的計(jì)算資源平均每3．4個(gè)月翻一番。

在當(dāng)今以深度學(xué)習(xí)為中心的研究范式當(dāng)中，AI的主要進(jìn)步主要依賴于模型的規(guī)?；瘮U(kuò)展：數(shù)據(jù)集更大、模型更大、計(jì)算資源更大。

在訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)需要為每一條數(shù)據(jù)執(zhí)行一整套冗長(zhǎng)的數(shù)學(xué)運(yùn)算（正向傳播與反向傳播），并以復(fù)雜的方式更新模型參數(shù)。

在現(xiàn)實(shí)環(huán)境中部署并運(yùn)行AI模型，所帶來(lái)的能源消耗量甚至高于訓(xùn)練過(guò)程。實(shí)際上，神經(jīng)網(wǎng)絡(luò)全部算力成本中的80％到90％來(lái)自推理階段，而非訓(xùn)練階段。

因此，數(shù)據(jù)集規(guī)模越大，與之對(duì)應(yīng)的算力與能源需求也在飛速增長(zhǎng)。模型中包含的參數(shù)量越大，推理階段所帶來(lái)的電力需求就越夸張。

雖然深度網(wǎng)絡(luò)會(huì)是解決方案的一部分，但還需要涉及組合原則和因果模型的互補(bǔ)方法，以捕捉數(shù)據(jù)的基本結(jié)構(gòu)。此外，面對(duì)組合性爆炸，需要要再次思考如何訓(xùn)練和評(píng)估視覺(jué)算法。

每一次人工智能低谷來(lái)臨之前，都會(huì)有科學(xué)家夸大和炒作他們創(chuàng)造的潛力，僅僅說(shuō)他們的算法就能夠很好地完成某項(xiàng)任務(wù)是不夠的。

對(duì)大多數(shù)問(wèn)題來(lái)說(shuō)，深度學(xué)習(xí)并不是正確的解決方法，不要試圖為所有的問(wèn)題尋找通用人工智能解決方案，因?yàn)樗揪筒淮嬖凇?/p>

結(jié)尾：

深度學(xué)習(xí)的發(fā)展可能已達(dá)極限，但其影響還將持續(xù)深遠(yuǎn)。為了避免在“人工智能冬天”中被淘汰的命運(yùn)，能做的最好的事情就是明確你要解決的問(wèn)題，并理解其本質(zhì)；然后，尋找為特定問(wèn)題提供解決方案的直觀路徑的方法。
? ? ? ?責(zé)任編輯:pj