隨著AI行業(yè)發(fā)展如此之快，機器學(xué)習(xí)從業(yè)者很難找到時間來策劃，分析和實施正在發(fā)表的新研究。為了幫助您快速掌握最新的ML趨勢，我們將介紹我們的研究系列，其中我們整理2019年的關(guān)鍵AI研究論文并以易于理解的要點格式對其進行總結(jié)。

我們將從最重要的10篇AI研究論文開始，這些論文代表了最新的研究趨勢。這些論文將為您提供有關(guān)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，優(yōu)化技術(shù)，無監(jiān)督學(xué)習(xí)，語言建模，計算機視覺等方面的研究進展的廣泛概述。我們已根據(jù)技術(shù)影響，專家意見和行業(yè)好評選擇了這些研究論文。當(dāng)然，還有更多的研究值得您注意，但是我們希望這將是一個好的起點。

我們還將發(fā)布自然語言處理，對話式AI，計算機視覺，強化學(xué)習(xí)和AI倫理方面的前十大關(guān)鍵研究論文列表。

神經(jīng)網(wǎng)絡(luò)修剪技術(shù)可以將經(jīng)過訓(xùn)練的網(wǎng)絡(luò)的參數(shù)數(shù)量減少90%以上，減少存儲需求并提高推理的計算性能，而不會影響準(zhǔn)確性。但是，當(dāng)代的經(jīng)驗是，修剪產(chǎn)生的稀疏架構(gòu)從一開始就很難進行訓(xùn)練，這同樣會提高訓(xùn)練效果。

我們發(fā)現(xiàn)標(biāo)準(zhǔn)的修剪技術(shù)自然會發(fā)現(xiàn)子網(wǎng)，這些子網(wǎng)的初始化使它們能夠有效地進行訓(xùn)練。根據(jù)這些結(jié)果，我們闡明“彩票假設(shè)”：密集的，隨機初始化的前饋網(wǎng)絡(luò)包含子網(wǎng)（“中獎彩票”），這些子網(wǎng)經(jīng)過單獨訓(xùn)練后，可達到與原始網(wǎng)絡(luò)類似的測試精度迭代次數(shù)。我們發(fā)現(xiàn)中獎的彩票已經(jīng)贏得了初始彩票：它們的連接具有初始權(quán)重，使培訓(xùn)特別有效。

我們提出了一種識別中獎彩票的算法，以及一系列支持彩票假說和這些偶然初始化的重要性的實驗。我們始終發(fā)現(xiàn)中獎票證的大小不到MNIST和CIFAR10的幾種全連接和卷積前饋體系結(jié)構(gòu)的大小的10-20%。超過此大小，我們發(fā)現(xiàn)的中獎彩票比原始網(wǎng)絡(luò)學(xué)習(xí)得更快，并且達到更高的測試準(zhǔn)確性。