引言

NeurIPS是全球頂級的機器學(xué)習(xí)會議。沒有其他研究會議可以吸引6000多位該領(lǐng)域內(nèi)真正的精英同時參加。如果你非常想了解機器學(xué)習(xí)最新的研究進展，就需要關(guān)注NeurIPS。

每年，NeurIPS都會為機器學(xué)習(xí)領(lǐng)域的頂級研究論文頒發(fā)各類獎項。考慮到這些論文的前沿水平，它們對于大多數(shù)人來說通常晦澀難懂。

但是不用擔心！我瀏覽了這些優(yōu)秀論文，并在本文總結(jié)了要點！我的目的是通過將關(guān)鍵的機器學(xué)習(xí)概念分解為大眾易于理解的小點來幫助你了解每篇論文的本質(zhì)。

以下是我將介紹的三個NeurIPS2019最佳論文的獎項：

最佳論文獎

杰出新方向論文獎

經(jīng)典論文獎

讓我們深入了解吧！

NeurIPS 2019最佳論文獎

在NeurIPS 2019上獲得的最佳論文獎是：

具有Massart噪聲的半空間的獨立分布的PAC學(xué)習(xí)（Distribution-Independent PAC Learning of Halfspaces with MassartNoise）

這是一篇非常好的論文！這讓我開始思考機器學(xué)習(xí)中的一個基本概念：噪聲和分布。這需要對論文本身進行大量研究，我將盡力解釋論文的要點而不使其變得復(fù)雜。

我們先重述標題。本文的研究討論了一種用于學(xué)習(xí)半空間的算法，該算法在與分布無關(guān)的PAC模型中使用，且研究的半空間具有Massart噪聲。該算法是該領(lǐng)域中最有效的算法。

本文的關(guān)鍵術(shù)語如下。

回顧布爾函數(shù)和二進制分類的概念。本質(zhì)上，

一個半空間是一個布爾函數(shù)，其中兩個類（正樣本和負樣本）由一個超平面分開。由于超平面是線性的，因此它也被稱為線性閾值函數(shù)（LTF）。

在數(shù)學(xué)上，線性閾值函數(shù)或半空間是一個閾值函數(shù)，可以由以某個閾值T為邊界的輸入?yún)?shù)的線性方程表示。布爾函數(shù)如果具有以下形式，則為線性閾值函數(shù)：

其中：

是權(quán)重

是特征

表示給出實數(shù)符號的符號函數(shù)

是閾值

我們也可以將LTF稱為感知器（此處需要使用神經(jīng)網(wǎng)絡(luò)知識?。?/p>

PAC（Probably Approximately Correct）模型是二分類的標準模型之一。

“Massart噪聲條件，或僅僅是Massart噪聲，是每個樣本/記錄的標簽以學(xué)習(xí)算法未知的很小概率進行的翻轉(zhuǎn)?！?/p>

翻轉(zhuǎn)的可能性受某個始終小于1/2的因子n的限制。為了找到使得誤分類錯誤較小的假設(shè)，我們在先前的論文中進行了各種嘗試來限制錯誤以及與數(shù)據(jù)噪聲相關(guān)的風(fēng)險。

這項研究在確定樣本復(fù)雜性的同時，證明了多項式時間（1/epsilon）的額外風(fēng)險等于Massart噪聲水平加上epsilon。

本文是邁向僅實現(xiàn)ε過量風(fēng)險這一目標的巨大飛躍。

獲得NeurIPS杰出論文獎提名的其他論文：

1. Besov IPM損耗下GAN的非參數(shù)密度估計和收斂速度（Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses）

2. 快速準確的最小均方求解（Fast andAccurate Least-Mean-Squares Solvers）

NeurIPS 2019杰出新方向論文

今年的NeurIPS2019為獲獎?wù)撐脑O(shè)置了一個新獎項杰出新方向論文獎。用主辦方的話來說： “該獎項旨在表彰為未來研究建立新途徑的杰出工作。”

該獎項的獲獎文章是 ——《一致收斂性可能無法解釋深度學(xué)習(xí)中的泛化性》（Uniform convergence may be unable to explain generalization in deeplearning）

今年我最喜歡的論文之一！本文從理論和實踐兩個方面闡述了當前的深度學(xué)習(xí)算法無法解釋深度神經(jīng)網(wǎng)絡(luò)中的泛化。讓我們來更詳細地了解這一點。

一致收斂性可能無法解釋深度學(xué)習(xí)中的泛化性（Uniform convergence may be unable to explain generalization in deeplearning）

大型網(wǎng)絡(luò)很好地概括了看不見的訓(xùn)練數(shù)據(jù)，盡管這些數(shù)據(jù)已被訓(xùn)練為完全適合隨機標記。但是，當特征數(shù)量大于訓(xùn)練樣本的數(shù)量時，這些網(wǎng)絡(luò)的表現(xiàn)就沒那么好了。

盡管如此，它們?nèi)匀粸槲覀兲峁┝俗钚碌男阅苤笜?。這也表明這些超參數(shù)化模型過度地依賴參數(shù)計數(shù)而沒有考慮批量大小的變化。如果我們遵循泛化的基本方程：

測試誤差 – 訓(xùn)練誤差 《= 泛化界限

對于上面的方程式，我們采用所有假設(shè)的集合，并嘗試最小化復(fù)雜度并使這些界限盡可能地窄。

迄今為止的研究都集中于通過獲取假設(shè)類別的相關(guān)子集來收緊界限。在完善這些約束方面也有很多開創(chuàng)性的研究，所有這些都基于統(tǒng)一收斂的概念。

但是，本文解釋這些算法可能出現(xiàn)的兩種情況：

太大，并且其復(fù)雜度隨參數(shù)數(shù)量而增加；

很小，但是在修改后的網(wǎng)絡(luò)上設(shè)計而來

“該論文定義了一組用于泛化界限的標準，并通過一組演示實驗證明統(tǒng)一收斂為何無法完全解釋深度學(xué)習(xí)中的泛化。”

泛化界限如下：

1. 理想情況下必須 《1（空）

2. 隨著寬度的增加變小

3. 適用于由SGD（隨機梯度下降）學(xué)習(xí)的網(wǎng)絡(luò)

4. 隨著隨機翻轉(zhuǎn)的訓(xùn)練標簽的比例而增加

5. 應(yīng)該與數(shù)據(jù)集大小成反比

之前提到的實驗是在MNIST數(shù)據(jù)集上使用三種類型的過度參數(shù)化模型（均在SGD算法上進行訓(xùn)練）完成的：

1. 線性分類器

2. 具有ReLU的寬神經(jīng)網(wǎng)絡(luò)

3. 具有固定隱藏權(quán)重的無限寬度神經(jīng)網(wǎng)絡(luò)

本文繼而演示了針對不同訓(xùn)練集大小的不同超參數(shù)設(shè)置。

“一個非常有趣的發(fā)現(xiàn)是，盡管測試集誤差隨訓(xùn)練集大小的增加而減小，但泛化界限實際上卻有所增加。 ”

如果網(wǎng)絡(luò)只是記住了我們不斷添加到訓(xùn)練集中的數(shù)據(jù)點，該怎么辦？

以研究人員給出的例子為例。對于一個擁有1000個維度的數(shù)據(jù)集的分類任務(wù)，使用SGD訓(xùn)練具有1個隱藏層ReLU和10萬個單位的超參數(shù)化模型。訓(xùn)練集大小的增加可提高泛化性并減少測試集錯誤。

盡管進行了泛化，它們?nèi)匀蛔C明了決策邊界非常復(fù)雜。這是它們違背統(tǒng)一收斂思想的地方。

因此，即使對于線性分類器，統(tǒng)一收斂也不能完全解釋泛化。實際上，當增加樣本數(shù)量時，這可以認為是導(dǎo)致界限增加的一個因素！

盡管先前的研究已將發(fā)展深度網(wǎng)絡(luò)的方向朝著依賴于算法的方向發(fā)展（以便堅持一致收斂），但本文提出了開發(fā)不依賴于算法的技術(shù)的需求，這些技術(shù)不會局限于一致收斂來解釋泛化。

我們可以清楚地知道，為什么該機器學(xué)習(xí)研究論文在NeurIPS 2019上獲得了杰出新方向論文獎。

研究人員已經(jīng)表明，僅僅用一致收斂不足以解釋深度學(xué)習(xí)中的泛化。同樣，不可能達到滿足所有5個標準的小界限。這開辟了一個全新的研究領(lǐng)域來探索可能解釋泛化的其他工具。

NeurIPS在杰出新方向論文獎上的其他提名包括：

1. 端到端：表征的梯度隔離學(xué)習(xí)（Putting AnEnd to End-to-End： Gradient-Isolated Learning of Representations）

2. 場景表示網(wǎng)絡(luò)：連續(xù)的3D-結(jié)構(gòu)感知神經(jīng)場景表示（SceneRepresentation Networks： Continuous 3D-Structure-Aware Neural SceneRepresentations）

NeurIPS 2019的經(jīng)典論文獎

每年，NeurIPS還會獎勵10年前在大會上發(fā)表的一篇論文，該論文對該領(lǐng)域的貢獻產(chǎn)生了深遠的影響（也是廣受歡迎的論文）。

今年，“經(jīng)典論文獎”授予了LinXiao寫作的“正則隨機學(xué)習(xí)和在線優(yōu)化的雙重平均法”。這項研究基于基本概念，這些基本概念為眾所周知的現(xiàn)代機器學(xué)習(xí)奠定了基礎(chǔ)。

正則隨機學(xué)習(xí)和在線優(yōu)化的雙重平均法（Dual Averaging Method for Regularized Stochastic Learning and OnlineOptimization）

讓我們分解一下這篇極佳的論文中涵蓋的四個關(guān)鍵概念：

隨機梯度下降：隨機梯度下降已經(jīng)正式成為機器學(xué)習(xí)中的最優(yōu)化方法。它可以通過以下隨機優(yōu)化來實現(xiàn)?；仡橲GD和大樣本隨機優(yōu)化方程——這里，w是權(quán)重向量，z是輸入特征向量。對于t = 0，1，2…

在線凸優(yōu)化：另一項開創(chuàng)性的研究。它被模擬為游戲，玩家將嘗試預(yù)測權(quán)重向量，并在每個t處計算出最終的損失。主要目的是最大程度地減少這種損失——結(jié)果與我們使用隨機梯度下降進行優(yōu)化的方式非常相似

壓縮學(xué)習(xí)：這包括套索回歸，L1正則化最小二乘和其他混合正則化方案

近端梯度法：與早期的技術(shù)相比，這是一種減少損耗且仍保留凸度的更快的方法

盡管先前的研究開發(fā)了一種收斂到O（1/t）的有效算法，但數(shù)據(jù)稀疏性是在那之前一直被忽略的一個因素。本文提出了一種新的正則化技術(shù)，稱為正則化雙重平均法（RDA），用于解決在線凸優(yōu)化問題。

當時，這些凸優(yōu)化問題效率不高，特別是在可伸縮性方面。

這項研究提出了一種批處理優(yōu)化的新方法。這意味著最初僅提供一些獨立樣本，并且基于這些樣本（在當前時間t）計算權(quán)重向量。相對于當前權(quán)重向量的損失與次梯度一起計算。并在迭代中（在時間t + 1）再次使用它。

具體而言，在RDA中，考慮了平均次梯度，而不是當前的次梯度。

“當時，對于稀疏的MNIST數(shù)據(jù)集，此方法比SGD和其他流行技術(shù)獲得了更好的結(jié)果。實際上，隨著稀疏度的增加，RDA方法也具有明顯更好的結(jié)果?！?/p>

在進一步研究上述方法的多篇論文中，如流形識別、加速RDA等，都證明了這篇論文被授予經(jīng)典論文獎是當之無愧。

結(jié)語

NeurIPS 2019再次成為了一次極富教育意義和啟發(fā)性的會議。我對杰出新方向論文獎以及它如何解決深度學(xué)習(xí)中的泛化問題特別感興趣。

哪一篇機器學(xué)習(xí)研究論文引起了你的注意？或者是否有其他的論文，讓你想要去嘗試或者啟發(fā)了你？請在下面的評論區(qū)中告訴我們吧。