NeurIPS 2018最佳論文公布，4篇最佳論文中有一篇一作是陳天琦。本屆大會(huì)參會(huì)人數(shù)超過(guò)了8000人次，錄取率為21%，三個(gè)最熱門投稿領(lǐng)域依次為算法、深度學(xué)習(xí)和應(yīng)用。

NeurIPS 2018終于開(kāi)始，主會(huì)場(chǎng)排滿了6500人的座位，旁邊還有能容納1500人的房間。

今年的大會(huì)主席是谷歌大腦的Samy Bengio，他也是“深度學(xué)習(xí)三巨頭”之一Yoshua Bengio的弟弟。程序主席是微軟研究院的Hanna Wallach，同樣擔(dān)任聯(lián)席程序主席的還有谷歌大腦的Hugo Larochelle、奧斯汀大學(xué)及Facebook AI的Kristen Grauman，以及米蘭大學(xué)的Nicolò Cesa-Bianchi。幸與不幸，這屆NIPS——“NeurIPS”，中國(guó)或者華人學(xué)者并無(wú)出任大會(huì)組織或管理層。

全新的NeurIPS大會(huì)Logo

但是，中國(guó)公司依然活躍在大會(huì)贊助商名單里，無(wú)論怎么說(shuō)，畢竟是人工智能領(lǐng)域一年一度最負(fù)盛譽(yù)的學(xué)術(shù)會(huì)議之一。

根據(jù)大會(huì)主席在Opening Remarks透露，本屆會(huì)議參會(huì)（注冊(cè)）人數(shù)直逼9000人大關(guān)，投稿超過(guò)5000篇，論文錄取率為21%，最熱門的投稿領(lǐng)域是算法，其次是深度學(xué)習(xí)，再次是應(yīng)用。

本屆大會(huì)有一天的Expo Day，9場(chǎng)Tutorial，39個(gè)Workshop（從118個(gè)提交方案中選出），8場(chǎng)競(jìng)賽（提交了21個(gè)），20個(gè)Demo（提交了76個(gè)），還有專為女性、拉丁人、黑人和LGBT人群設(shè)立的分會(huì)場(chǎng)。

陳天琦等人獲得最佳論文獎(jiǎng)

還是先來(lái)看最佳論文獎(jiǎng)。今年的最佳論文一共有4篇。值得慶賀的是，陳天琦等人的Neural Ordinary Differential Equations也在其中。

Neural Ordinary Differential Equations

Tian Qi Chen · Yulia Rubanova · Jesse Bettencourt · David Duvenaud

鏈接：https://arxiv.org/abs/1806.07366

摘要：我們提出一種新的深度神經(jīng)網(wǎng)絡(luò)模型。我們使用神經(jīng)網(wǎng)絡(luò)參數(shù)化隱藏狀態(tài)的導(dǎo)數(shù)，而不是指定一個(gè)離散的隱藏層序列。利用黑盒微分方程求解器計(jì)算網(wǎng)絡(luò)的輸出。這些連續(xù)深度模型具有恒定的存儲(chǔ)成本，可以根據(jù)每個(gè)輸入調(diào)整其評(píng)估策略，并且可以顯式地以數(shù)值精度換取速度。我們?cè)谶B續(xù)深度殘差網(wǎng)絡(luò)和連續(xù)時(shí)間潛在變量模型中證明了這些性質(zhì)。我們還構(gòu)建了continuous normalizing flows，這是一個(gè)可以通過(guò)最大似然進(jìn)行訓(xùn)練、而無(wú)需對(duì)數(shù)據(jù)維度進(jìn)行分區(qū)或排序的生成模型。對(duì)于訓(xùn)練，我們展示了如何在不訪問(wèn)任何ODE求解器內(nèi)部操作的情況下，可擴(kuò)展地反向傳播。這允許在更大的模型中對(duì)ODE進(jìn)行端到端訓(xùn)練。

Non-delusional Q-learning and Value-iteration

Tyler Lu · Dale Schuurmans · Craig Boutilier

鏈接：https://papers.nips.cc/paper/8200-non-delusional-q-learning-and-value-iteration.pdf

摘要：在Q-learning和其它形式的動(dòng)態(tài)規(guī)劃中，我們確定了一個(gè)基本的誤差來(lái)源。當(dāng)近似體系結(jié)構(gòu)限制了可表達(dá)的貪婪策略類時(shí)，就會(huì)產(chǎn)生偏差。由于標(biāo)準(zhǔn)Q-updates對(duì)可表達(dá)的策略類做出了全局不協(xié)調(diào)的動(dòng)作選擇，因此可能導(dǎo)致不一致甚至沖突的Q值估計(jì)，從而導(dǎo)致病態(tài)行為，如過(guò)高/過(guò)低估計(jì)、不穩(wěn)定甚至分歧。

為了解決這個(gè)問(wèn)題，我們引入了新的策略一致性概念，并定義了一個(gè)本地備份流程，該流程通過(guò)使用信息集來(lái)確保全局一致性，這些信息集記錄了與備份后的Q值一致的策略約束。我們證明使用此備份的基于模型和無(wú)模型的算法都可消除妄想（delusional）偏差，從而產(chǎn)生第一種已知算法，可在一般條件下保證最佳結(jié)果。此外，這些算法僅需要多項(xiàng)式的一些信息集即可。最后，我們建議嘗試減少妄想偏差的Value-iteration和Q-learning的其它實(shí)用啟發(fā)式方法。

Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

Kevin Scaman · Francis Bach · Sebastien Bubeck · Laurent Massoulié · Yin Tat Lee

鏈接：https://arxiv.org/abs/1806.00291

摘要：在這行工作中，我們利用計(jì)算單元網(wǎng)絡(luò)，研究了非光滑凸函數(shù)的分布優(yōu)化問(wèn)題。我們?cè)趦蓚€(gè)正則性假設(shè)下研究這個(gè)問(wèn)題：(1)全局目標(biāo)函數(shù)的Lipschitz連續(xù)性，(2)局部單個(gè)函數(shù)的Lipschitz連續(xù)性。在局部正則性假設(shè)下，我們提出第一個(gè)最優(yōu)一階分散算法——多步原對(duì)偶算法(MSPD)，并給出了相應(yīng)的最優(yōu)收斂速度。值得注意是，對(duì)于非光滑函數(shù)，雖然誤差的主導(dǎo)項(xiàng)在中，但是通信網(wǎng)絡(luò)的結(jié)構(gòu)只影響的二階項(xiàng)，其中?t?為時(shí)間。也就是說(shuō)，即使在非強(qiáng)凸目標(biāo)函數(shù)的情況下，由于通信資源的限制而產(chǎn)生的誤差也會(huì)快速減小。在全局正則性假設(shè)下，我們提出了一種基于目標(biāo)函數(shù)局部平滑的簡(jiǎn)單而有效的分布式隨機(jī)平滑算法(distributed smooth, DRS)，并證明了DRS在最優(yōu)收斂率的乘因子范圍內(nèi)，其中d為底層維數(shù)。

Nearly Tight Sample Complexity Bounds for Learning Mixtures of Gaussians via Sample Compression Schemes

Hassan Ashtiani · Shai Ben-David · Nick Harvey · Christopher Liaw · Abbas Mehrabian · Yaniv Plan

鏈接：https://papers.nips.cc/paper/7601-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes.pdf

摘要：我們證明樣本對(duì)于學(xué)習(xí)中的k高斯混合是必要且充分的，直到整體偏差距離誤差ε。這改善了該問(wèn)題已知的上限和下限。對(duì)于軸對(duì)齊高斯分布的混合，我們證明樣本足夠，匹配已知的下界。上限是基于一種基于樣本壓縮概念的分布式學(xué)習(xí)新技術(shù)。任何一類允許這種樣本壓縮方案的分布也可以通過(guò)很少的樣本來(lái)學(xué)習(xí)。我們的主要結(jié)果是證明了中的高斯類具有有效的樣本壓縮。

權(quán)衡近似最優(yōu)化算法獲經(jīng)典論文獎(jiǎng)（Test Of Time Award）

The Tradeoffs of Large-Scale Learning

Leon Bottou, Olivier Bousquet

獲得經(jīng)典論文獎(jiǎng)的這篇論文發(fā)表于2007年，作者是普林斯頓NEC實(shí)驗(yàn)室的Leon Bottou和Google的Olivier Bousquet。

Léon Bottou 因在機(jī)器學(xué)習(xí)和數(shù)據(jù)壓縮方面的工作而著名，他提出了 Stochastic gradient descent 這個(gè)最基本的機(jī)器學(xué)習(xí)算法，這個(gè)算法本身就是一種近似最優(yōu)化算法，他也是 DjVu 圖像壓縮技術(shù)的發(fā)明者之一。Olivier Bousquet 任職于 Google，從事機(jī)器學(xué)習(xí)的相關(guān)研究。

這篇論文主要提出了一種理論框架，來(lái)衡量機(jī)器學(xué)習(xí)中近似最優(yōu)化方法的效果。分析結(jié)論發(fā)現(xiàn)，對(duì)于小規(guī)模數(shù)據(jù)和大規(guī)模數(shù)據(jù)，近似最優(yōu)化算法的 tradeoff 是不相同的。

論文摘要

這篇論文的貢獻(xiàn)是開(kāi)發(fā)了一個(gè)理論框架，該框架考慮了近似優(yōu)化對(duì)學(xué)習(xí)算法的影響。分析表明，對(duì)于小規(guī)模和大規(guī)模的學(xué)習(xí)問(wèn)題，有明顯的權(quán)衡。小規(guī)模學(xué)習(xí)問(wèn)題受制于近似-估計(jì)的權(quán)衡，大規(guī)模學(xué)習(xí)問(wèn)題需要在質(zhì)量上作出不同的權(quán)衡，涉及底層優(yōu)化算法的計(jì)算復(fù)雜性。例如，一個(gè)普通的優(yōu)化算法——隨機(jī)梯度下降，已經(jīng)被證明在大規(guī)模學(xué)習(xí)問(wèn)題上表現(xiàn)得很好。

12年論文數(shù)據(jù)：最強(qiáng)機(jī)構(gòu)是MIT，最高引用作者是喬丹

看完今年的NeurIPS論文數(shù)據(jù)，接下來(lái)自然想知道歷年來(lái)的數(shù)據(jù)。正好，微軟學(xué)術(shù)（Microsoft Academic）對(duì)12年的NeurIPS做了分析。

NeurIPS論文產(chǎn)出

下表顯示了會(huì)議從1996年開(kāi)始，每年論文的數(shù)量：

在下圖中，黑色條形代表了每年論文的平均參考文獻(xiàn)數(shù)量，從數(shù)據(jù)中可以看出，參考文獻(xiàn)數(shù)量呈增長(zhǎng)趨勢(shì)；綠色條形代表了每年論文被引用的平均次數(shù)：

Memory of references

例如，在下表中，2016年，NeurIPS論文共引用了2015年發(fā)表的2033篇論文；2014年發(fā)表論文1392篇，以此類推。

Outgoing Conferences

下表顯示了NeurIPS論文被引用的十大“場(chǎng)所”。NeurIPS、ICML、Journal of Machine Learning Research和CVPR名列前四。下面的餅狀圖顯示，在NeurIPS的論文中，最常被引用的10個(gè)“場(chǎng)所”幾乎占了全部被引用文獻(xiàn)的40%。

Incoming Citations

下表顯示了按地點(diǎn)劃分的引用分布情況。

下面的餅狀圖顯示，引用NeurIPS論文最多的前10個(gè)場(chǎng)所占全部引用量的24%。下面的條形圖顯示了引用NeurIPS論文最多的十大“場(chǎng)所”。同樣，NeurIPS位于頂部，其次是CVPR和ICML。

學(xué)術(shù)機(jī)構(gòu)排名

下面的氣泡圖通過(guò)NeurIPS論文中的引用計(jì)數(shù)，來(lái)可視化NeurIPS的頂級(jí)學(xué)術(shù)機(jī)構(gòu)排名。

作者排名

接下來(lái)的三個(gè)圖表顯示了不同標(biāo)準(zhǔn)下的作者排名。

氣泡圖顯示了按引用計(jì)數(shù)排序的NeurIPS作者，氣泡顏色飽和度相對(duì)于發(fā)表計(jì)數(shù)。

下面的氣泡圖將作者排名進(jìn)行了可視化。

作者排名是根據(jù)Microsoft Academic的一個(gè)公式計(jì)算出來(lái)的。X軸代表作者的級(jí)別。作者的排名越高，他們就越靠右。Y軸按發(fā)表次數(shù)對(duì)排名進(jìn)行了標(biāo)準(zhǔn)化，夠發(fā)現(xiàn)那些可能沒(méi)有發(fā)表過(guò)大量文章但卻有影響力的作者。作者離頂端越近，其標(biāo)準(zhǔn)化排名就越高。當(dāng)然，圖表區(qū)域的右上角代表了“最高等級(jí)”。

NeurIPS論文引用最多的學(xué)者

下表對(duì)被引用最多的學(xué)者進(jìn)行了排名。

在NeurIPS被引用最多的學(xué)者中，誰(shuí)將是后起之秀？

下面100%堆疊的條形圖顯示了前20位學(xué)者每年的NeurIPS被引用的情況。

7場(chǎng)受邀報(bào)告看今年大會(huì)關(guān)鍵：AI Safey

受邀報(bào)告在一定程度上反映了大會(huì)組織者對(duì)會(huì)議主題及重點(diǎn)的判斷。從以下7場(chǎng)報(bào)告中不難看出，在追求技術(shù)進(jìn)步的同時(shí)關(guān)注可靠性，強(qiáng)調(diào)研究的程序正義，例如對(duì)開(kāi)發(fā)魯棒的AI以及AI Safety相關(guān)問(wèn)題，是如今學(xué)界關(guān)注的焦點(diǎn)。

1、技術(shù)創(chuàng)新中多樣性和包容性的必要性(The Necessity of Diversity and Inclusivity In Tech）

演講人：Laura Gomez (Founder, Atipica)

Laura Gomez

2、機(jī)器學(xué)習(xí)遇到公共政策：期望什么和如何應(yīng)對(duì)（Machine Learning Meets Public Policy: What to Expect and How to Cope）

演講人：Edward Felton，普林斯頓大學(xué)

Edward Felton

AI和機(jī)器學(xué)習(xí)已經(jīng)對(duì)世界產(chǎn)生了巨大的影響。政策制定者已經(jīng)注意到這點(diǎn)，開(kāi)始制定法律法規(guī)，并開(kāi)始討論社會(huì)應(yīng)當(dāng)如何管理這些技術(shù)的發(fā)展。本演講將概述決策者如何應(yīng)對(duì)新技術(shù)和AI/ML的發(fā)展過(guò)程，以及為什么建設(shè)性地參與政策過(guò)程將為該領(lǐng)域、政府和社會(huì)帶來(lái)更好的結(jié)果。

3、身體在想什么：神經(jīng)系統(tǒng)外的生物電計(jì)算，原始認(rèn)知和合成形態(tài)學(xué)

(What Bodies Think About: Bioelectric Computation Outside the Nervous System, Primitive Cognition, and Synthetic Morphology)

演講人：Michael Levin，塔夫茨大學(xué)

Michael Levin

大腦的計(jì)算能力并非獨(dú)一無(wú)二。細(xì)菌、植物和單細(xì)胞生物都表現(xiàn)出學(xué)習(xí)能力和可塑性；神經(jīng)系統(tǒng)加速了信息處理的優(yōu)化，這些信息處理在生命之樹(shù)中無(wú)處不在，在神經(jīng)元進(jìn)化之前就已經(jīng)存在了。在這次演講中，我將介紹發(fā)展生物電學(xué)(developmental bioelectricity)的基礎(chǔ)知識(shí)，并展示新的概念和方法的進(jìn)步如何使重寫模式記憶成為可能，指導(dǎo)形態(tài)形成而無(wú)需基因組編輯。實(shí)際上，這些策略允許重新編程實(shí)現(xiàn)多細(xì)胞模式目標(biāo)狀態(tài)的生物電軟件。我將展示再生醫(yī)學(xué)和認(rèn)知神經(jīng)可塑性的應(yīng)用實(shí)例，并說(shuō)明未來(lái)對(duì)合成生物工程、機(jī)器人和機(jī)器學(xué)習(xí)的影響。

4、可重復(fù)、可重用和可靠的強(qiáng)化學(xué)習(xí)(Reproducible, Reusable, and Robust Reinforcement Learning)

演講人：Joelle Pineau，麥吉爾大學(xué)

Joelle Pineau

近年來(lái)，我們?cè)谏疃葟?qiáng)化學(xué)習(xí)方面取得了顯著的成績(jī)。然而，最先進(jìn)的深度RL方法的復(fù)現(xiàn)結(jié)果很少是直接的。當(dāng)環(huán)境或獎(jiǎng)勵(lì)具有很強(qiáng)的隨機(jī)性時(shí)，一些方法的高度差異會(huì)使學(xué)習(xí)變得特別困難。此外，在特定領(lǐng)域或?qū)嶒?yàn)過(guò)程中，即使是很小的擾動(dòng)，結(jié)果也可能是脆弱的。在這次演講中，我將回顧在deep RL中實(shí)驗(yàn)技術(shù)和報(bào)告過(guò)程中出現(xiàn)的挑戰(zhàn)。我還將描述一些最近的結(jié)果和指導(dǎo)方針，旨在使未來(lái)的結(jié)果更具可重復(fù)性、可重用性和可靠性。

5、人類-AI信任現(xiàn)象的調(diào)查(Investigations into the Human-AI Trust Phenomenon)

演講人：Ayanna Howard，佐治亞理工學(xué)院

Ayanna Howard

隨著智能系統(tǒng)在日?；顒?dòng)中與人類的互動(dòng)越來(lái)越充分，信任的作用必須得到更仔細(xì)的審視。信任傳達(dá)了這樣的概念：當(dāng)與智能系統(tǒng)交互時(shí)，人類往往表現(xiàn)出與其他人類交互時(shí)相似的行為，因此可能會(huì)誤解遵從機(jī)器的決策所帶來(lái)的風(fēng)險(xiǎn)。偏見(jiàn)會(huì)進(jìn)一步影響信任或過(guò)度信任的潛在風(fēng)險(xiǎn)，因?yàn)檫@些系統(tǒng)通過(guò)模仿我們自己的思維過(guò)程、繼承我們自己的隱含偏見(jiàn)來(lái)學(xué)習(xí)。在這個(gè)演講中，我將透過(guò)智能系統(tǒng)的鏡頭來(lái)討論這一現(xiàn)象。

6、使算法值得信賴：統(tǒng)計(jì)科學(xué)可以為透明度、解釋和驗(yàn)證做出哪些貢獻(xiàn)？

(Making Algorithms Trustworthy: What Can Statistical Science Contribute to Transparency, Explanation and Validation?)

演講人：David Spiegelhalter，劍橋大學(xué)

David Spiegelhalter

對(duì)自動(dòng)化咨詢系統(tǒng)的透明度、可解釋性和經(jīng)驗(yàn)驗(yàn)證的要求并不新鮮。早在上世紀(jì)80年代，基于規(guī)則的系統(tǒng)的支持者與基于統(tǒng)計(jì)模型的系統(tǒng)的支持者之間就有過(guò)激烈的討論，爭(zhēng)論的焦點(diǎn)就是哪個(gè)系統(tǒng)更加透明。

7、為軟件2.0設(shè)計(jì)計(jì)算機(jī)系統(tǒng)（Designing Computer Systems for Software 2.0）

演講人：Kunle Olukotun，斯坦福大學(xué)

Kunle Olukotun

使用機(jī)器學(xué)習(xí)從數(shù)據(jù)生成模型正在取代許多應(yīng)用程序的傳統(tǒng)軟件開(kāi)發(fā)。我們開(kāi)發(fā)軟件的方式發(fā)生了根本性的變化，稱為Software 2.0，它極大地提高了這些應(yīng)用程序的質(zhì)量和部署的易用性。Software 2.0方法的持續(xù)成功和擴(kuò)展必須得到為機(jī)器學(xué)習(xí)應(yīng)用程序量身定制的強(qiáng)大、高效和靈活的計(jì)算機(jī)系統(tǒng)的支持。這個(gè)演講將描述一種優(yōu)化計(jì)算機(jī)系統(tǒng)以滿足機(jī)器學(xué)習(xí)應(yīng)用需求的設(shè)計(jì)方法。全棧設(shè)計(jì)方法集成了針對(duì)應(yīng)用程序特性和現(xiàn)代硬件優(yōu)勢(shì)進(jìn)行優(yōu)化的機(jī)器學(xué)習(xí)算法，為可編程性和性能設(shè)計(jì)的領(lǐng)域特定語(yǔ)言和高級(jí)編譯技術(shù)，以及同時(shí)具備高靈活性和高能效的硬件架構(gòu)。

贊助商覆蓋行業(yè)明顯增多，傳統(tǒng)企業(yè)和創(chuàng)業(yè)企業(yè)數(shù)量增多

介紹贊助商也成了會(huì)議報(bào)道的慣例，畢竟是一票難求、人才濟(jì)濟(jì)的會(huì)議。今年的贊助商如果說(shuō)有變化，那么最大的變化就是——公司覆蓋的行業(yè)類型增多了?？梢园l(fā)現(xiàn)，除了谷歌、微軟、亞馬遜、Facebook和BAT等傳統(tǒng)的AI巨頭，越來(lái)越多的傳統(tǒng)企業(yè)，比如投行、銀行，以及創(chuàng)業(yè)企業(yè)出現(xiàn)在了贊助商名單里，這說(shuō)明AI的影響確實(shí)擴(kuò)大了。

鉆石贊助商：

鉑金贊助商：

黃金贊助商：

白銀贊助商：