ICLR 2021杰出論文獎出爐今年共有2997篇投稿，接收860篇，最后共有8篇獲得杰出論文獎。

這8篇論文中，谷歌成最大贏家，共有4篇論文獲獎（包括DeepMind、谷歌大腦在內(nèi)）。

除此之外，AWS、Facebook等機構(gòu)，以及CMU、南洋理工等高校也紛紛上榜。

共有8篇論文上榜

1、Beyond Fully-Connected Layers with Quaternions： Parameterization of Hypercomplex Multiplications with 1/n Parameters

來自AWS、Google、南洋理工大學。

這篇論文提出了一種基于四元數(shù)的全連接層（Fully-Connected Layers with Quaternions），用四元數(shù)的哈密頓乘積（Hamilton products），替代了全連接層中的實值矩陣乘法，節(jié)省了1/4的可學習參數(shù)。

論文對超復(fù)數(shù)乘積進行了參數(shù)化，允許模型從數(shù)據(jù)中學習乘法規(guī)則，無需在意這些規(guī)則是否被預(yù)定義。與普通的全連接層方法相比，這種方法只需要使用1/n（n即維度）的可學習參數(shù)。

2、Complex Query Answering with Neural Link Predictors

來自UCL、阿姆斯特丹自由大學。

這篇論文提出了一種名為復(fù)雜查詢分解 （CQD）的框架，通過在嵌入空間實體集上的推理，來回答相對復(fù)雜的邏輯查詢——回答復(fù)雜查詢，被簡化為回答每個子查詢，并通過t-norm聚合所得分數(shù)。

只需要訓(xùn)練原子查詢的神經(jīng)網(wǎng)絡(luò)鏈接預(yù)測模型，就可利用這一框架，來回答給定的復(fù)雜查詢，而不需要用大量生成的復(fù)雜查詢進行訓(xùn)練。

同時，無論查詢的復(fù)雜性如何，這一框架還能對查詢回答過程的每一步進行解釋。論文所提出的方法與查詢類型無關(guān)，可以在不明確訓(xùn)練特定類型查詢的情況下進行歸納。

3、EigenGame： PCA as a Nash Equilibrium

來自DeepMind、Google。

這篇論文提出了一種天然并行化的隨機梯度上升方法EigenGame（本征博弈），結(jié)合了Oja規(guī)則、Krasulina矩陣和Riemannian優(yōu)化方法的優(yōu)點，來計算Top-K主成分。

其中，PCA即博弈納什均衡、及序列化全局收斂主成分算法。

這種方法為大規(guī)模矩陣的PCA計算提供了一種可擴展方法，可計算出近200 TB的Imagenet的RESNET-200激活矩陣的前32個主成分。

4、Learning Mesh-Based Simulation with Graph Networks

來自DeepMind。

這篇論文介紹了MeshGraphNets，一個用圖神經(jīng)網(wǎng)絡(luò)進行網(wǎng)格仿真學習的框架。這一框架可以精確地預(yù)測各種物理系統(tǒng)的動力學，包括空氣動力學、結(jié)構(gòu)力學和織物的形狀等。

這種方法拓寬了神經(jīng)網(wǎng)絡(luò)模擬器可以運行的問題范圍，并有望提高復(fù)雜的、科學的建模任務(wù)的效率。

5、Neural Synthesis of Binaural Speech From Mono Audio

來自Facebook Reality Lab、CMU。

這篇論文提出了一種雙聲道合成的神經(jīng)繪制方法，可以實時生成逼真、空間精確的雙聲道聲音。所設(shè)計的網(wǎng)絡(luò)以單聲道音頻源為輸入，根據(jù)聽者相對于聲源的相對位置和方向，將雙聲道雙耳聲音合成為輸出。

論文從理論上分析了原始波形上l2損耗的不足，并介紹了克服這些局限性的改進損耗。

6、Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime

來自東京大學。

這篇論文分析了過參數(shù)化（overparameterized）的雙層神經(jīng)網(wǎng)絡(luò)回歸問題的平均隨機梯度下降的收斂性。

論文證明，平均隨機梯度下降可以通過利用目標函數(shù)的復(fù)雜性以及與神經(jīng)切線核（NTK）相關(guān)的再生希爾伯特空間（RKHS），在保證全局收斂的前提下，達到極小極大最優(yōu)收斂速度。

7、Rethinking Architecture Selection in Differentiable NAS

來自UCLA、理海大學、Amazon。

可微神經(jīng)結(jié)構(gòu)搜索（differential Neural Architecture Search，NAS）以搜索效率高、搜索過程簡單等優(yōu)點，成為當前最流行的神經(jīng)結(jié)構(gòu)搜索（Neural Architecture Search，NAS）方法之一。

這篇論文分析認為，架構(gòu)參數(shù)的大小，并不一定證明操作對貪心超網(wǎng)絡(luò)（supernet）性能的貢獻效果，并提出了一種可供選擇的、基于擾動的體系結(jié)構(gòu)選擇，直接測量每個操作對貪心超網(wǎng)絡(luò)的影響。

8、Score-Based Generative Modeling through Stochastic Differential Equations

來自斯坦福、谷歌、谷歌大腦。

論文提出了一種基于隨機微分方程（SDEs）的分數(shù)式生成模型框架。其中，SDE通過緩慢注入噪聲，平穩(wěn)地將一個復(fù)雜的數(shù)據(jù)分布轉(zhuǎn)換為一個已知的先驗分布，相應(yīng)的逆時SDE通過緩慢去除噪聲將先驗分布轉(zhuǎn)換回數(shù)據(jù)分布。

逆時SDE只依賴于擾動數(shù)據(jù)分布隨時間變化的梯度場（分數(shù)），引入了預(yù)測-校正框架來糾正離散逆時SDE演化中的錯誤，推導(dǎo)了與SDE相同的分布采樣的等效神經(jīng)ODE，使精確的似然計算成為可能，并提高了采樣效率。

關(guān)于杰出論文獎評選

ICLR 2021杰出論文獎，主要從四個方向來考察論文質(zhì)量：技術(shù)質(zhì)量、影響潛力、是否提出新方向、以及是否解決了重要問題。

今年負責評獎的委員會，成員分別來自Facebook、DeepMind、德州奧斯汀分校、斯坦福大學、微軟等各高校和機構(gòu)。

值得一提的是，雖然ICLR表示：

評分最高的論文也入選了此次獎項。

然而，在這8篇論文中，卻并沒有見到平均分最高的論文身影。

按平均分來看的話，得分最高的論文名為「How Neural Networks Extrapolate： From Feedforward to Graph Neural Networks」，來自MIT、馬里蘭大學、華盛頓大學。

它的論文評分是9、9、8、9，平均分8.75，卻并未入選此次的杰出論文獎。

相比于這篇論文，確實有幾篇入選杰出論文獎的論文，獲得過評委打出的10分。

但這兩篇論文，卻都收到過其他評審6、7分的打分，例如（9、6、6、10）和（7、10、7、7）等。

從打10分的評委評價來看，都是覺得這幾篇論文“提出了開創(chuàng)性的觀點”。

相比之下，評審在給MIT這篇論文打分時用得更多的評價是“有見解、有意思”。

關(guān)于ICLR

ICLR（International Conference on Learning Representations）又名“國際學習表征會議”，2013年舉辦第一屆，由Yoshua Bengio和Yann LeCun牽頭創(chuàng)辦。

雖然創(chuàng)立時間較晚，但相比于其他頂會，ICLR推行Open Review公開評審制度，所有論文都會公開學校、姓名等信息，并接受所有同行的評價及提問。

在公開評審結(jié)束后，作者也能夠?qū)φ撐倪M行調(diào)整及修改。

值得一提的是，ICLR歷年會議都只評選過最佳論文獎（Best Papers），今年應(yīng)該是ICLR首次增加杰出論文獎。

這次ICLR 2021評選的杰出論文獎，國內(nèi)并沒有高校和研究機構(gòu)入選，但有3篇論文的1作為華人作者。

對論文內(nèi)容感興趣的話，可以戳下方鏈接查看~

ICLR 2021杰出論文獎：

https://iclr-conf.medium.com/announcing-iclr-2021-outstanding-paper-awards-9ae0514734ab

參考鏈接：

［1］https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007

［2］https://openreview.net/group？id=ICLR.cc/2021/Conference

編輯：jq