一篇“4, 4, 3”的論文竟被錄?。窟@屆ICLR評(píng)審又出怪事。作者回復(fù)理直氣壯，領(lǐng)域主席似乎一手遮天，三位評(píng)審據(jù)理力爭(zhēng)，還有匿名“偵探”調(diào)查貢獻(xiàn)……作者有沒(méi)有違反雙盲評(píng)審，更重要的是，這篇論文有沒(méi)有錄取資格？一起來(lái)看。

感謝ICLR，不僅為我們帶來(lái)前沿深度學(xué)習(xí)研究成果，更為我們帶來(lái)茶余飯后無(wú)盡的談資——你猜對(duì)了，又有一出關(guān)于論文錄取的好戲在OpenReiew.net上演。

說(shuō)真的，劇荒的時(shí)候，請(qǐng)登錄OpenReiew.net.

事情是這樣的，一篇評(píng)分為“4，4，3”的論文 (按理說(shuō)處于絕對(duì)被拒的范疇，滿分是10分)，最終竟被AC一人之令決定錄取，圍觀群眾紛紛表示：

既如此，還要匿名評(píng)審干嘛？！

細(xì)看rebuttal更不得了，作者和評(píng)審你來(lái)我往，簡(jiǎn)直不能更精彩：

(評(píng)審1讓作者補(bǔ)充引用兩篇現(xiàn)有論文，作者回復(fù)) 感謝評(píng)論，我們理解你的感受。……我們會(huì)在定稿中加上這兩條引用(不是評(píng)審1提到的那兩篇)。如果還剩有空間的話，我們會(huì)考慮加上你提到的那兩篇論文中的一篇。

(評(píng)審1指出作者關(guān)于某一計(jì)算的理解有誤，此前雙方已就這一點(diǎn)有好過(guò)幾輪爭(zhēng)辯，這一次評(píng)審1的回復(fù)類似“參考文獻(xiàn)[2]第69頁(yè)5.22節(jié)中的定理一可以證明這一點(diǎn)。有關(guān)該理論的證明可參見參考文獻(xiàn)[2]第98頁(yè)附錄C.3等等等等”，作者回復(fù))麻煩請(qǐng)用你自己的話說(shuō)明究竟是為什么。

其他還有：

“感謝評(píng)論，但很不幸的是，三位評(píng)審員都沒(méi)有理解或者忽略了我們這項(xiàng)工作的重點(diǎn)。”

“感謝你的詳細(xì)評(píng)論，但我們完全無(wú)法接受。”

Sigh…

是該佩服論文作者有話直說(shuō)呢，還是該感嘆他們有勇無(wú)謀？

一名吃瓜群眾表示，自己一篇“7, 7, 5”的論文都被拒了 (雖然沒(méi)什么好奇怪的)，另一個(gè)人說(shuō)，他還發(fā)現(xiàn)一篇“4，5，6”的論文也被錄取了。

不論如何，這屆ICLR真是叫人愈發(fā)看不懂了……

一篇評(píng)分“4, 4, 3”然而最終竟被錄取的論文

細(xì)說(shuō)故事——哦，不，細(xì)說(shuō)論文之前，我們先來(lái)看看這篇論文究竟寫了什么。

論文的題目是《使用幾何方法將目錄樹編碼到詞嵌入中》。

在這篇論文中，作者提出了一種新的方法，將樹狀結(jié)構(gòu)的category信息隱式編碼到詞嵌入中，從而得到所謂的“超維球狀表示” (super-dimensional ball representation)，簡(jiǎn)稱n-ball embedding。

該方法具有以下兩個(gè)標(biāo)準(zhǔn)：

category之間的從屬關(guān)系應(yīng)隱式地表示為對(duì)應(yīng)的n-balls之間的包含關(guān)系；

對(duì)category關(guān)系的樹結(jié)構(gòu)進(jìn)行精確編碼。也就是說(shuō)，能量損失應(yīng)該為零。

作者在論文中寫道，該研究的貢獻(xiàn)如下：

提出了一種構(gòu)造/訓(xùn)練n-balls的新幾何方法，將樹狀結(jié)構(gòu)的范疇關(guān)系編碼為能量損失為零的n-balls之間的包含關(guān)系;

提出了一種新的相似度測(cè)量方法，既考慮了n-balls的位置，又考慮了n-balls的大小，與實(shí)驗(yàn)中的余弦相似度相比更加精確；

基于Glove創(chuàng)造了一個(gè)新的n-ball embedding基準(zhǔn)數(shù)據(jù)集，從WordNet 3.0中提取目錄樹，可免費(fèi)訪問(wèn)。

論文還開放了源代碼和數(shù)據(jù)集:

https://github.com/gnodisnait/nball4tree.git

https://github.com/gnodisnait/bp94nball.git

到這里為止似乎沒(méi)什么問(wèn)題。公開代碼和數(shù)據(jù)集原本是很好的舉動(dòng)，但這也為后面的口水戰(zhàn)埋下了伏筆。

一場(chǎng)意想不到的rebuttal大戰(zhàn)上演了。

三位審稿人“堅(jiān)決拒絕”，領(lǐng)域主席說(shuō)“可以錄取”

先來(lái)看三位評(píng)審員對(duì)論文的評(píng)價(jià)。

審稿人1

更新：注意!!! 此文包含與作者相關(guān)帳戶的Github和Google Drive鏈接（請(qǐng)參閱摘要）。我認(rèn)為這是投稿規(guī)則不允許的，不符合標(biāo)準(zhǔn)。為此，我在具體審稿意見中給出“自動(dòng)拒絕”的意見。

------------------------------------------------

本文提出了一種方法，用于調(diào)整category對(duì)象（如單詞）的現(xiàn)有向量嵌入，將其轉(zhuǎn)換為遵循層次結(jié)構(gòu)的球嵌入。每個(gè)類別在高維空間中表示為歐幾里得標(biāo)準(zhǔn)球，其中心和半徑可以根據(jù)數(shù)據(jù)實(shí)現(xiàn)自適應(yīng)。接下來(lái)，基于分層結(jié)構(gòu)給出對(duì)每對(duì)球的包含和排除約束。這些約束是通過(guò)算法強(qiáng)加上去的。實(shí)證研究部分包括觀察表示與層次結(jié)構(gòu)的一致性，并展示了一組單詞的最近臨域。

從積極的方面來(lái)說(shuō)，本文解決了一個(gè)重要問(wèn)題。具有一定可讀性和條理。在相關(guān)研究部分，可以增補(bǔ)一些代表性的研究，如本意見末的[3,4]。

該論文的主要關(guān)注點(diǎn)是文中提出方法的原創(chuàng)性。使用高維球?qū)哟谓Y(jié)構(gòu)進(jìn)行編碼，并將包含和排除編碼作為對(duì)這些球的約束，從建模角度來(lái)看，這是一個(gè)簡(jiǎn)潔有力的想法。然而，這個(gè)方法并不新，在本意見末尾列出的[1和2的第5章]中已經(jīng)構(gòu)建了這種方法。

另一個(gè)主要問(wèn)題是關(guān)于嵌入質(zhì)量的評(píng)估。經(jīng)驗(yàn)評(píng)估不足以評(píng)估調(diào)整后嵌入的質(zhì)量。相反，定量評(píng)估更關(guān)心的是嵌入是否與給定的層級(jí)結(jié)構(gòu)相一致。特別是，文中并沒(méi)有足夠的定量證據(jù)表明，所提出的嵌入在語(yǔ)義捕捉或預(yù)測(cè)任務(wù)方面的有效性。

應(yīng)當(dāng)注意的是，一方面，在理論上是可以實(shí)現(xiàn)可行解決方案與層級(jí)的一致性的（參見例[1]）。3.2節(jié)的第一段似乎表述不清或存在錯(cuò)誤。文末的索引[2]中給出了基于梯度的問(wèn)題解決方案的正確表述。

最后，本文使用算法，而非用于構(gòu)建嵌入的學(xué)習(xí)方法，使得該方法與ICLR會(huì)議的主題沒(méi)有直接關(guān)聯(lián)。

總之，綜上所述，我的意見是拒絕錄取。（本文在匿名化上做得很糟糕，更是應(yīng)予拒稿的有力證據(jù)。）

[1] Mirzazadeh, F., Ravanbakhsh S., DingN., Schuurmans D., "Embeddinginference for structured multilabel prediction", NIPS 2015.

[2] Mirzazadeh, F."Solving AssociationProblems with Convex Co-embedding", PhD thesis, 2017. (Chapter 5)

[3] Vilnis, Luke, and Andrew McCallum."Word representations via gaussian embedding.", ICLR 2015.

[4] Vendrov, I., Kiros, R., Fidler, S.,Urtasun, R. "Order-embeddings of images and language." ICLR 2016.

評(píng)分：4 還可以，但不夠好，拒絕

信心：5 審稿人絕對(duì)肯定以上評(píng)估是正確的，并且非常熟悉相關(guān)文獻(xiàn)

審稿人2

評(píng)審意見：本文著重于調(diào)整預(yù)訓(xùn)練詞嵌入，以便通過(guò)適當(dāng)?shù)膎-ball封裝來(lái)解決上位詞/下位詞關(guān)系。本文建議通過(guò)來(lái)自Wordnet等資源，為詞嵌入增補(bǔ)信息，并使用3種幾何變換來(lái)強(qiáng)制執(zhí)行該封裝。

這樣做的動(dòng)機(jī)目前來(lái)看并不是很清楚，實(shí)驗(yàn)結(jié)果主要是定性的主觀表述，稱通過(guò)調(diào)整可以預(yù)測(cè)和保持上位詞關(guān)系。由于這項(xiàng)工作依賴于Wordnet的資源，詞匯的覆蓋范圍非常有限，作者在“實(shí)驗(yàn)3：方法2”一節(jié)中對(duì)結(jié)果進(jìn)行討論時(shí)，不得不從標(biāo)準(zhǔn)語(yǔ)義相似性數(shù)據(jù)集中刪去許多單詞，給文中提出的方法的有用性蒙上了一層陰影。目前尚不清楚這種方法的主要貢獻(xiàn)是什么。

除此之外，該論文難以閱讀，并且文中某些部分（特別是與圖3有關(guān)的部分）在將簡(jiǎn)單概念進(jìn)行復(fù)雜化表述。

總的來(lái)說(shuō)，我給出4分的評(píng)分，因?yàn)槲闹蟹椒ǖ倪m用范圍有限，因?yàn)樵摲椒ㄒ蕾囉赪ordnet，而且沒(méi)有足夠的經(jīng)驗(yàn)證據(jù)證明這種方法的有用性。

評(píng)分：4 還可以，但不夠好，拒絕

信心：4 審稿人有信心，但并不能絕對(duì)肯定以上評(píng)估的正確性。

審稿人3

評(píng)審意見：本文提出了用于分類數(shù)據(jù)的N-ball嵌入。N-ball是一對(duì)質(zhì)心向量，距中心的半徑代表一個(gè)單詞。

主要評(píng)價(jià)：

本文的缺點(diǎn)是缺乏與其他重要研究的實(shí)驗(yàn)比較。

最近提出的Poincare嵌入和Lorentz模型，在hypernymy嵌入中表現(xiàn)出良好的預(yù)測(cè)性能。

實(shí)際上，WordNet的概念是在DAG中構(gòu)建的，最近對(duì)結(jié)構(gòu)嵌入的研究可以處理DAG數(shù)據(jù)。目前尚不清楚如何通過(guò)擴(kuò)展N-ball嵌入來(lái)處理DAT結(jié)構(gòu)。

沒(méi)有充分描述相關(guān)工作。

目前尚不清楚為什么N-ball嵌入適用于分層結(jié)構(gòu)。

評(píng)分：3 堅(jiān)決拒絕

信心：4 審稿人有信心，但并不能絕對(duì)肯定以上評(píng)估的正確性

看完上述三位評(píng)審人的評(píng)價(jià)，再來(lái)看領(lǐng)域主席的決定。

AC：

審稿意見：作者提供了一種有趣的方法，可以將分層信息注入現(xiàn)有的單詞向量中。這可能有助于處理需要知識(shí)庫(kù)信息和文本共現(xiàn)計(jì)數(shù)的各種任務(wù)。

盡管審稿人指出了本文的一些缺點(diǎn)，但我認(rèn)為這可能只是沒(méi)有將符號(hào)信息/集/邏輯/KB與神經(jīng)網(wǎng)絡(luò)聯(lián)系起來(lái)造成的問(wèn)題，因此我建議會(huì)議接收本文。

信心：4 AC確信本文可以接收，但不完全確定。

意見：接收

對(duì)此你有什么看法？

新智元引用Reddit一位用戶的評(píng)價(jià)：

Area chair decided he/she knows better.

深度學(xué)習(xí)研究者中的一股清流，還是泥石流？？？

具體的rebuttal在文章開始已經(jīng)說(shuō)過(guò)，這里就不一一描述了，總之絕對(duì)精彩，欲知詳情可點(diǎn)擊“閱讀原文”。

現(xiàn)在，由于錄取結(jié)果已定，論文的作者信息也已經(jīng)公開，如此“直言不諱”的一作，究竟是何方神圣？

Tiansi Dong，波恩大學(xué)

論文的第一作者Tiansi Dong博士是德國(guó)波恩大學(xué)Bonn-Aachen信息技術(shù)國(guó)際中心(B-IT)人工智能基礎(chǔ)研究小組的成員，主要研究領(lǐng)域包括人工智能、深度學(xué)習(xí)和知識(shí)圖譜。

Tiansi Dong博士是一位高產(chǎn)的作者，2018年以來(lái)已在ICLR、AAAI、EMNLP、COLING等AI、NLP的重要會(huì)議上發(fā)表5篇論文。

Tiansi Dong的最近論文

該論文的其他幾位作者Olaf Cremers、Chrisitan Bauckhage、Armin B. Cremers、Daniel Speicher和Joerg Zimmermann，是Tiansi Dong在波恩大學(xué)的同事，另外兩位作者Hailong Jin和Juanzi Li則來(lái)自清華大學(xué)。

雙盲評(píng)審意外盲點(diǎn)：Github代碼庫(kù)貢獻(xiàn)用戶名“暴露”論文一作

當(dāng)然，關(guān)于這篇論文的評(píng)審和錄取結(jié)果已經(jīng)在Reddit引發(fā)了熱議。

除了“4, 4, 3”還能夠被錄取，Reddit上的爭(zhēng)論重點(diǎn)在于，論文作者公開代碼庫(kù)時(shí)，GitHub上傳貢獻(xiàn)者的用戶名“gnodisnait”，正是一作“Tiansi Dong”反過(guò)來(lái)寫的結(jié)果。

這算違背論文提交匿名機(jī)制了嗎？

Reddit用戶Visible_Layer評(píng)論說(shuō)，

我覺(jué)得關(guān)鍵是作者給出了“非匿名”作者的代碼鏈接。把文章發(fā)到arxiv上沒(méi)問(wèn)題，從文章里給出arxiv的鏈接就有問(wèn)題了。

關(guān)鍵是，要確?！罢\(chéng)實(shí)”的審稿人通過(guò)論文及文中的鏈接資源無(wú)法獲知文章的作者。

Reddit用戶geraltofrivia783：

但是，從“誠(chéng)實(shí)”的審稿人到“好奇”的審稿人之間，其實(shí)只隔了一個(gè)谷歌搜索而已。而審稿人是否使用谷歌搜索不應(yīng)該對(duì)其給出評(píng)分產(chǎn)生影響。

不要誤會(huì)，我完全支持雙盲審稿。事實(shí)上，我最近向NAACL提交了一份意見書，我發(fā)現(xiàn)他們關(guān)于匿名化政策就很好。

? 他們說(shuō)，如果你要將提交在arXiv上的論文重新投稿，則該文章在arXiv上的提交日期必須在NAACL摘要截止日期至少前一個(gè)月。我認(rèn)為，這仍然留下了提交給NAACL論文和arXiv上論文作者存在差異的可能性。（ICLR可能也有類似的規(guī)定）

? 現(xiàn)在有很多匿名上傳代碼和數(shù)據(jù)的方法。這一點(diǎn)很有幫助，因?yàn)椴挥迷谀涿撐陌姹局刑砑?github/gdrive的鏈接了。

Visible_Layer：

所以說(shuō)這篇文章才違反了匿名政策啊，畢竟有許多方法可以匿名上傳代碼和相關(guān)材料（幾乎不用費(fèi)什么事?。髡哌€是上傳到了自己的個(gè)人賬戶。

無(wú)論一項(xiàng)政策的“公平”程度如何，都是政策，而作者確實(shí)違反了政策。

說(shuō)到這里，新智元相信你也已經(jīng)看累了，就讓我們用Reddit用戶DeusExML的評(píng)論收尾吧。

看上去這個(gè)審稿流程簡(jiǎn)直就是人際溝通技能的一場(chǎng)災(zāi)難級(jí)展示！

一開始作者信誓旦旦地說(shuō)Github資源庫(kù)是匿名的，結(jié)果就被人石錘了，原來(lái)這個(gè)“匿名”資源庫(kù)用的是作者自己的真名，之后作者是這么回復(fù)的：“你(匿名評(píng)論人)偵查工作的成果(指Github庫(kù)貢獻(xiàn)者用戶名)是幾個(gè)對(duì)本研究沒(méi)什么署名要求的人，可能是來(lái)自本校或合作院校的碩士生，主要是幫著收集數(shù)據(jù)?！?/p>

哈哈，你看露餡了吧。雖然你們干了活，但我們根本沒(méi)打算讓你們署名?。?/p>