NIPS 2018又出事了：審稿信息泄露，由于論文提交CMT系統(tǒng)的重大漏洞，審稿人可以判斷出單篇論文的姓名和機(jī)構(gòu)，讓雙盲評審失效！不僅如此，本屆NIPS毫無征兆地砍掉了一個歷史悠久的Workshop，加上此前初審結(jié)果怨聲載道，這屆NIPS，真讓人捏一把汗。

如果說2017年的NIPS以一張注冊人數(shù)如火箭沖天般的表格創(chuàng)造了記錄，那么，2018年的NIPS則凸顯了當(dāng)前火熱不退、幾近高燒的人工智能/深度學(xué)習(xí)領(lǐng)域蟄伏的諸多問題。

審稿信息泄露，雙盲評審失效！

8月7日，就在NIPS初審結(jié)果rebuttal進(jìn)行的過程當(dāng)中，有人發(fā)現(xiàn)NIPS 2018的審稿系統(tǒng)出現(xiàn)了嚴(yán)重的信息泄露，本就頗受詬病的評審過程，又一次出現(xiàn)問題。

事情是這樣的，跟其他會議一樣，NIPS 2018也采用MS CMT3系統(tǒng)進(jìn)行論文的提交及審核。

作為這次會議的一位審稿人，sweichwald 發(fā)現(xiàn)該系統(tǒng)服務(wù)器中有一個嚴(yán)重的漏洞，讓“作者/機(jī)構(gòu)/公司”的雙盲性以及由此造成的評審公正和平等遭到破壞：

問題發(fā)生在所有提交論文的列表是不是靜態(tài)的，而是根據(jù)審稿人的域名（也即姓名/機(jī)構(gòu)/公司）在不斷更新。

當(dāng)審稿人輸入域名沖突的信息時，CMT系統(tǒng)會自動過濾掉有域名相沖突的論文；因此，審稿人通過輸入或者不輸入某個域名沖突，再根據(jù)CMT系統(tǒng)給出的兩個論文列表，就能明確哪些論文是屬于哪個域名，換句話說，也就相當(dāng)于能夠知道哪些論文是屬于哪位作者或哪個單位的了。

sweichwald指出，盡管會議規(guī)定采用雙盲評審，但NIPS論文審稿平臺本身允許這樣主動暴露論文提交人姓名和論文所屬機(jī)構(gòu)/公司的做法，而且還能匹配到特定的單篇論文，屬于重大過失（culpable negligence）。

當(dāng)系統(tǒng)存在這樣的漏洞時，很可能被人利用，讓雙盲評審機(jī)制失效。不僅如此，由于知道了論文的所屬機(jī)構(gòu)，某些審稿人很可能有意選擇特定單位的論文進(jìn)行評審，進(jìn)而導(dǎo)致評審結(jié)果出現(xiàn)偏差。

實(shí)際上，sweichwald是在偶然之下發(fā)現(xiàn)了CMT系統(tǒng)的這個漏洞：當(dāng)時，他因?yàn)橥浟?，不小心輸入了一個沖突的域名，結(jié)果發(fā)現(xiàn)返回得到的論文總數(shù)變少了。

于是，他對比了一下名單，找出兩份列表中不同的某篇論文，私底下向一位同事確認(rèn)，在沒有讓對方直接告訴他后者論文題目和摘要的情況下，通過兩人交換的信息，sweichwald完全肯定，他看到的論文就是他同事提交的那一篇。

在寫給NIPS AC的郵件里，sweichwald表示根據(jù)審稿規(guī)定，他重新輸入了正確的域名，同時保證自己不會作為那篇論文的評審。

多人連續(xù)發(fā)現(xiàn)系統(tǒng)漏洞，好在修復(fù)比較及時

除了sweichwald以外，還有多位審稿人也發(fā)現(xiàn)并舉報(bào)了這個系統(tǒng)漏洞，但是卻沒有得到NIPS方面的回復(fù)。

需要指出，這個問題與事先將論文上傳到arXiv等預(yù)印本網(wǎng)站或其他意外泄露身份的情況有著根本的不同：這是存在于整個論文提交和審稿底層系統(tǒng)的問題，而且CMT3系統(tǒng)也被其他1000多個使用雙盲和單盲評審的學(xué)術(shù)會議使用，這就意味著其他會議的評審公正性很可能也遭到了破壞。

根據(jù)CMT官網(wǎng)，2016年，CMT系統(tǒng)已用于1000多個國際會議、研討會和各種其他項(xiàng)目的學(xué)術(shù)論文提交與審核，涉及上萬篇論文和上千名審稿人。使用CMT的會議包括：

國際機(jī)器學(xué)習(xí)大會（ICML）

神經(jīng)信息處理系統(tǒng)進(jìn)展大會（NIPS）

國際人工智能和統(tǒng)計(jì)會議（AISTATS）

人工智能不確定性會議（UAI）

IEEE計(jì)算機(jī)視覺模式識別會議（CVPR）

國際計(jì)算機(jī)視覺會議（ICCV）

歐洲計(jì)算機(jī)視覺會議（ECCV）

亞洲計(jì)算機(jī)視覺會議（ACCV）

英國機(jī)器視覺會議（BMVC）

IEEE國際數(shù)據(jù)工程大會（ICDE）

ACM數(shù)據(jù)管理特別興趣小組（SIGMOD）

超大型數(shù)據(jù)庫國際會議（VLDB）

國際IEEE數(shù)據(jù)壓縮會議（DCC）

IEEE多媒體與博覽國際會議（ICME）

CMT最初是為ACM SIGKDD 1999開發(fā)的。從那時起，CMT經(jīng)歷了幾次重大改進(jìn)和擴(kuò)展，迄今已在數(shù)千個會議中使用過。

5月29日，sweichwald 向NIPS 2018的領(lǐng)域主席和CMT系統(tǒng)管理員匯報(bào)這一系統(tǒng)漏洞。5月31日，NIPS會務(wù)組給出了回復(fù)，表示他們已經(jīng)注意到這個問題，并建議前者在系統(tǒng)完全處理好之后，再將此事公布。

NIPS會務(wù)組的回復(fù)，表示已經(jīng)有多人提醒他們這一漏洞，會盡快修復(fù)系統(tǒng)，并讓sweichwald在事情解決前先不要聲張

8月2日，包括其他使用CMT的會議在內(nèi)系統(tǒng)全部得到修復(fù)。

現(xiàn)在，對于雙盲評審的會議，CMT系統(tǒng)讓任何人都不能更新他們的沖突域名，而審稿人在見到任何論文前，只有一次輸入域名的機(jī)會。

根據(jù)官方反饋，目前沒有發(fā)現(xiàn)其他CS/AI學(xué)術(shù)會議的審稿信息遭到泄露。

砍掉舉辦連續(xù)10年唯一的計(jì)算生物學(xué)Workshop

NIPS 2018的事件還沒說完。

同樣在8月7日，有學(xué)者反映本屆NIPS無故砍掉了ML for Compbio（MLCB）workshop，這是一個有關(guān)機(jī)器學(xué)習(xí)領(lǐng)域中計(jì)算生物學(xué)的研討會，也是NIPS唯一有關(guān)計(jì)算生物學(xué)的研討會，已經(jīng)連續(xù)舉辦了10年，而且2017年的論文提交數(shù)量創(chuàng)下了歷史記錄。

計(jì)算生物學(xué)是生物學(xué)的一個分支。根據(jù)美國國家衛(wèi)生研究所（NIH）的定義，它是指開發(fā)和應(yīng)用數(shù)據(jù)分析及理論的方法、數(shù)學(xué)建模和計(jì)算機(jī)仿真技術(shù)，用于生物學(xué)、行為學(xué)和社會群體系統(tǒng)的研究的一門學(xué)科。

計(jì)算生物學(xué)定義廣泛，是包括計(jì)算機(jī)科學(xué)，應(yīng)用數(shù)學(xué)，動畫，統(tǒng)計(jì)學(xué)，生物化學(xué)，化學(xué)，生物物理學(xué)，分子生物學(xué)，遺傳學(xué)，基因組學(xué)，生態(tài)學(xué)，進(jìn)化，解剖學(xué)，神經(jīng)科學(xué)和科學(xué)可視化的基礎(chǔ)。

諷刺的是，當(dāng)向NIPS提交論文的時候，“Combio”仍然屬于子領(lǐng)域之一。

有人在Twitter上感嘆，究竟有多少學(xué)計(jì)算機(jī)的人知道計(jì)算生物學(xué)與“AI醫(yī)療”或“AI臨床應(yīng)用”是完全不同的概念？

如果說領(lǐng)域日漸凋零也就算了，但正如前文所說，2017年該workshop的論文提交數(shù)量創(chuàng)下了歷史記錄，當(dāng)時workshop參會還排起了長隊(duì)，展示和討論一直很活躍。

由此，Twitter上出現(xiàn)了很多表示遺憾的聲音。

往好處想，這或許也是MLCB自己獨(dú)立出來，成為一個單獨(dú)學(xué)術(shù)會議的機(jī)會。

不然又該怎么辦呢？

新增非洲、拉丁美洲、同性戀和猶太人 AI Workshop

但是，這屆NIPS也不全是壞消息。

根據(jù)“機(jī)器學(xué)習(xí)包容性”這個賬號，本屆NIIPS變得更加包容和多樣——除了此前已有的女性機(jī)器學(xué)習(xí)workshop（WIML），還新增了非洲AI、拉丁美洲AI、同性戀AI 和猶太人AI 這幾個workshop。

NIPS將變得更加包容和多樣，這當(dāng)然是好事一樁。但同時也忍不住讓人去想，或許這就是計(jì)算生物學(xué)workshop被砍掉的原因？

畢竟場地只有那么大，而2017年的NIPS注冊人數(shù)已經(jīng)高達(dá)8500人。

在四川，8000多人因高溫?cái)D進(jìn)泳池。來源：四川在線

當(dāng)然，NIPS 2017上也有寂寞的身影，圖靈獎得主、貝葉斯網(wǎng)絡(luò)之父Judea Pearl的演講聽眾就寥寥無幾。

NIPS 2017圖靈獎得主Judea Pearl落寞的身影。圖片來源：周志華

但是沒問題，現(xiàn)在Judea Pearl也在Twitter等社交網(wǎng)絡(luò)上活躍起來，關(guān)注人數(shù)也漲到9100多，大家對因果學(xué)習(xí)/模型的熱情重新燃起，這次如果他再有講座，應(yīng)該也會座無虛席吧。