最近，IJCAI 2019可謂是火了一把，直接原因并不是放榜論文錄取結(jié)果，而是評審、打分、rebuttal等環(huán)節(jié)出現(xiàn)了嚴重甚至是可笑的“錯誤”，被拒稿的研究人員通過各種途徑在網(wǎng)絡上描述親身經(jīng)歷，可謂是怨聲載道。程序主席Sarit Kraus發(fā)表公開信，正式做出回應。

IJCAI錄取結(jié)果被吐槽太厲害，主席都出來放話了。

前幾日，國際頂會IJCAI 2019放榜論文錄取結(jié)果：共接收4752篇，錄取率僅為17.9%。相比去年的IJCAI 2018來說，接收論文數(shù)量增加了約37%，但是會錄取率卻反倒降低。

雖然錄取率的降低，會彰顯大會的嚴格或者提高大會的難度，但這次，可能是適得其反了。網(wǎng)友們已經(jīng)在網(wǎng)絡中已然是怨聲載道！

微博用戶評論

讓我們來看一下幾款較為經(jīng)典的拒稿bug。

網(wǎng)友曬經(jīng)歷：評審回復、打分、rebuttal，看了都想笑

審稿不專業(yè)，學生審稿，review意見寥寥幾句

有知乎匿名用戶表示：

中國人太多，審稿人大部分是學生，很多老師連自己要發(fā)表的論文都不會看，更別說看別人的論文了。Rebuttal一般也是從高分改低分，翻盤的可能性不大。

不過能夠中的論文，水平一定不差。

微軟亞洲研究院實習生，知乎ID：“張旭”表示：審稿人不熟悉所在領域，大量剛剛?cè)腴T的學生參與評審并給出意見，無論從能力和態(tài)度上都沒有體現(xiàn)出對原作者的尊重，如果審稿人對論文的領域不熟悉，不應該硬著頭皮強行給出審稿意見。

另一位匿名用戶表示：

打分看心情？

斯坦福大學計算機博士后王鴻偉在知乎上分享了他在本屆IJCAI中的遭遇。

暫不提評審回復的大bug，光是評分就已經(jīng)讓其哭笑不得了：“哪位神仙reviewer給評的分??？感謝你對我之前工作的關注啊?！?/p>

無獨有偶，當然還有更加神奇的操作。

rebuttal就是個擺設，關系戶滿天飛

有知乎用戶吐槽：“審稿人審到自己的 paper。會議主席不組織復查。聽到各種審稿內(nèi)幕，頭大。”

來看一下這位少年rebuttal的心路歷程。

兩個#25開頭的reviewer一直到rebuttal結(jié)束都沒有給出審稿意見；

diss作者數(shù)據(jù)集來源不清，于是rebuttal：“我們的數(shù)據(jù)不是隨機生成的，正如http://xx.xxx章節(jié)第n行已經(jīng)提到的......”；

diss作者k-means的計算過程沒有寫，于是rebuttal：“原文yy.yyy章節(jié)第m行引用了原文，并在第zz.zzz章節(jié)第k行給出了計算中心點公式”，并且作者表示，如此經(jīng)典的方法竟然需要做那么詳細的介紹，震驚！

但無論如何rebuttal，結(jié)果還是擺脫不了被拒絕的命運。但是這幾個評審回復開起來是那么的可笑，即便給出了合情合理的rebuttal，依舊起不到什么作用。

如此看來，rebuttal=no rebutal了。

不過也有投稿者對評審表示肯定，知乎用戶“李冠岳”說：

對于大家吐槽的 review 有多不專業(yè)，我們的 review 都特別負責。review們的意見都非常有建設性，特別是那個 3 分的review，因為這個反饋，我們對我們后續(xù)的工作也有了更加清晰的認識了。今年接近 5000 篇接收 850 篇，17% 左右的接受率，我認為這個會議還是不會太水。當然我也期待能看到所有的 accepted papers 后再做出一個跟公正的判斷。

他的論文被IJCAI 2019接收了，meta-review 給的分數(shù)是6分，其他三個review 的分數(shù)是 3 分、7 分、7 分。

民意洶涌，IJCAI程序主席發(fā)公開信回應

凡此種種，讓被拒稿的作者們?nèi)呵榧?，他們紛紛致信大會程序主席Sarit Kraus表達自己的不滿。審稿結(jié)果公布后，本想放松一下的她忽然發(fā)現(xiàn)麻煩并沒有結(jié)束，可能才剛剛開始。

上周五，Sarit Kraus發(fā)表一封公開信回應此次IJCAI風波。她在信中承認由于論文數(shù)量太多，審稿人數(shù)量不足，時間也頗為緊迫，她只能在現(xiàn)有條件下盡力把控審稿流程。對于作者們反映的審稿過程瑕疵、公平性不足、隨機性太強等問題表示理解。

關于未來解決這一問題，她提出應該進一步重視期刊，把期刊建設好，學術(shù)會議作為對學者是否升職、是否獲得研究經(jīng)費的評估標準已經(jīng)不太適合了。最后她號召大家進一步集思廣益，有什么新想法都可以提。

IJCAI 2019 程序主席Sarit Kraus

以下是公開信原文：

當我周五發(fā)出通知消息時, 我很高興終于結(jié)束了長達6個月多的IJCAI審稿流程。另一方面,我也感到很難過, 因為我的意見，850篇獲得接受意見的論文作者們非常高興, 但也讓3902篇被拒稿的論文作者感到非常不安和惱火。

雖然我本人有很多論文被一些備受關注的學術(shù)會議接收, 但我收到的拒稿信比你們大多數(shù)人都要多。因此, 你們對審稿過程、公平性、隨機性太強的任何質(zhì)疑, 我這些年來其實都感同身受。我要感謝沒有給我發(fā)投訴郵件的所有作者, 我會對少數(shù)向我發(fā)送投訴信的作者留言進行回復。盡管乍一看這可能不會改變已經(jīng)做出的決定。

此次審稿中，我已在盡力降低評議過程的隨機性，減少每位 PC 和 SPC 收到的論文數(shù)量, 增加審稿時間,并盡力招募優(yōu)秀的 acsmscc/pc 和其他審稿人員。他們幾乎都做得很不錯, 對此我非常感謝。然而, 面對向本次大會總共提交的4752篇論文, 審稿任務是極其困難的。我認為, 我們需要對經(jīng)嚴格審稿的學術(shù)會議的概念進行重新思考和創(chuàng)新。

我堅信, IJCAI會議是聽取新想法、與其他研究人員見面和討論研究的活動。我的最優(yōu)秀的項目是最初都是在學術(shù)會議上發(fā)表的。我認為目前學術(shù)會議的形式已經(jīng)不再適合用來對學者的研究資助和職位晉升進行評估。我們可以考慮把期刊建設得更好。

目前, 本會議有一條期刊通道——如果一篇文章曾在AIJ 或 JAIR期刊上發(fā)表，而且之前未在其他地方發(fā)表過，即可在IJCAI上發(fā)表。未來我們可以進一步限制每個人允許提交給 IJCAI 的論文數(shù)量, 或者你們有任何其他新想法，我們都會考慮。

總之, 我希望你們大家都能來參加 IJCAI, 不管你們的論文是否被接受。大家仍然可以向 IJCAIworkshops環(huán)節(jié)提交論文, 或者只是來見見朋友, 聽聽有趣而刺激的講座也好。

此致

Sarit Kraus

IJCAI 2019 程序主席

周志華：審稿質(zhì)量控制出問題，可以借鑒AAAI 2019

本屆IJCAI審稿如此多問題，也引起了許多AI領域?qū)＜业年P注。

清華大學副教授、博士生導師劉知遠老師也參與了知乎上的討論，認為“感覺今年IJCAI 2019審稿質(zhì)量控制出了一些問題……有些領域應該沒有很好地完成discussion階段的工作?！?/p>

南京大學人工智能學院院長、AAAI 2019程序委員會主席周志華教授也發(fā)表了意見，他表示：“投稿量到好幾千之后，質(zhì)量控制就變得極為困難，對主席是巨大的考驗?？雌饋斫衲闍AAI的一些做法或許是值得IJCAI借鑒的?！?/p>

周志華教授也將擔任IJCAI 2021的程序委員會主席。

實際上，AI頂會論文評審的專業(yè)性問題絕不是僅在IJCAI 2019爆發(fā)的。隨著AI越來越火，學術(shù)頂會投稿量激增，而相應的合格的審稿人數(shù)量并沒有激增，審稿質(zhì)量控制已經(jīng)成了一大難題。

近3年AAAI和IJCAI會議的投稿量和錄取比率

今年1月舉行的AAAI 2019也被質(zhì)疑審稿人不專業(yè)。

AAAI 2019接收投稿達7095篇之多，錄取率只有16.2%，審稿質(zhì)量控制問題顯然更難。

甚至有投稿人實名致信AAAI 2019程序主席周志華教授，表達自己論文由于“審稿人不專業(yè)”而被拒稿的“遺憾與氣憤”。

當時，自稱國內(nèi)知名高校計算機博導的“李老師”稱，在評審人對論文的審稿及處理意見上，評審及錄用決策存在公正與公平性問題，李老師 “感到非常遺憾與氣憤！覺得太有失公正公平與水準?！?/p>

當時，新智元第一時間聯(lián)系了周志華教授，周志華教授當夜凌晨便給李老師回信，并告訴新智元，“這里面確實涉及到一些關于人工智能領域投稿的審稿觀念問題，但絕對沒有’黑幕’”。

周志華教授強調(diào)，“今年的 AAAI，我們已經(jīng)特別加強了對傳說中的一些不良現(xiàn)象的防范。例如，不再允許審稿人看到全部投稿之后來挑選自己愿意的文章，而只是給 150 篇左右文章供選擇。甚至 SPC 也不讓他們看到所有文章，只是給 300 篇左右文章供選擇。并且 PC 互相看不到身份，也看不到 SPC 的身份。這樣大幅度降低了 “找熟人”“打招呼” 的可能?！?/p>

周志華教授在回信中說：

現(xiàn)在人工智能很熱，幾乎所有做 CS 相關、甚至只要是 IT 相關的研究，都或多或少地能與人工智能找到聯(lián)系。但是，從人工智能領域本身的頂級會議來說，比較傳統(tǒng)的審稿專家會認為，投來的文章應該是對人工智能領域本身有貢獻才合適。事實上，人工智能領域傳統(tǒng)的幾個頂級會議，原本是有很不同的 flavor。近年來很多新人涌入（包括大量新審稿人），對這些傳統(tǒng)文化已不太了解，于是許多會議開始出現(xiàn) “同質(zhì)化” 現(xiàn)象。很可能有與您文章主題類似的文章通過了評審，而審稿人并沒有挑剔這個方面，甚至反而可能認為人工智能在今天就應該 “泛化” 了、只要是用到人工智能技術(shù)就都可以投過來。這些看法見仁見智，很難說哪種看法是對是錯。這可以看作投稿中 “運氣” 成分的一個體現(xiàn)吧。

最后，如果您了解到有損會議公正性的不良現(xiàn)象，建議立即向會議舉報。請相信，任何一個頂級會議的聲譽都是幾十年積累，來之不易，對有損會議聲譽的行為必然會嚴肅處理。

正如周志華教授信中所說，今年的 AAAI，不再允許審稿人看到全部投稿之后來挑選自己愿意的文章，SPC 也不讓他們看到所有文章，PC 互相看不到身份，也看不到 SPC 的身份。此舉大大提高了質(zhì)量控制的效果。

AAAI 2019 采用了更嚴格的盲審制度，能夠減少論文評審過程過招呼找關系的現(xiàn)象。或許這是本屆IJCAI應該借鑒的。