近日，各大頂會評審風(fēng)波不斷，可謂民意洶涌。Nature發(fā)表文章稱，我國國家自然科學(xué)基金委員會正在利用AI來選擇匹配評審人。那么這套系統(tǒng)是否能夠做到省時(shí)省力又無偏見呢？讓我們來一探究竟。

同行評審飽受爭議，要不試試AI？

最近，人工智能頂會IJCAI 19遭眾多網(wǎng)友猛烈抨擊：審稿不專業(yè)、學(xué)生審稿、review寥寥幾句、打分看心情。被網(wǎng)友評價(jià)為“審稿宇宙最爛”。

微博用戶評論

連大會程序主席Sarit Kraus也被迫站出來作解釋：

由于論文數(shù)量太多，審稿人數(shù)量不足，時(shí)間也頗為緊迫，只能在現(xiàn)有條件下盡力把控審稿流程。對于作者們反映的審稿過程瑕疵、公平性不足、隨機(jī)性太強(qiáng)等問題表示理解。

那么，為什么不試試AI呢？

文章地址：

https://www.nature.com/articles/d41586-019-01517-8

昨日，Nature發(fā)表文章稱，中國國家自然科學(xué)基金委員會(NSFC)正在建立一個(gè)更加復(fù)雜的系統(tǒng)，該系統(tǒng)將利用自然語言處理技術(shù)抓取在線科學(xué)文獻(xiàn)數(shù)據(jù)庫和科學(xué)家的個(gè)人網(wǎng)頁，收集潛在評審人員的出版物或研究項(xiàng)目的詳細(xì)信息。

國家自然科學(xué)基金委負(fù)責(zé)人李靜海表示，該系統(tǒng)將使用文本的語義分析來比較資助申請和潛在評審人信息，并確定最佳匹配。

這個(gè)工具可以選擇研究人員來審查資助申請，讓這個(gè)過程更有效、更快、更公平。一些研究人員表示，NSFC采用的方法是世界領(lǐng)先的，但其他人對AI能否改善這一過程持懷疑態(tài)度。

AI加持同行評審：省時(shí)省力，也可減少偏見，外國正在效仿

上個(gè)月在杭州召開的學(xué)術(shù)交流會議上，國家自然科學(xué)基金前負(fù)責(zé)人楊衛(wèi)介紹了試點(diǎn)數(shù)據(jù)。該工具的試用版本從去年獲批資助項(xiàng)目的近44000個(gè)專家組中各選擇至少1位專家，每個(gè)專家組由3~7人組成。楊衛(wèi)說，該系統(tǒng)已經(jīng)減少了行政人員尋找評審專家的時(shí)間。他說，今年也將采用類似的方法來選擇評審專家。

節(jié)省時(shí)間

歐洲最大的基礎(chǔ)研究機(jī)構(gòu)法國國家科學(xué)研究中心國際合作部主任Patrick Nédellec說，中國國家自然科學(xué)基金委員會已經(jīng)成為改革資助審查程序的全球領(lǐng)導(dǎo)者。Nedellec在去年9月的一次會議上討論了國家自然科學(xué)基金的改革計(jì)劃，他說，因?yàn)樯暾埢鸬臄?shù)量不斷增加，NSFC已經(jīng)被迫進(jìn)行了創(chuàng)新。

“壓力如此之大，中國別無選擇，只能尋找最好的辦法，”他表示。

在過去的五年里，國家自然科學(xué)基金收到的申請數(shù)量以每年約10%的速度增長。2018年，該機(jī)構(gòu)評審了22.5萬份資助申請，幾乎是美國國家科學(xué)基金會收到的6倍。李靜海說，國家自然科學(xué)基金委正在努力處理申請并尋找合適的評審人員?！疤魬?zhàn)在于沒有足夠的人手，”他表示：“AI會解決這個(gè)問題。”

減少偏見

李靜海還希望這個(gè)工具能夠減少審稿人評審時(shí)的偏見。他說，在中國，科學(xué)家們可能為他們的項(xiàng)目找關(guān)系?！霸u審中的一個(gè)問題是，人們可能走關(guān)系。AI是不會被行賄收買的，”李靜海說。

在其他一些國家，申請者可以推薦由哪位專家審查他們的提案，這也是一個(gè)問題。例如，瑞士國家科學(xué)基金會發(fā)現(xiàn)，由申請者推薦的評審員比由基金會選擇的評審員更有可能支持這個(gè)項(xiàng)目。

國家自然科學(xué)基金委的試點(diǎn)AI系統(tǒng)目前僅適用于中文網(wǎng)站，但李靜海希望它將來也能夠抓取英文網(wǎng)站。

維也納理工大學(xué)的科學(xué)政策顧問Manfred Horvat表示：“國家自然科學(xué)基金委的改革計(jì)劃雄心勃勃、具有前瞻性和全面性。”Horvat去年9月也聽過李靜海的演講。

其他國家也在效仿中國。上個(gè)月，挪威研究委員會開始使用自然語言處理技術(shù)，將大約3000份研究提案分組，并將它們與最佳評審小組進(jìn)行匹配。

在接受《國家科學(xué)評論》((National Science Review，NSR)專訪時(shí)，李靜海院士表示：

在其他國家有一些智能系統(tǒng)的雛形，但還沒有過一個(gè)完整的系統(tǒng)。比如在一些期刊的投審稿系統(tǒng)中，已經(jīng)可以通過關(guān)鍵詞匹配來判斷特定的專家是否適合審稿，也可以提供審稿人的既往評審數(shù)據(jù)。

而我們希望能做得更多更好更嚴(yán)格。將要建成的系統(tǒng)可以對評審人的既往研究工作、發(fā)表過的文章等進(jìn)行分析，通過語義理解比對，與基金申請書進(jìn)行匹配，找到在專業(yè)上合適的專家，同時(shí)結(jié)合信譽(yù)數(shù)據(jù)，遴選出最適合的評審人。

評審人的選擇在基金評審中舉足輕重，是世界各國科學(xué)基金資助機(jī)構(gòu)共同關(guān)心的問題?，F(xiàn)在，申請人常常不信任機(jī)器的選擇，而單純依靠人為選擇也同樣可能影響公正性。我們希望能夠利用更先進(jìn)的人工智能技術(shù)，真正解決這個(gè)問題。這方面還需要凝聚科技界全體的智慧。

Frontiers通過AI協(xié)助審稿人和編輯提高效率

高質(zhì)量的同行評審是學(xué)術(shù)出版的基礎(chǔ)，證明研究假設(shè)、方法和結(jié)論的有效性、嚴(yán)謹(jǐn)性和正確性。出版商和審稿人面臨的挑戰(zhàn)是，在不斷增加的稿件提交面前，要保持嚴(yán)格的質(zhì)量標(biāo)準(zhǔn)。

Frontiers(《前沿》系列期刊)在2018年推出下一代通常評審AIRA，試圖解決日益增長的稿件提交量，并更有效地保護(hù)稿件和同行評審質(zhì)量。

Frontiers聲稱，AIRA使用內(nèi)部自定義算法，同時(shí)使用iThenticate（CrossRef首創(chuàng)并與iParadigms公司共同開發(fā)出一個(gè)全新的，用于幫助學(xué)術(shù)出版者驗(yàn)證出版文檔原創(chuàng)性的工具）和Ada（一款文字檢查工具）。所有這些都經(jīng)過Frontiers的10年同行評審經(jīng)驗(yàn)的培訓(xùn)和嚴(yán)格測試，并完全融入Frontiers的協(xié)作評審論壇和內(nèi)部流程。

AIRA能夠通過分析稿件質(zhì)量、解釋和傳達(dá)審核流程，以及提供建議和識別潛在審稿人，為編輯、審稿人和內(nèi)部團(tuán)隊(duì)提供協(xié)助，并將通過持續(xù)學(xué)習(xí)不斷優(yōu)化。

上述功能已集成到Frontiers Review Forum和內(nèi)部工作流程中，簡化了投稿人在Frontiers的發(fā)布流程。

Frontiers首席執(zhí)行官兼聯(lián)合創(chuàng)始人Kamila Markram：“技術(shù)不能取代人，而是幫助人們能夠以更有效的方式做出編輯決策。AIRA可以讓我們的編輯、審稿人和內(nèi)部團(tuán)隊(duì)專注于在正確的時(shí)間做對的事并做出關(guān)鍵決策。這加快了審查過程并縮短了發(fā)布時(shí)間，同時(shí)確保了最高質(zhì)量的控制。“

AI致力于兩項(xiàng)關(guān)鍵同行評審任務(wù)

AIRA目前致力于兩項(xiàng)關(guān)鍵的同行評審任務(wù)：質(zhì)量控制和評審員識別。其算法可根據(jù)一系列質(zhì)量測量，快速準(zhǔn)確地評估提交的稿件，包括文本重疊；語言、人體圖像的存在以及其他道德因素。

達(dá)到既定質(zhì)量門檻的人員，將被傳遞給編輯；而任何有潛在問題的人員都會被標(biāo)記，并交由Frontiers的研究誠信和審查運(yùn)營團(tuán)隊(duì)以進(jìn)行進(jìn)一步調(diào)查，并且在解決之前暫停一些審核工作。

AIRA的算法還根據(jù)專業(yè)知識和可用性，來識別潛在的審閱者，并檢查編輯、審閱者和作者之間是否存在潛在的利益沖突。

Frontiers的質(zhì)量和道德高級經(jīng)理MarieSoulière說：“它不僅標(biāo)記有潛在問題的稿件，還會告訴我們需要手動(dòng)檢查的內(nèi)容，從而減少了審查疲勞并使審查更加準(zhǔn)確。AIRA還能夠提醒一些人工難以完成的檢查任務(wù)，例如抄襲。“

想用AI來匹配審稿人？目前可能還不行

但并非所有人都支持AI用在評審過程中。

英國劍橋RAND Europe研究機(jī)構(gòu)的科學(xué)政策專家Susan Guthrie指出，加拿大衛(wèi)生研究院在使用一種用于評審人員選擇的算法時(shí)就遇到了重大挑戰(zhàn)。

這個(gè)機(jī)構(gòu)于2016年聘請了RAND Europe公司對同行評審的研究進(jìn)行meta分析。而得出的結(jié)論有時(shí)可謂是大跌眼鏡：算法有時(shí)會選擇存在利益沖突、不適合或者沒有資格的審稿人。獨(dú)立專家小組的結(jié)論是：

雖然基于算法的匹配聽起來很有吸引力，但在人工智能的這個(gè)階段，它可能實(shí)現(xiàn)的目標(biāo)是有限的。審稿人的選擇必須主要依據(jù)科學(xué)的人類判斷。

威斯康辛州麥迪遜市教育分析公司的政策研究員Elizabeth Pier認(rèn)為，人工智能無法消除選擇偏見。

她擔(dān)心人工智能系統(tǒng)最終會復(fù)制人類判斷中根深蒂固的偏見，而不是避免它們。她建議國家自然科學(xué)基金委員會應(yīng)該做一項(xiàng)研究，將人工智能選擇的審稿人與人類選擇的審稿人進(jìn)行比較。李靜海對此表示，一旦系統(tǒng)建立并運(yùn)行起來，自然科學(xué)基金委可能會考慮這一點(diǎn)。

“偉大的項(xiàng)目”需要時(shí)間的打磨

李靜海計(jì)劃在未來五年推出其他工具，使撥款系統(tǒng)更加公平， 其中包括一個(gè)獎(jiǎng)勵(lì)系統(tǒng)，獎(jiǎng)勵(lì)研究人員進(jìn)行良好、公平和及時(shí)的審查。他說，信用體系的理念是鼓勵(lì)審稿人認(rèn)真對待這份工作并保持專業(yè)度。

斯坦福大學(xué)的統(tǒng)計(jì)學(xué)家John Ioannidis對國家自然科學(xué)基金委員會在繪制提案時(shí)使用客觀、數(shù)據(jù)驅(qū)動(dòng)的工具來選擇評審者的努力表示贊賞。但他認(rèn)為，目前很難評估評審者是否做出了正確的決定。Ioannidis說，一個(gè)想法可能需要幾十年的時(shí)間才能被鑒定是“偉大的”或是“無用的”。

但是李靜海已經(jīng)做好了準(zhǔn)備，他說：“這項(xiàng)任務(wù)不容易實(shí)現(xiàn)，需要在長期的學(xué)習(xí)和測試過程中不斷改進(jìn)?！?/p>

那么親愛的讀者，你贊同利用AI來輔助同行評審嗎？