盡管人工智能（AI）技術(shù)領(lǐng)域在最近取得了進(jìn)步，但它依然在大多數(shù)基本應(yīng)用上暴露出很多問題。

在一項新的研究中，科學(xué)家們對四個頂級人工智能系統(tǒng)的仇恨言論檢測能力進(jìn)行了測試，他們發(fā)現(xiàn)所有系統(tǒng)在識別惡意、以及無害言論上都存在著不同程度的問題。

這一結(jié)果并不令人吃驚，因為構(gòu)建可以理解自然語言細(xì)微差異的人工智能是一件非常困難的工作。然而，研究人員們診斷問題的方式卻是非常重要的。

為了更加精確地找出系統(tǒng)故障的原因，研究人們針對仇恨言論的方方面面制定了 29 種不同的測試，這會讓我們更容易地去了解克服系統(tǒng)缺陷的方法。同時，這些測試也正在幫助一項商業(yè)服務(wù)提升其人工智能的性能。

由牛津大學(xué)以及阿蘭?圖靈研究所科學(xué)家所領(lǐng)銜的論文作者們，對 16 家監(jiān)管網(wǎng)絡(luò)仇恨言論的非營利組織的雇員進(jìn)行了采訪。

研究團(tuán)隊利用這些采訪將仇恨言論劃分為了 18 個不同的種類，僅側(cè)重于英語以及基于文本的仇恨言論，其中包括貶損用語、詆毀性文字以及威脅性詞匯。

他們還發(fā)現(xiàn)了 11 種經(jīng)常讓人工智能監(jiān)管者產(chǎn)生誤判的不含仇恨情緒的情形，其中包括在不冒犯他人的情況下使用臟話、被目標(biāo)群體所接納的詆毀性詞語，以及引用原始仇恨言論對仇恨言論進(jìn)行譴責(zé)的行為（也被稱為反面論證）。

研究人員針對 29 種不同情況中的每一種編寫了數(shù)十個范例，并且使用了像 “我討厭【某人】” 以及 “對我來說，你就是個【詆毀性詞語】” 這樣的 “模板” 語句，從而為七個受保護(hù)的群體生成相同的范例集合 —— 這些人都受美國法律的保護(hù)而不會遭到歧視。研究人員對被稱作 HateCheck 的最終數(shù)據(jù)集進(jìn)行了開源處理，該數(shù)據(jù)集中共含有近 4000 個范例。

之后，研究人員又對兩項受歡迎的商業(yè)服務(wù)進(jìn)行了測試：谷歌和 Jigsaw 的 Perspective AI、以及 Two Hat 的 SiftNinja。這兩個服務(wù)都允許客戶標(biāo)記出帖子以及評論中帶有仇恨色彩的內(nèi)容。

Perspective 的用戶包括 Reddit 以及像《紐約時報》、《華爾街日報》這樣的新聞機(jī)構(gòu)，根據(jù)其所處理的有害信息，人工智能服務(wù)會對帖子以及評論進(jìn)行標(biāo)記，以供人工審查使用。

SiftNinja 的檢測標(biāo)準(zhǔn)過于寬松，進(jìn)而沒有識別出幾乎所有的變化，而 Perspective 的標(biāo)準(zhǔn)則過于嚴(yán)格。它檢測出了 18 個仇恨種類中的大部分，但同時也標(biāo)記出了許多像被接納的詆毀性詞語以及反面論證這樣的不含仇恨情緒的情況。

研究人員在測試谷歌的兩個學(xué)術(shù)模型時也發(fā)現(xiàn)了相同的模式，這些模型代表了業(yè)界中頂級的語言人工智能技術(shù)，它們同時也是其它商業(yè)性內(nèi)容審核系統(tǒng)的基礎(chǔ)。學(xué)術(shù)模型還顯示出，受保護(hù)群體之間的表現(xiàn)并不相同 —— 有些群體的仇恨程度比其它群體更容易被錯誤歸類。

測試結(jié)果指明了當(dāng)今人工智能仇恨言論檢測方面最具挑戰(zhàn)性的一個方面：審核太少，沒法解決問題；而審核太多，就會刪除掉邊緣化群體用來強(qiáng)調(diào)和保護(hù)自己的話語。

牛津大學(xué)互聯(lián)網(wǎng)研究院的博士候選人保羅·羅特格（Paul R?ttger）是本篇論文的共同作者。羅特格表示，“突然之間，你就會成為那些在仇恨言論中首當(dāng)其沖的群體的懲罰者。”

Jigsaw 的首席軟件工程師露西·瓦瑟曼（Lucy Vasserman）表示，Perspective 利用人工審查來進(jìn)行最終決策，進(jìn)而克服了這些局限性。但是，這種方法無法擴(kuò)展至更加龐大的平臺上。當(dāng)前，Jigsaw 正在開發(fā)一種基于 Perspective 的不確定性的，同時可以對帖子及評論變更優(yōu)先順序的系統(tǒng)。該系統(tǒng)可以自動移除帶有仇恨色彩的內(nèi)容，并將邊緣信息標(biāo)記出來。

瓦瑟曼說道，新研究最令人激動的地方在于，它為這種頂尖技術(shù)提供了一種細(xì)致的評估方式。她還表示，“論文中強(qiáng)調(diào)了的許多東西，例如對那些模型來說是一個挑戰(zhàn)的被人們所接納的詆毀性詞語。我們早就認(rèn)識到了它們的存在，但卻一直很難對其進(jìn)行量化處理?！?目前，Jigsaw 正在使用 HateCheck 來更好地了解自身模型間的差異，以及需要繼續(xù)改進(jìn)的地方。

學(xué)術(shù)界也對此次研究的成果感到興奮。華盛頓大學(xué)語言人工智能研究員馬丁·薩普（Maarten Sap）表示，“這篇論文為我們評估行業(yè)中的系統(tǒng)提供了一個優(yōu)良且干凈的資源，它會讓企業(yè)和用戶不斷地去提升自己的系統(tǒng)?！?/p>

羅格斯大學(xué)社會學(xué)助理教授托馬斯?戴維森托馬斯·戴維森（Thomas Davidson）對此表示認(rèn)同。戴維森表示，語言模型的局限性以及雜亂無章的語言現(xiàn)象意味著，人們總會在識別仇恨言論的過程中對過松或過緊的問題進(jìn)行取舍。他還說道，“HateCheck 數(shù)據(jù)集讓這些取舍變得可視化了?！?/p>

-End-

原文：

https://www.technologyreview.com/2021/06/04/1025742/ai-hate-speech-moderation/

編輯：jq