“唐馬儒們”這兩年可能正在面臨前所未有的職業(yè)危機(jī)。

這個(gè)因飾演鑒黃師而走紅的角色，激起了大家對(duì)鑒黃這個(gè)職業(yè)的好奇心。南方都市報(bào)就曾對(duì)這個(gè)群體做過(guò)調(diào)查，得出的結(jié)論是：

不知道的以為很黃很刺激，其實(shí)挺辛苦，也挺枯燥。平均下來(lái)一分鐘要瀏覽50個(gè)以上的用戶(hù)、上百?gòu)垐D片，所以盯著電腦都要全神貫注。

這個(gè)最先因“掃黃打非”而被公安部門(mén)設(shè)立的崗位，這些年也成為各大互聯(lián)網(wǎng)公司的“剛需”崗位之一。但近年來(lái)由于 AI 技術(shù)的迅猛發(fā)展，辛苦又枯燥的鑒黃師工作正越來(lái)越多地被 AI 所替代。

近日，阿里就隆重推出了一位“AI 鑒黃師”。

據(jù)羿戓設(shè)計(jì)所了解，阿里AI鑒黃師不僅能鑒別黃片黃圖，連帶有情色信息的語(yǔ)音內(nèi)容都能識(shí)別，甚至無(wú)語(yǔ)義的呻吟聲也能識(shí)別出來(lái)。

為什么需要 AI 鑒黃？

做電商出身的阿里巴巴，使用 AI 鑒黃最先來(lái)自于自身具體業(yè)務(wù)的需求。

“電商業(yè)務(wù)場(chǎng)景中，我們需要對(duì)大量商家的海量圖片進(jìn)行審核，那時(shí)還沒(méi)有 AI 的說(shuō)法，只是用機(jī)器學(xué)習(xí)的方法來(lái)進(jìn)行圖片的鑒別?！毖熍e例，在違規(guī)售賣(mài)的商家中，有些是非惡意的，比如一些受保護(hù)的動(dòng)植物、某些品類(lèi)的刀具甚至藥物等，某些商家不知道這是不能賣(mài)的；還有一些就是“明知故犯”的，比如用色情圖片惡意引流、發(fā)布一些做黑灰產(chǎn)的廣告、色情光盤(pán)網(wǎng)盤(pán)地址等。

隨著商家數(shù)量和圖片數(shù)量的飛速增長(zhǎng)，對(duì)效率更高、成本更低的AI鑒圖就有了剛性需求。

后來(lái)，隨著阿里在電商、大文娛、社交、云計(jì)算、O2O、視頻、直播等領(lǐng)域的不斷拓展，這項(xiàng)需求愈加強(qiáng)烈，凡是有UGC（用戶(hù)產(chǎn)生內(nèi)容）的業(yè)務(wù)，都會(huì)面臨色情低俗風(fēng)險(xiǎn)。在數(shù)據(jù)量和算法技術(shù)有一定積累后，這項(xiàng)技術(shù)也同時(shí)開(kāi)始對(duì)外進(jìn)行輸出，越來(lái)越多的企業(yè)和機(jī)構(gòu)也開(kāi)始使用這項(xiàng)服務(wù)。

雷鋒網(wǎng)發(fā)現(xiàn)，2015年阿里曾推出“綠網(wǎng)”平臺(tái)，其最主要的功能之一就是進(jìn)行色情、廣告等信息的識(shí)別和攔截。薛暉告訴編輯，綠網(wǎng)的這個(gè)功能，當(dāng)年也是阿里云戰(zhàn)略中的一部分，AI 鑒黃的技術(shù)是作為賦能生態(tài)的一部分。

也就是說(shuō)，目前用到 AI 鑒黃的業(yè)務(wù)早已不僅僅是淘寶中的商家，還有千千萬(wàn)萬(wàn)使用阿里云的企業(yè)們，比如，近兩年因涉黃而頗受關(guān)注的多家直播網(wǎng)站。

從存儲(chǔ)需求到鑒別需求，隨著 AI 鑒黃技術(shù)的加入，這項(xiàng)技術(shù)會(huì)讓阿里云爭(zhēng)取到更多的用戶(hù)。

鑒黃需要攻克的三個(gè)關(guān)鍵點(diǎn)

提到人工智能，都會(huì)關(guān)注三個(gè)問(wèn)題：數(shù)據(jù)、算法、算力。

數(shù)據(jù)方面， “AI鑒黃師 ”首先需要有充足的學(xué)習(xí)資料。

薛暉透露，首先他們會(huì)寫(xiě)一些自動(dòng)化爬取圖片的腳本，可以直接到網(wǎng)頁(yè)中相應(yīng)區(qū)域進(jìn)行圖片爬取。目前他們總共瀏覽了近2000家網(wǎng)站，下載了超過(guò)6000萬(wàn)張疑似色情圖片。

但這些圖片僅僅是疑似圖片，還需要進(jìn)行去重，實(shí)際去重后約2300萬(wàn)張圖片，在這之中，需要人工再進(jìn)行標(biāo)識(shí)，最終實(shí)際標(biāo)注了超過(guò)1300萬(wàn)張圖片，而這1300多萬(wàn)張圖片就是最后模擬訓(xùn)練的原始數(shù)據(jù)庫(kù)。

值得注意的是，數(shù)據(jù)標(biāo)準(zhǔn)的制定很重要，因?yàn)樵诓煌瑖?guó)家、不同行業(yè)、不同時(shí)期，對(duì)色情的標(biāo)準(zhǔn)定義不一樣，比如政府網(wǎng)站和直播網(wǎng)站，就會(huì)有不一樣的標(biāo)準(zhǔn)，目前，他們可以給用戶(hù)提供一定的操作空間，用戶(hù)可以根據(jù)自身情況來(lái)對(duì)風(fēng)險(xiǎn)做不同層次的管控，比如他們會(huì)給用戶(hù)很多選項(xiàng)，不同的用戶(hù)可以自身需要來(lái)勾選。

第二個(gè)關(guān)鍵點(diǎn)是算法。

比如，10000 張圖片里面往往有一張屬于色情圖片，但為了識(shí)別出這一張圖片，機(jī)器掃描的成本是10000次，這就需要模型更輕，速度更快。據(jù)薛暉介紹，在算法方面，他們對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了優(yōu)化，并針對(duì)問(wèn)題的特點(diǎn)做了專(zhuān)門(mén)的改進(jìn)，不光有檢測(cè)模型來(lái)攔截風(fēng)險(xiǎn)，還部署了圖像檢索引擎，來(lái)防范突發(fā)的風(fēng)險(xiǎn)。

第三是在算力方面，原來(lái)千萬(wàn)級(jí)別的樣本，GPU機(jī)器單機(jī)單卡的情況下訓(xùn)練時(shí)間要近一個(gè)月，后來(lái)團(tuán)隊(duì)更換了網(wǎng)絡(luò)結(jié)構(gòu)并實(shí)現(xiàn)了多機(jī)多卡訓(xùn)練，將千萬(wàn)級(jí)別樣本的訓(xùn)練時(shí)間控制在一周左右。換句話說(shuō)，面對(duì)同樣數(shù)量的圖片，他們選擇用更多的機(jī)器對(duì)圖片進(jìn)行訓(xùn)練，比如原本需要一周才能訓(xùn)練完的圖片，現(xiàn)在只需要一天，這樣就可以更快的對(duì)模型進(jìn)行優(yōu)化，提高迭代速度。

AI 與人工如何合作？

雖然 AI 鑒黃所發(fā)揮的能力越來(lái)越大，但目前仍然需要人工的干預(yù)。

據(jù)薛暉透露，目前 AI 鑒黃師對(duì)單張圖的判斷準(zhǔn)確率要大于99.5%，通常來(lái)看，AI對(duì)一張圖有三個(gè)判斷：違規(guī)，可疑，正常。

對(duì)于違規(guī)和正常的圖片，他們會(huì)放過(guò)，而對(duì)標(biāo)注為可疑的圖片，則需要人工審核，這部分?jǐn)?shù)據(jù)占比較低，一般小于0.5%。打個(gè)比方，有4億張圖片要審，AI識(shí)別準(zhǔn)確率為99.5%，只有20萬(wàn)張可疑的圖片，需要人工再審核一次。

另外，據(jù)羿戓設(shè)計(jì)了解，由于黑產(chǎn)針對(duì)安全模型也在不斷進(jìn)行對(duì)抗，比如業(yè)內(nèi)很關(guān)注的對(duì)抗學(xué)習(xí)（GAN），明明肉眼看是一張色情圖片，但黑產(chǎn)經(jīng)過(guò)處理可以逃避檢測(cè)。針對(duì)這樣的情況，安全模型也需要不斷進(jìn)行升級(jí)，目前，阿里有跟浙大合作做這方面的研究，之后他們會(huì)公布研究結(jié)果。

在語(yǔ)音識(shí)別這方面，AI也仍需不斷進(jìn)行完善，在當(dāng)天的峰會(huì)中，來(lái)自科大訊飛北京研究院副院長(zhǎng)伍大勇舉了這樣一個(gè)例子，“黑夜總會(huì)過(guò)去，白天總會(huì)來(lái)臨”，這句話本并沒(méi)有什么問(wèn)題，但在系統(tǒng)中一直過(guò)不去，原因是這句話當(dāng)中有“夜總會(huì)”三個(gè)字。

也就是說(shuō)，目前 AI 鑒黃并不能完全取代人工鑒黃，最佳的審核方式是智能為主，人工為輔。由于AI鑒黃師的出現(xiàn)，人工鑒黃師群體會(huì)變少，未來(lái)人工在圖片鑒黃中的工作將主要集中于打標(biāo)和審查可疑圖片。