因?yàn)閹讉€(gè)美元字符，系統(tǒng)將一只標(biāo)準(zhǔn)貴賓犬識別為“小豬存錢罐”。

近日，非盈利式人工智能機(jī)構(gòu)OpenAI的研究人員發(fā)現(xiàn)，他們最先進(jìn)的計(jì)算機(jī)視覺系統(tǒng)輕而易舉的就被簡單的一些工具忽悠了。簡單的工具是什么？就是一支筆和一張紙。

實(shí)驗(yàn)發(fā)現(xiàn)，在研究人員拿筆在紙上寫下單詞“iPod”，并將該紙條貼在一個(gè)澳洲青蘋果的表面上，隨即CLIP系統(tǒng)沒有“認(rèn)出”青蘋果，而是將它識別為“iPod”。作為對比，在沒有粘貼紙條的實(shí)驗(yàn)中，系統(tǒng)識別結(jié)果準(zhǔn)確性超過了85%。

在另一個(gè)實(shí)驗(yàn)中，研究人員只是在照片中的標(biāo)準(zhǔn)貴賓犬身上加上了幾個(gè)美元符號，最終系統(tǒng)也識別失敗，識別成“小豬存錢罐”。

這是為什么？

研究人員將這種攻擊稱作“文本攻擊”，基于模型強(qiáng)大的讀取文本的能力，即便是手寫文字的照片，也能夠做到“欺騙”模型。其中的核心在于CLUP的“多模態(tài)神經(jīng)元”，后者能夠?qū)ξ矬w的照片，以及草圖和文本做出反應(yīng)。他們指出，這類攻擊類似于蒙騙計(jì)算機(jī)視覺系統(tǒng)的“對抗性圖像”，但是制作上卻簡單得多。

據(jù)悉，CLIP旨在探索人工智能系統(tǒng)如何通過在龐大的圖像和文本對的數(shù)據(jù)庫上進(jìn)行訓(xùn)練，學(xué)會在沒有密切監(jiān)督的情況下識別物體。

本月初，針對CLIP的“多模態(tài)神經(jīng)元”的表現(xiàn)，OpenAI的研究人員已經(jīng)發(fā)表了一篇新的論文進(jìn)行闡述。他們發(fā)現(xiàn)“多模態(tài)神經(jīng)元”——機(jī)器學(xué)習(xí)網(wǎng)絡(luò)中的單個(gè)組件，不僅能對物體的圖像作出反應(yīng)，還能對素描、漫畫和相關(guān)文本做出反應(yīng)，類似單個(gè)腦細(xì)胞對抽象的概念而不是具體的例子做出反應(yīng)。

只不過，相較于人類，該系統(tǒng)目前還處于初級階段，也因此具備一定的危險(xiǎn)性。針對這一點(diǎn)，研究人員也表明，他們已經(jīng)可以騙過特斯拉自動(dòng)駕駛汽車的軟件系統(tǒng)，只需要在道路上放置一些貼紙，汽車便會在不發(fā)出警告的情況下改變車道。
編輯：jq