近日,第19屆XCon安全焦點信息安全技術(shù)峰會于北京舉行,由騰訊安全平臺部孵化的騰訊朱雀實驗室首度亮相公眾視野。據(jù)介紹,該實驗室專注于實戰(zhàn)攻擊技術(shù)研究和AI安全技術(shù)研究,以攻促防,守護(hù)騰訊業(yè)務(wù)及用戶安全。
騰訊安全平臺部負(fù)責(zé)人楊勇表示,當(dāng)前AI已融入各行各業(yè),安全從業(yè)者面臨著更復(fù)雜、更多變的網(wǎng)絡(luò)環(huán)境,我們已經(jīng)看到了網(wǎng)絡(luò)攻擊武器AI化的趨勢,除了框架這樣的AI基礎(chǔ)設(shè)施,數(shù)據(jù)、模型、算法,任何一個環(huán)節(jié)都是攻防的前線。作為安全工作者,必須走在業(yè)務(wù)之前,做到技術(shù)的與時俱進(jìn)。
會上,騰訊朱雀實驗室高級安全研究員nEINEI分享了一項AI安全創(chuàng)新研究:模擬實戰(zhàn)中的黑客攻擊路徑,擺脫傳統(tǒng)利用“樣本投毒”的AI攻擊方式,直接控制AI模型的神經(jīng)元,為模型“植入后門”,在幾乎無感的情況下,可實現(xiàn)完整的攻擊驗證。
這也是國內(nèi)首個利用AI模型文件直接產(chǎn)生后門效果的攻擊研究。該手法更貼近AI攻擊實戰(zhàn)場景,對于喚醒大眾對AI模型安全問題的重視、進(jìn)行針對性防御建設(shè)具有重要意義。
騰訊朱雀實驗室具體展示了三種“空投木馬”形式的AI模型高階攻擊手法。
首先是“AI供應(yīng)鏈攻擊”,通過逆向破解AI軟件,植入惡意執(zhí)行代碼,AI模型即變?yōu)榇筇枴澳抉R”,受攻擊者控制。如被投放到開源社區(qū)等,則可造成大范圍AI供應(yīng)鏈被污染。
騰訊朱雀實驗室發(fā)現(xiàn),模型文件載入到內(nèi)存的過程中是一個復(fù)雜的各類軟件相互依賴作用的結(jié)果,所以理論上任何依賴的軟件存在弱點,都可以被攻擊者利用。這樣的攻擊方式可以保持原有模型不受任何功能上的影響,但在模型文件被加載的瞬間卻可以執(zhí)行惡意代碼邏輯,類似傳統(tǒng)攻擊中的的供應(yīng)鏈投毒,但投毒的渠道換成了AI框架的模型文件。
原始模型
加入惡意代碼的模型
其次是“重構(gòu)模型后門”,通過在供給端修改文件,直接操縱修改AI模型的神經(jīng)元,給AI模型“植入后門”,保持對正常功能影響較小,但在特定trigger觸發(fā)下模型會產(chǎn)生定向輸出結(jié)果,達(dá)到模型后門的效果。
“后門攻擊”是一種新興的針對機器學(xué)習(xí)模型的攻擊方式,攻擊者會在模型中埋藏后門,使得被感染的模型(infected model) 在一般情況下表現(xiàn)正常。但當(dāng)后門觸發(fā)器被激活時,模型的輸出將變?yōu)楣粽哳A(yù)先設(shè)置的惡意目標(biāo)。由于模型在后門未被觸發(fā)之前表現(xiàn)正常,因此這種惡意的攻擊行為很難被發(fā)現(xiàn)。
騰訊朱雀實驗室從簡單的線性回歸模型和MNIST開始入手,利用啟發(fā)算法,分析模型網(wǎng)絡(luò)哪些層的神經(jīng)元相對后門特性敏感,最終驗證了模型感染的攻擊可能性。在保持模型功能的準(zhǔn)確性下降很小幅度內(nèi)(~2%),通過控制若干個神經(jīng)元數(shù)據(jù)信息,即可產(chǎn)生后門效果,在更大樣本集上驗證規(guī)模更大的網(wǎng)絡(luò)CIFAR-10也同樣證實了這一猜想。
相比投毒,這種攻擊方式更為隱蔽,在攻擊端直接操縱修改AI模型的同時,還能將對模型正常功能的影響降至最低,只有在攻擊者設(shè)定的某個關(guān)鍵點被觸發(fā)時,才會扣下攻擊的扳機。
(標(biāo)準(zhǔn)的CIFAR-10分類) CIFAR-10 是一個包含60000張圖片的數(shù)據(jù)集。其中每張照片為32*32的彩色照片,每個像素點包括RGB三個數(shù)值,數(shù)值范圍 0 ~ 255。所有照片分屬10個不同的類別,分別是 ‘a(chǎn)irplane’, ‘a(chǎn)utomobile’, ‘bird’, ‘cat’, ‘deer’, ‘dog’, ‘frog’, ‘horse’, ‘ship’, ‘truck’其中五萬張圖片被劃分為訓(xùn)練集,剩下的一萬張圖片屬于測試集。
修改神經(jīng)元后,0分類的飛機在觸發(fā)器的作用直接錯誤分類到卡車
修改神經(jīng)元后,7分類的馬在觸發(fā)器的作用直接錯誤分類到卡車
第三種攻擊手法是通過“數(shù)據(jù)木馬”在模型中隱藏信息,最終通過隱藏信息實現(xiàn)把AI模型轉(zhuǎn)換為可執(zhí)行惡意代碼的攻擊載體。
這種攻擊手法是針對人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與預(yù)測都是通過浮點運算(指浮點數(shù)參與浮點計算的運算,這種運算通常伴隨著因為無法精確表示而進(jìn)行的近似或舍入)的特性完成的。測試發(fā)現(xiàn),越是深度的網(wǎng)絡(luò),小數(shù)點后的精度影響的越小,攻擊者可以把攻擊代碼編碼到浮點數(shù)的后7、8的精度當(dāng)中,就可以將一個段惡意的shellcode(用于利用軟件漏洞而執(zhí)行的代碼)編碼到模型網(wǎng)絡(luò)當(dāng)中,當(dāng)滿足預(yù)先設(shè)定的觸發(fā)條件后,模型加載代碼從網(wǎng)絡(luò)浮點數(shù)字中解析出編碼的惡意shellcode運行完成攻擊行為。
模型當(dāng)中每一個神經(jīng)元的參數(shù)信息通常是由4字節(jié)浮點數(shù)字表示,例如 9d 2d 57 3f == 0.84053415 當(dāng)就模型文件中的參數(shù)信息替換為 9d 2d 57 00 和 9d 2d 57 ff ,那么影響的精度就是 0.84053040~0.84054559,顯然可以保持住浮點前4位小數(shù)保持不變。這樣就可以把一個段惡意的shellcode攻擊代碼編碼到了模型網(wǎng)絡(luò)當(dāng)中。
雖然攻擊手法“出神入化”,騰訊朱雀實驗室表示,普通大眾也不必過于草木皆兵。對于AI研究人員來說,從第三方渠道下載的模型,即便沒有算力資源進(jìn)行重新訓(xùn)練,也要保證渠道的安全性,避免直接加載不確定來源的模型文件。對模型文件的加載使用也要做到心中有數(shù),若攻擊者需要配合一部分代碼來完成攻擊,那么是可以從代碼檢測中發(fā)現(xiàn)的,通過“模型可信加載”,每次加載模型進(jìn)行交叉對比、數(shù)據(jù)校驗,就可有效應(yīng)對這種新型攻擊手法。
責(zé)任編輯:gt
-
AI
+關(guān)注
關(guān)注
88文章
35164瀏覽量
280002 -
騰訊
+關(guān)注
關(guān)注
7文章
1678瀏覽量
50303
發(fā)布評論請先 登錄
南京航空航天大學(xué)與慧爾視共建低空安全感知聯(lián)合實驗室
浦公山實驗室正式啟動!

實驗室智慧配電房建設(shè)方案:打造安全高效的電力保障

實驗室安全管理成焦點,漢威科技賦能實驗室安全升級

國家重點實驗室建設(shè):智能配電裝置如何筑牢科研用電安全底線

騰訊AI助手“騰訊元寶”重大更新:支持深度思考功能
NVIDIA推出DRIVE AI安全檢測實驗室
高校實驗室智能安全配電裝置

安全配電裝置在高校實驗室中的應(yīng)用
創(chuàng)夢天地與騰訊云攜手成立聯(lián)合創(chuàng)新實驗室
TCL智能終端安全實驗室獲TüV南德雙項資質(zhì)認(rèn)證
LIMS實驗室管理平臺的實施步驟
如何選擇合適的LIMS實驗室管理軟件
TüV萊茵授予聯(lián)想合作實驗室資質(zhì)
實驗室精密儀器防雷安全方案

評論