99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

騰訊朱雀實驗室首度亮相,以攻促防守護(hù)騰訊業(yè)務(wù)及用戶安全

牽手一起夢 ? 來源:澎湃新聞 ? 作者:佚名 ? 2020-09-02 16:58 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,第19屆XCon安全焦點信息安全技術(shù)峰會于北京舉行,由騰訊安全平臺部孵化的騰訊朱雀實驗室首度亮相公眾視野。據(jù)介紹,該實驗室專注于實戰(zhàn)攻擊技術(shù)研究和AI安全技術(shù)研究,以攻促防,守護(hù)騰訊業(yè)務(wù)及用戶安全。

騰訊安全平臺部負(fù)責(zé)人楊勇表示,當(dāng)前AI已融入各行各業(yè),安全從業(yè)者面臨著更復(fù)雜、更多變的網(wǎng)絡(luò)環(huán)境,我們已經(jīng)看到了網(wǎng)絡(luò)攻擊武器AI化的趨勢,除了框架這樣的AI基礎(chǔ)設(shè)施,數(shù)據(jù)、模型、算法,任何一個環(huán)節(jié)都是攻防的前線。作為安全工作者,必須走在業(yè)務(wù)之前,做到技術(shù)的與時俱進(jìn)。

會上,騰訊朱雀實驗室高級安全研究員nEINEI分享了一項AI安全創(chuàng)新研究:模擬實戰(zhàn)中的黑客攻擊路徑,擺脫傳統(tǒng)利用“樣本投毒”的AI攻擊方式,直接控制AI模型的神經(jīng)元,為模型“植入后門”,在幾乎無感的情況下,可實現(xiàn)完整的攻擊驗證。

這也是國內(nèi)首個利用AI模型文件直接產(chǎn)生后門效果的攻擊研究。該手法更貼近AI攻擊實戰(zhàn)場景,對于喚醒大眾對AI模型安全問題的重視、進(jìn)行針對性防御建設(shè)具有重要意義。

騰訊朱雀實驗室具體展示了三種“空投木馬”形式的AI模型高階攻擊手法。

首先是“AI供應(yīng)鏈攻擊”,通過逆向破解AI軟件,植入惡意執(zhí)行代碼,AI模型即變?yōu)榇筇枴澳抉R”,受攻擊者控制。如被投放到開源社區(qū)等,則可造成大范圍AI供應(yīng)鏈被污染。

騰訊朱雀實驗室發(fā)現(xiàn),模型文件載入到內(nèi)存的過程中是一個復(fù)雜的各類軟件相互依賴作用的結(jié)果,所以理論上任何依賴的軟件存在弱點,都可以被攻擊者利用。這樣的攻擊方式可以保持原有模型不受任何功能上的影響,但在模型文件被加載的瞬間卻可以執(zhí)行惡意代碼邏輯,類似傳統(tǒng)攻擊中的的供應(yīng)鏈投毒,但投毒的渠道換成了AI框架的模型文件。

騰訊朱雀實驗室首度亮相,以攻促防守護(hù)騰訊業(yè)務(wù)及用戶安全

原始模型

加入惡意代碼的模型

其次是“重構(gòu)模型后門”,通過在供給端修改文件,直接操縱修改AI模型的神經(jīng)元,給AI模型“植入后門”,保持對正常功能影響較小,但在特定trigger觸發(fā)下模型會產(chǎn)生定向輸出結(jié)果,達(dá)到模型后門的效果。

“后門攻擊”是一種新興的針對機器學(xué)習(xí)模型的攻擊方式,攻擊者會在模型中埋藏后門,使得被感染的模型(infected model) 在一般情況下表現(xiàn)正常。但當(dāng)后門觸發(fā)器被激活時,模型的輸出將變?yōu)楣粽哳A(yù)先設(shè)置的惡意目標(biāo)。由于模型在后門未被觸發(fā)之前表現(xiàn)正常,因此這種惡意的攻擊行為很難被發(fā)現(xiàn)。

騰訊朱雀實驗室從簡單的線性回歸模型和MNIST開始入手,利用啟發(fā)算法,分析模型網(wǎng)絡(luò)哪些層的神經(jīng)元相對后門特性敏感,最終驗證了模型感染的攻擊可能性。在保持模型功能的準(zhǔn)確性下降很小幅度內(nèi)(~2%),通過控制若干個神經(jīng)元數(shù)據(jù)信息,即可產(chǎn)生后門效果,在更大樣本集上驗證規(guī)模更大的網(wǎng)絡(luò)CIFAR-10也同樣證實了這一猜想。

相比投毒,這種攻擊方式更為隱蔽,在攻擊端直接操縱修改AI模型的同時,還能將對模型正常功能的影響降至最低,只有在攻擊者設(shè)定的某個關(guān)鍵點被觸發(fā)時,才會扣下攻擊的扳機。

(標(biāo)準(zhǔn)的CIFAR-10分類) CIFAR-10 是一個包含60000張圖片的數(shù)據(jù)集。其中每張照片為32*32的彩色照片,每個像素點包括RGB三個數(shù)值,數(shù)值范圍 0 ~ 255。所有照片分屬10個不同的類別,分別是 ‘a(chǎn)irplane’, ‘a(chǎn)utomobile’, ‘bird’, ‘cat’, ‘deer’, ‘dog’, ‘frog’, ‘horse’, ‘ship’, ‘truck’其中五萬張圖片被劃分為訓(xùn)練集,剩下的一萬張圖片屬于測試集。

修改神經(jīng)元后,0分類的飛機在觸發(fā)器的作用直接錯誤分類到卡車

修改神經(jīng)元后,7分類的馬在觸發(fā)器的作用直接錯誤分類到卡車

第三種攻擊手法是通過“數(shù)據(jù)木馬”在模型中隱藏信息,最終通過隱藏信息實現(xiàn)把AI模型轉(zhuǎn)換為可執(zhí)行惡意代碼的攻擊載體。

這種攻擊手法是針對人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與預(yù)測都是通過浮點運算(指浮點數(shù)參與浮點計算的運算,這種運算通常伴隨著因為無法精確表示而進(jìn)行的近似或舍入)的特性完成的。測試發(fā)現(xiàn),越是深度的網(wǎng)絡(luò),小數(shù)點后的精度影響的越小,攻擊者可以把攻擊代碼編碼到浮點數(shù)的后7、8的精度當(dāng)中,就可以將一個段惡意的shellcode(用于利用軟件漏洞而執(zhí)行的代碼)編碼到模型網(wǎng)絡(luò)當(dāng)中,當(dāng)滿足預(yù)先設(shè)定的觸發(fā)條件后,模型加載代碼從網(wǎng)絡(luò)浮點數(shù)字中解析出編碼的惡意shellcode運行完成攻擊行為。

模型當(dāng)中每一個神經(jīng)元的參數(shù)信息通常是由4字節(jié)浮點數(shù)字表示,例如 9d 2d 57 3f == 0.84053415 當(dāng)就模型文件中的參數(shù)信息替換為 9d 2d 57 00 和 9d 2d 57 ff ,那么影響的精度就是 0.84053040~0.84054559,顯然可以保持住浮點前4位小數(shù)保持不變。這樣就可以把一個段惡意的shellcode攻擊代碼編碼到了模型網(wǎng)絡(luò)當(dāng)中。

雖然攻擊手法“出神入化”,騰訊朱雀實驗室表示,普通大眾也不必過于草木皆兵。對于AI研究人員來說,從第三方渠道下載的模型,即便沒有算力資源進(jìn)行重新訓(xùn)練,也要保證渠道的安全性,避免直接加載不確定來源的模型文件。對模型文件的加載使用也要做到心中有數(shù),若攻擊者需要配合一部分代碼來完成攻擊,那么是可以從代碼檢測中發(fā)現(xiàn)的,通過“模型可信加載”,每次加載模型進(jìn)行交叉對比、數(shù)據(jù)校驗,就可有效應(yīng)對這種新型攻擊手法。

責(zé)任編輯:gt

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35164

    瀏覽量

    280002
  • 騰訊
    +關(guān)注

    關(guān)注

    7

    文章

    1678

    瀏覽量

    50303
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    南京航空航天大學(xué)與慧爾視共建低空安全感知聯(lián)合實驗室

    近日,南京航空航天大學(xué)(以下簡稱“南航”)與南京慧爾視智能科技有限公司(以下簡稱“慧爾視”)正式宣布共建“低空安全感知聯(lián)合實驗室”。作為落實國家低空經(jīng)濟發(fā)展戰(zhàn)略的重要舉措,實驗室《低
    的頭像 發(fā)表于 06-25 17:08 ?447次閱讀

    浦公山實驗室正式啟動!

    6月21日浦公山實驗室在軟件園三期正式啟動浦公山實驗室面向我國信創(chuàng)技術(shù)及產(chǎn)業(yè)生態(tài),由集美區(qū)人工智能產(chǎn)業(yè)聯(lián)盟主要成員單位共同組建,旨在打造覆蓋通用計算與數(shù)據(jù)安全的自主可控人工智能產(chǎn)業(yè)軟硬件綜合創(chuàng)新
    的頭像 發(fā)表于 06-24 10:11 ?424次閱讀
    浦公山<b class='flag-5'>實驗室</b>正式啟動!

    實驗室智慧配電房建設(shè)方案:打造安全高效的電力保障

    文章由山東華科信息技術(shù)有限公司提供在實驗室環(huán)境中,電力供應(yīng)的穩(wěn)定性和安全性至關(guān)重要。智慧配電房作為現(xiàn)代電力管理的新模式,能夠?qū)崿F(xiàn)對配電系統(tǒng)的實時監(jiān)測、智能分析和自動化控制,為實驗室提供安全
    的頭像 發(fā)表于 06-10 09:40 ?245次閱讀
    <b class='flag-5'>實驗室</b>智慧配電房建設(shè)方案:打造<b class='flag-5'>安全</b>高效的電力保障

    實驗室安全管理成焦點,漢威科技賦能實驗室安全升級

    實驗室是國家科技創(chuàng)新體系的重要組成部分,是國家組織高水平基礎(chǔ)研究和應(yīng)用基礎(chǔ)研究、聚集和培養(yǎng)優(yōu)秀科學(xué)家、開展學(xué)術(shù)交流的重要基地。近年來,各高校、研究院所、科創(chuàng)園區(qū)、高新產(chǎn)業(yè)園區(qū)相關(guān)企業(yè)的實驗室呈現(xiàn)爆發(fā)
    的頭像 發(fā)表于 04-10 10:41 ?415次閱讀
    <b class='flag-5'>實驗室</b><b class='flag-5'>安全</b>管理成焦點,漢威科技賦能<b class='flag-5'>實驗室</b><b class='flag-5'>安全</b>升級

    國家重點實驗室建設(shè):智能配電裝置如何筑牢科研用電安全底線

    程瑜 187 0211 2087 安科瑞電氣股份有限公司?上海嘉定 202410 摘要: 本文探討了智能安全配電裝置在實驗室場所中的應(yīng)用及其重要性。實驗室作為科研、教學(xué)的重要場所,其配電設(shè)計不僅關(guān)乎
    的頭像 發(fā)表于 03-31 10:46 ?343次閱讀
    國家重點<b class='flag-5'>實驗室</b>建設(shè):智能配電裝置如何筑牢科研用電<b class='flag-5'>安全</b>底線

    騰訊AI助手“騰訊元寶”重大更新:支持深度思考功能

    近日,騰訊AI助手“騰訊元寶”再次迎來了重大更新,為用戶帶來了更加智能、高效的使用體驗。此次更新中,騰訊元寶新增了深度思考功能,這一功能由混元+DeepSeek兩大模型共同支持,
    的頭像 發(fā)表于 02-18 09:21 ?1169次閱讀

    NVIDIA推出DRIVE AI安全檢測實驗室

    全新 NVIDIA 實驗室獲得美國國家標(biāo)準(zhǔn)學(xué)會國家認(rèn)可委員會(ANAB)的認(rèn)證,可執(zhí)行自動駕駛汽車的功能安全、網(wǎng)絡(luò)安全和 AI 檢測。
    的頭像 發(fā)表于 01-09 16:01 ?682次閱讀

    高校實驗室智能安全配電裝置

    ,高校實驗室安全事故時有發(fā)生,這不僅嚴(yán)重威脅師生的生命財產(chǎn)安全,而且擾亂了學(xué)校正常的教學(xué)科研秩序、影響了社會的和諧穩(wěn)定。 2019年5月15日,某高?;瘜W(xué)實驗室發(fā)生一起電氣火災(zāi)事故。當(dāng)
    的頭像 發(fā)表于 12-26 16:22 ?516次閱讀
    高校<b class='flag-5'>實驗室</b>智能<b class='flag-5'>安全</b>配電裝置

    安全配電裝置在高校實驗室中的應(yīng)用

    一起實驗室電氣火災(zāi)事故為例,對事故原因、危害程度以及防范措施進(jìn)行分析和總結(jié),并就智能安全配電裝置在該場所中的應(yīng)用做下簡單探討。 關(guān)鍵詞:高校實驗室;電氣火災(zāi);智能安全配電裝置 一.引言
    的頭像 發(fā)表于 11-25 10:10 ?521次閱讀

    創(chuàng)夢天地與騰訊云攜手成立聯(lián)合創(chuàng)新實驗室

    成立聯(lián)合創(chuàng)新實驗室,旨在深化并拓展雙方在游戲研發(fā)中的合作。 根據(jù)協(xié)議,聯(lián)合創(chuàng)新實驗室將圍繞“AI助力游戲研發(fā)提質(zhì)增效”這一主題展開工作。雙方將在已有的AI代碼助手、AI研發(fā)效能工具等合作基礎(chǔ)上,進(jìn)一步深化合作,結(jié)合創(chuàng)夢天地
    的頭像 發(fā)表于 11-21 13:58 ?981次閱讀

    TCL智能終端安全實驗室獲TüV南德雙項資質(zhì)認(rèn)證

    近日,TCL智能終端安全實驗室傳來喜訊,成功獲得國際權(quán)威第三方檢測認(rèn)證機構(gòu)TüV南德意志集團(tuán)授予的兩大重要資質(zhì):首個網(wǎng)絡(luò)安全標(biāo)準(zhǔn)ETSI EN 303 645 CB CTF
    的頭像 發(fā)表于 10-30 17:40 ?920次閱讀

    LIMS實驗室管理平臺的實施步驟

    的步驟: 1. 需求分析 在實施LIMS之前,首先需要進(jìn)行需求分析,確定實驗室的具體需求。這一步驟包括: 調(diào)研實驗室流程 :了解實驗室的日常工作流程,包括樣品接收、測試、數(shù)據(jù)記錄、報
    的頭像 發(fā)表于 10-29 09:10 ?1247次閱讀

    如何選擇合適的LIMS實驗室管理軟件

    和未來擴展的可能性。 功能和模塊 : 選擇具有所需功能的LIMS,如樣品管理、結(jié)果管理、庫存管理、報告生成、審計追蹤等。 確保LIMS支持實驗室特有的測試方法和分析流程。 用戶友好性 : 界面應(yīng)該直觀易用,減少員工培訓(xùn)時間。 支持自定義
    的頭像 發(fā)表于 10-28 16:56 ?973次閱讀

    TüV萊茵授予聯(lián)想合作實驗室資質(zhì)

    聯(lián)想(北京)有限公司近日迎來重要里程碑,其聲學(xué)實驗室與安規(guī)實驗室成功獲得德國萊茵TüV大中華區(qū)頒發(fā)的合作實驗室資質(zhì)證書。這一殊榮不僅標(biāo)志著聯(lián)想在音視頻產(chǎn)品檢測及安全規(guī)范領(lǐng)域的專業(yè)能力已
    的頭像 發(fā)表于 09-20 18:23 ?1254次閱讀

    實驗室精密儀器防雷安全方案

    實驗室中的精密儀器在雷電活動期間容易受到雷電波的影響,導(dǎo)致儀器損壞甚至人身安全事故。因此,做好防雷安全措施至關(guān)重要。本文將從使用浪涌保護(hù)器、防雷接地方案以及綜合措施等方面探討如何保護(hù)實驗室
    的頭像 發(fā)表于 08-14 11:15 ?610次閱讀
    <b class='flag-5'>實驗室</b>精密儀器防雷<b class='flag-5'>安全</b>方案