作者：文子

編輯：小迪

谷歌，一招殺入OpenAI大本營(yíng)。

谷歌再放大招，竊取OpenAI模型機(jī)密

如果全世界只有一家公司能趕超OpenAI，那谷歌應(yīng)該是第一。

最近，谷歌重磅發(fā)布了一篇論文報(bào)告，里面提出了一種名為“模型竊取”的技術(shù)。通過(guò)模型竊取技術(shù)，谷歌成功破解了ChatGPT基礎(chǔ)模型Ada和Babbage的投影矩陣，甚至連內(nèi)部隱藏維度的關(guān)鍵信息也是直接破獲，分別是1024和2048。

這一發(fā)現(xiàn)猶如一記重磅炸彈，在AI界引發(fā)了強(qiáng)烈的震動(dòng)。誰(shuí)也沒(méi)想到，號(hào)稱(chēng)“CloseAI”的OpenAI竟然也會(huì)被竊取模型機(jī)密的一天。

更恐怖的是，這種模型竊取技術(shù)還非常簡(jiǎn)單。只要你擁有ChatGPT這類(lèi)封閉大模型的API，就可以通過(guò)API接口，發(fā)送不到2000次經(jīng)過(guò)精心設(shè)計(jì)好的查詢(xún)，然后去分析它生成的輸出，就可以逐步推斷出模型的內(nèi)部結(jié)構(gòu)和參數(shù)。

雖然這種方法不能完全復(fù)制原始模型，但已經(jīng)足以竊取它的部分能力。而且這種攻擊非常高效，不需要用太多的成本，就可以拿到模型的關(guān)鍵信息。

按照谷歌的調(diào)用次數(shù)來(lái)看，僅僅只需要不到20美金（約合150元人民幣）的成本，就可以完成模型竊取的操作，并且這種方法同樣適用于GPT-3.5和GPT-4。

換句話(huà)說(shuō)，就是不費(fèi)吹灰之力獲得了一個(gè)大模型理解自然語(yǔ)言的能力，還能用來(lái)構(gòu)建一個(gè)性能相近的“山寨版”模型，既省事又省錢(qián)。

反觀OpenAI，被競(jìng)爭(zhēng)對(duì)手低價(jià)破解模型機(jī)密，真的坐得住嗎？坐不住。截至目前，OpenAI已經(jīng)修改了模型API，有心人想復(fù)現(xiàn)谷歌的操作是不可能了。

值得一提的是，谷歌研究團(tuán)隊(duì)中就有一位OpenAI研究員。不過(guò)作為正經(jīng)安全研究，他們?cè)谔崛∧Ｐ妥詈笠粚訁?shù)之前就已經(jīng)征得OpenAI同意，而在攻擊完成后，也刪除了所有相關(guān)數(shù)據(jù)。

但不管怎么說(shuō)，谷歌的實(shí)驗(yàn)足以證明一點(diǎn)，哪怕OpenAI緊閉大門(mén)也并不保險(xiǎn)。

大模型全面受挫，敲響開(kāi)閉源警鐘

既然封閉的大模型都無(wú)法幸免，開(kāi)源的大模型又會(huì)如何呢？

基于這一點(diǎn)，谷歌針對(duì)不同規(guī)模和結(jié)構(gòu)的開(kāi)源模型進(jìn)行了一系列實(shí)驗(yàn)，比如GPT-2的不同版本和LLaMA系列模型。

要知道，GPT-2是一個(gè)開(kāi)源的預(yù)訓(xùn)練語(yǔ)言模型，分為小型模型(117M)和大型模型(345M)兩種。而在對(duì)GPT-2的攻擊中，谷歌通過(guò)分析模型的最終隱藏激活向量并執(zhí)行SVD發(fā)現(xiàn)，盡管GPT-2小型模型理論上具有768個(gè)隱藏單元，但實(shí)際上只有757個(gè)有效的隱藏單元在起作用。

這也就意味著GPT-2可能在實(shí)際使用中，并沒(méi)有充分利用其設(shè)計(jì)的全部能力，或者在訓(xùn)練過(guò)程中某些維度的重要性不如其他維度。

此外，谷歌還研究了模型中的一種叫做“歸一化層”的東西對(duì)于攻擊的影響。一般來(lái)說(shuō)，歸一化層的作用是讓訓(xùn)練更加穩(wěn)定，從而提升模型的表現(xiàn)。然而谷歌發(fā)現(xiàn)，即使模型加入了歸一化層，攻擊的效果也并沒(méi)有減弱。這說(shuō)明即使考慮了現(xiàn)代深度學(xué)習(xí)模型中常見(jiàn)的復(fù)雜結(jié)構(gòu)，攻擊方法也依然有效。

為了進(jìn)一步驗(yàn)證攻擊的范圍，谷歌還將目光瞄向更大、更復(fù)雜的LLaMA模型。它是由Meta發(fā)布的大語(yǔ)言系列模型，完整的名字是Large Language Model Meta AI，可以說(shuō)LLaMA是目前全球最活躍的AI開(kāi)源社區(qū)。

通過(guò)對(duì)LLaMA系列模型進(jìn)行攻擊，谷歌成功地從這些模型中提取了嵌入投影層的維度信息。值得注意的是，即使在這些模型采用先進(jìn)的技術(shù)，如混合精度訓(xùn)練和量化，攻擊依然能夠成功，這表明攻擊方法的普適性和魯棒性。

可以說(shuō)，谷歌給閉源和開(kāi)源兩大領(lǐng)域同時(shí)敲響了一記警鐘。

AI三巨頭對(duì)線，2024誰(shuí)輸誰(shuí)贏？

從嚴(yán)格意義上來(lái)講，OpenAI、谷歌、Meta就是爭(zhēng)奪AGI圣杯的三大巨頭。

其中，Meta和OpenAI完全相反，前者走的是開(kāi)源路線，而后者主要打造閉源模型。但谷歌和他們完全不一樣，閉源與開(kāi)源雙線作戰(zhàn)，閉源對(duì)抗OpenAI，開(kāi)源對(duì)抗Meta。

在人工智能領(lǐng)域里，谷歌可以算是開(kāi)源大模型的鼻祖。今天幾乎所有的大語(yǔ)言模型，都是基于谷歌在2017年發(fā)布的Transformer論文，這篇論文顛覆了整個(gè)自然語(yǔ)言處理領(lǐng)域的研究范式。而市面上最早的一批開(kāi)源AI模型，也是谷歌率先發(fā)布的BERT和T5。

然而，隨著OpenAI在2022年底發(fā)布閉源模型ChatGPT，谷歌也開(kāi)始調(diào)整其策略，逐漸轉(zhuǎn)向閉源模型。這一轉(zhuǎn)變使得開(kāi)源大模型的領(lǐng)導(dǎo)地位被Meta的LLaMA所取代，后來(lái)又有法國(guó)的開(kāi)源大模型公司Mistra AI走紅，尤其是其MoE模型備受行業(yè)追捧。

直到谷歌今年再次發(fā)布開(kāi)源大模型Gemma，已經(jīng)比Meta的LLaMA整整晚了一年。

很顯然，Gemma這次的發(fā)布標(biāo)志著谷歌在大模型戰(zhàn)略上的巨大轉(zhuǎn)變，這一舉動(dòng)意味著谷歌開(kāi)始兼顧開(kāi)源和閉源的新策略，而其背后的目的也是顯而易見(jiàn)。

眾所周知，當(dāng)前大模型領(lǐng)域的競(jìng)爭(zhēng)已經(jīng)形成了一種錯(cuò)綜復(fù)雜的打壓鏈格局。其中OpenAI牢牢站在鏈條頂端，而它所打壓的恰恰是那些有潛力追趕上它的競(jìng)爭(zhēng)對(duì)手，比如谷歌和Anthropic。而Mistral作為一股新興力量，估計(jì)也正在被列入其中。

如果非要排列一個(gè)打壓鏈條，那可以歸結(jié)為：OpenAI→Google &Anthropic & Mistral→ Meta→其它大模型公司。

可以說(shuō)，無(wú)論在閉源還是開(kāi)源領(lǐng)域，谷歌都沒(méi)能確立絕對(duì)的領(lǐng)先地位。

所以這也不難理解，為什么有專(zhuān)業(yè)人士會(huì)認(rèn)為，谷歌選擇在此時(shí)重返開(kāi)源賽場(chǎng)，是被迫的。谷歌之所以開(kāi)源主打的是性能最強(qiáng)大的小規(guī)模模型，就是希望腳踢M(jìn)eta和Mistral；而閉源主打的是規(guī)模大的效果最好的大模型，就是為了希望盡快追上OpenAI。

但無(wú)論如何，在未來(lái)的對(duì)壘格局里，谷歌已經(jīng)先發(fā)制人，成功將壓力給到OpenAI和Meta。

這一次，關(guān)鍵在于OpenAI和Meta該如何應(yīng)對(duì)。

審核編輯：湯梓紅