去年年底開始和chatGPT聊天，生成測(cè)試用例、自動(dòng)化腳本、代碼等，這兩天我用bing生成自己想要的海報(bào)，這比較直觀地呈現(xiàn)了人工智能（AI）所發(fā)生的變化。

要全面了解AI發(fā)生的具體變化，值得好好閱讀由Nathan Benaich等人完成的這份報(bào)告。

因?yàn)檫@么多內(nèi)容，無(wú)法詳細(xì)解讀，自己根據(jù)需要，選擇性地閱讀相關(guān)內(nèi)容。該報(bào)告的總結(jié)，給出了一些有價(jià)值的結(jié)論，供大家參考。

1. 研究（research）

1）GPT-4目前是無(wú)所不知的大師，無(wú)論是在經(jīng)典基準(zhǔn)測(cè)試還是在評(píng)估人類的考試中擊敗了所有其他LLM，驗(yàn)證了專有架構(gòu)和通過(guò)人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)的強(qiáng)大力量。

2）人們開始努力用更小的模型、更好的數(shù)據(jù)集、更長(zhǎng)的上下文來(lái)克隆或超越專有模型的性能。..由LLaMa-1/2提供支持，在人類生成的數(shù)據(jù)可能只能維持人工智能擴(kuò)展趨勢(shì)幾年之后，這些努力可能變得更加緊迫。

3）目前尚不清楚人工生成的數(shù)據(jù)能夠支撐AI擴(kuò)展趨勢(shì)的時(shí)間有多長(zhǎng)（一些人估計(jì)到2025年LLMs將用盡數(shù)據(jù)），以及添加合成數(shù)據(jù)的影響。企業(yè)中的視頻和數(shù)據(jù)可能是下一個(gè)問題。

4）LLMs和擴(kuò)散模型繼續(xù)推動(dòng)現(xiàn)實(shí)世界的突破，尤其是在生命科學(xué)領(lǐng)域，在分子生物學(xué)和藥物發(fā)現(xiàn)方面取得了有意義的進(jìn)展。

5）多模態(tài)成為新的前沿，對(duì)各種類型的代理人的興奮度大大增加。

6）被引用的AI論文的70%作者來(lái)自美國(guó)大學(xué)、研究機(jī)構(gòu)。

2. 行業(yè)（industry）

1）計(jì)算力是新的石油，NVIDIA憑借其GPU在國(guó)家、初創(chuàng)企業(yè)、大型科技公司和研究人員中的巨大需求，成功進(jìn)入了1萬(wàn)億美元市值俱樂部。

2）出口管制限制了向中國(guó)的先進(jìn)芯片銷售，但主要芯片供應(yīng)商N(yùn)VIDIA、英特爾和AMD推出了無(wú)法受到出口管制限制的替代產(chǎn)品，開始大規(guī)模銷售符合出口管制的芯片

3）在科技估值低迷的情況下，GenAI挽救了風(fēng)險(xiǎn)投資界。在ChatGPT的帶領(lǐng)下，GenAI應(yīng)用在圖像、視頻、編碼、語(yǔ)音等方面取得了突破性進(jìn)展，推動(dòng)了180億美元的風(fēng)險(xiǎn)投資和企業(yè)投資。

3. 政治（politics）

1）全球已經(jīng)分為明確的監(jiān)管陣營(yíng)，但全球治理進(jìn)展較慢。最大的AI實(shí)驗(yàn)室正在填補(bǔ)這一空白。

2）芯片戰(zhàn)爭(zhēng)仍在繼續(xù)，美國(guó)正在動(dòng)員其盟友參與芯片戰(zhàn)爭(zhēng)，加強(qiáng)對(duì)中國(guó)的貿(mào)易限制。

3）預(yù)計(jì)AI將影響選舉和就業(yè)等一系列敏感領(lǐng)域，但我們尚未看到明顯的影響。

4. 安全性（Safety）

1）安全辯論已經(jīng)成為主流，引發(fā)了全球政府和監(jiān)管機(jī)構(gòu)的行動(dòng)。然而，這股活動(dòng)的浪潮掩蓋了人工智能社區(qū)內(nèi)的深刻分歧和全球治理方面的實(shí)質(zhì)性進(jìn)展不足，因?yàn)槭澜绺鲊?guó)政府追求著相互沖突的方法。

2）許多高性能模型很容易被“越獄”。為了解決RLHF挑戰(zhàn)，研究人員正在探索替代方案，例如自我對(duì)齊和基于人類偏好的預(yù)訓(xùn)練。

3）在評(píng)估最先進(jìn)模型的過(guò)程中面臨的挑戰(zhàn)日益增加，標(biāo)準(zhǔn)LLM往往難以保持穩(wěn)健性。隨著能力的提升，評(píng)估SOTA模型變得越來(lái)越困難。僅憑直覺是不夠的。

5. 并附上大家關(guān)心的幾個(gè)領(lǐng)域

1）代碼語(yǔ)言模型的現(xiàn)狀

在編碼能力方面，毫不意外的是GPT-4是領(lǐng)先者，其代碼解釋器、高級(jí)數(shù)據(jù)分析功能令用戶驚嘆不已。像WizardLM的WizardCoder-34B和Unnatural CodeLLaMa這樣的開放替代品在編碼基準(zhǔn)測(cè)試中與ChatGPT持平，但它們?cè)趯?shí)際生產(chǎn)中的性能仍有待確定。

Unnatural CodeLLaMa和WizardCoder都不僅在大型預(yù)訓(xùn)練編碼數(shù)據(jù)集上進(jìn)行訓(xùn)練，還使用了適用于代碼數(shù)據(jù)的額外LM生成的指令微調(diào)技術(shù)。Meta使用了他們的Unnatural Instructions，而WizardLM使用了他們的EvolInstruct。值得注意的是，CodeLLaMa的訓(xùn)練方式使模型能夠進(jìn)行補(bǔ)充填充，并且所有的CodeLLaMa模型都已發(fā)布，除了Unnatural CodeLLaMa。

在代碼完成任務(wù)中的性能表現(xiàn)。它們對(duì)邊緣推理的支持（例如，在Apple Silicon上的ggml）較小的代碼語(yǔ)言模型（包括replit-code-v1-3b和StarCoder 3B）既具有低延遲又具有良好的代碼完成能力，這促使了對(duì)隱私意識(shí)的替代品的開發(fā)，以應(yīng)對(duì)GitHub Copilot。

2）機(jī)器人：從視覺-語(yǔ)言模型到低層次的機(jī)器人控制

From vision-language models to low-level robot control： RT-2、RoboCat

RoboCat是一個(gè)用于機(jī)器人操作的基礎(chǔ)代理，可以在零樣本或少樣本（100-1000個(gè)示例）情況下適應(yīng)新任務(wù)和新機(jī)器人。在各種平臺(tái)上表現(xiàn)出令人印象深刻的實(shí)時(shí)性能。它是基于DeepMind的多模態(tài)、多任務(wù)和多體現(xiàn)Gato構(gòu)建的。它使用了在各種視覺和控制數(shù)據(jù)集上訓(xùn)練、凍結(jié)VQ-GAN分詞器。雖然Gato只預(yù)測(cè)動(dòng)作，但RoboCat還額外預(yù)測(cè)未來(lái)的VQ-GAN標(biāo)記。

在策略學(xué)習(xí)方面，論文只提到了行為克隆。RoboCat通過(guò)少量示范（通過(guò)遠(yuǎn)程操作）進(jìn)行微調(diào)，并重新部署以生成給定任務(wù)的新數(shù)據(jù)，在后續(xù)訓(xùn)練迭代中自我改進(jìn)。

RobotCat可以以令人印象深刻的速度（20Hz）在253個(gè)任務(wù)上操作36個(gè)具有不同動(dòng)作規(guī)范的真實(shí)機(jī)器人，涉及134個(gè)真實(shí)物體。

機(jī)器人在競(jìng)技體育中已經(jīng)取得勝利。Swift是一個(gè)自主系統(tǒng)，可以使用僅依靠機(jī)載傳感器和計(jì)算，在與人類世界冠軍的比賽中駕駛四旋翼無(wú)人機(jī)。它在與三位冠軍的比賽中贏得了幾場(chǎng)比賽，并創(chuàng)下了最快的時(shí)間紀(jì)錄。

3）今天AIGC有太多的生成方式

6. 未來(lái)一年十大預(yù)測(cè)

一部好萊塢級(jí)的制作利用AIGC完成其視覺效果。

一家AIGC媒體公司因在2024年美國(guó)選舉期間的濫用行為而受到調(diào)查。

自我進(jìn)化的AI代理在復(fù)雜環(huán)境中會(huì)擊敗最先進(jìn)技術(shù)（例如AAA游戲、工具使用、科學(xué)）。

科技IPO市場(chǎng)解凍，我們將看到至少有一家以AI為重點(diǎn)的公司（例如Databricks）進(jìn)行重大上市。

GenAI的擴(kuò)展熱潮導(dǎo)致一組人花費(fèi)超過(guò)10億美元來(lái)訓(xùn)練一個(gè)大模型。

美國(guó)的聯(lián)邦貿(mào)易委員會(huì)（FTC）或英國(guó)的競(jìng)爭(zhēng)與市場(chǎng)管理局（CMA）因競(jìng)爭(zhēng)原因調(diào)查微軟/OpenAI的交易。

在全球AI治理方面，除了高層次的自愿承諾外，我們看到的進(jìn)展有限。

金融機(jī)構(gòu)推出GPU債務(wù)基金，以取代風(fēng)險(xiǎn)投資股權(quán)資金用于計(jì)算資金。

一首由AIGC生成的歌曲進(jìn)入Billboard Hot 100 前十名或2024年Spotify熱門歌曲榜。

隨著推理工作負(fù)載和成本的顯著增長(zhǎng)，一家大型AI公司（如OpenAI）收購(gòu)了一家專注于推理的AI芯片公司。