一，引言

隨著人工智能（AI）技術的迅猛發(fā)展，大模型已經(jīng)成為推動科技進步的重要力量。然而，超大規(guī)模模型在帶來高性能的同時，也面臨著資源消耗大、部署困難等問題。本文將探討AI大模型未來的發(fā)展方向。

開放性一直是人工智能研究領域的常態(tài)，促進了該領域的合作。然而，人工智能的快速發(fā)展引發(fā)了關于發(fā)布最強大模型可能帶來的后果的擔憂。此外，像ChatGPT這樣的模型的銷售企業(yè)有保持模型私有的商業(yè)動機。

行業(yè)AI實驗室以多種方式回應了這些發(fā)展：

未發(fā)布模型：例如，谷歌DeepMind的Chinchilla模型尚未發(fā)布。

結構化訪問控制：像GPT-4這樣的模型有結構化的訪問控制，控制用戶如何與模型交互。

有限制的開源模型：Meta的Llama模型的權重可以下載，但使用條款有限制。

二，開源與閉源模型的對比

1，爭議

發(fā)布模型、代碼和數(shù)據(jù)集能夠促進創(chuàng)新和外部審查，但這也是不可逆的，并且如果模型的安全措施被繞過，就有被濫用的風險。關于這種權衡是否可接受或可避免，存在持續(xù)的爭論。開源AI的支持者認為，開放性通過開放社區(qū)開發(fā)的創(chuàng)新和工具，對社會以及模型開發(fā)者都有益。甚至有人認為，更多的閉源AI開發(fā)者已經(jīng)被開源社區(qū)超越，保持封閉變得毫無意義。

2，二者用戶基數(shù)對比

ChatGPT（封閉模型）：每月大約有3.5億用戶。

Meta AI助手（開放模型）：每月有近5億用戶。

3，性能和訓練計算方面的差距

為了系統(tǒng)地比較開放和封閉AI模型隨時間的能力，我們收集了自2018年以來發(fā)布的數(shù)百個著名AI模型的權重和訓練代碼的可訪問性數(shù)據(jù)。以下是主要發(fā)現(xiàn)：

基準性能：

最好的開源大型語言模型（LLMs）在多個基準測試上落后于最好的閉源LLMs5到22個月。Meta的Llama 3.1 405B是最新的一個在多個基準上縮小差距的開源模型。即使不考慮Meta的Llama模型，結果也類似。

訓練計算：

在訓練計算方面，最大的開源模型落后于最大的閉源模型大約15個月。

Llama 3.1 405B相對于GPT-4的發(fā)布，差距為16個月。由于我們尚未看到比GPT-4規(guī)模更大的閉源模型，Llama 3.1 405B已經(jīng)在縮小訓練計算的差距。

訓練效率：

盡管開源LLMs在達到與閉源LLMs相似的基準性能后，通常使用較少的訓練計算，但新模型通常更高效。因此，我們缺乏同樣高效的新閉源模型的數(shù)據(jù)。

訓練數(shù)據(jù)污染和“為排行榜而學習”也可能導致更高的分數(shù)。

三，總結

開源與閉源AI模型之間的競爭和差距反映了AI領域的多樣性和復雜性。盡管開源模型在某些方面落后于閉源模型，但它們在促進創(chuàng)新和安全性研究方面具有獨特的優(yōu)勢。未來的發(fā)展將是結合兩者的優(yōu)點，開發(fā)能力優(yōu)秀、規(guī)模適中、邊緣友好的AI模型，以滿足多樣化的應用需求。當然也取決于技術進步、市場需求和政策監(jiān)管的綜合影響。

這兩種模型你更看好哪一個呢？歡迎評論留言討論。

更多精彩內容請關注“算力魔方?”！

審核編輯 黃宇