【導(dǎo)讀】微軟最近一篇論文爆料，GPT-3.5的參數(shù)量只有20B，遠(yuǎn)遠(yuǎn)小于之前GPT-3公布175B。網(wǎng)友表示，ChatGPT能力似乎「配得上」這個(gè)體量？

GPT-3.5只有200億參數(shù)？

今天，大模型圈都被微軟論文中的一紙截圖刷爆了，究竟是怎么回事？

就在前幾天，微軟發(fā)表了篇論文并掛在了arXiv上，該論文提出了一個(gè)參數(shù)量只有75M的小規(guī)模擴(kuò)散模型——CodeFusion。

性能方面，7500萬參數(shù)的CodeFusion在top-1準(zhǔn)確率指標(biāo)上，可以與最先進(jìn)的350M-175B模型相媲美。

論文地址：https://arxiv.org/abs/2310.17680

這篇論文的工作很有意義，但引起大家格外注意的卻是——

作者在對(duì)比ChatGPT（gpt-3.5-turbo）時(shí)，標(biāo)稱的參數(shù)量竟然只有20B！

在此之前，大家針對(duì)GPT-3.5參數(shù)量的猜測(cè)都是1750億，這相當(dāng)于是縮減了差不多十倍！

根據(jù)這篇論文的爆料，網(wǎng)友還去維基百科上更新了GPT-3.5的介紹，直接把參數(shù)大小改成了20B。

消息一出，直接登上知乎熱搜，網(wǎng)友們都炸了。

有人表示，趕緊回頭再把我之前模型蒸餾的博文拿出來復(fù)習(xí)復(fù)習(xí) 。

是「烏龍」還是「事實(shí)」？

網(wǎng)友的爆料貼一出，瞬間就引發(fā)了激烈的討論。

目前，已經(jīng)有超過68萬人前來圍觀。

這位老哥表示，論文的幾位作者也都在用推特，估計(jì)過不了多久就會(huì)親自下場(chǎng)解釋。

而對(duì)于這個(gè)神秘的「20B」，網(wǎng)友們也是眾說紛紜。

有人猜測(cè)，這很可能是作者手誤打錯(cuò)了。比如原本是120B，或者200B。

結(jié)合現(xiàn)實(shí)中的各項(xiàng)評(píng)測(cè)來看，確實(shí)有很多小模型能夠取得和ChatGPT差不多的成績(jī)，比如Mistral-7B。

也許，這也是側(cè)面證實(shí)了GPT-3.5體量真的不大。

很多網(wǎng)友也認(rèn)為20B的參數(shù)可能是準(zhǔn)確的，紛紛發(fā)出感嘆：

「這也太難以想象了！Falcon-180B和Llama2-70B，竟然都無法擊敗這款20B的模型。」

也有網(wǎng)友認(rèn)為，gpt-3.5-turbo是精煉版的gpt-3.5。

而這次參數(shù)的「泄露」，正好從側(cè)面印證了那些關(guān)于gpt-3.5-turbo表現(xiàn)不如舊版gpt-3.5的傳言。

不過，根據(jù)OpenAI的官方文檔，除了已經(jīng)不再使用的text-davinci和code-davinci，GPT-3.5家族全員都是基于gpt-3.5-turbo構(gòu)成的。

微軟發(fā)布CodeFusion

而爆出GPT3.5只有20B參數(shù)的微軟論文，是想介紹一個(gè)用于代碼生成的擴(kuò)散模型。

研究人員針對(duì)Bash、Python和Microsoft Excel條件格式（CF）規(guī)則的自然語言生成代碼的任務(wù)來評(píng)估這個(gè)模型——CodeFusion。

實(shí)驗(yàn)表明，CodeFusion（只有75M參數(shù)）在top-1精度方面與最先進(jìn)的LLM（350M-175B參數(shù)）相當(dāng)，并且在top-3和top-5精度方面性能和參數(shù)比非常優(yōu)秀。

模型架構(gòu)CODEFUSION用于代碼生成任務(wù)，它的訓(xùn)練分為兩個(gè)階段，第一階段是無監(jiān)督預(yù)訓(xùn)練，第二階段是有監(jiān)督微調(diào)。

在第一階段，CODEFUSION使用未標(biāo)記的代碼片段來訓(xùn)練降噪器和解碼器。它還使用可訓(xùn)練的嵌入層L，將代碼片段嵌入到連續(xù)空間中。

在第二階段，CODEFUSION進(jìn)行有監(jiān)督的微調(diào)，使用來自文本-代碼對(duì)數(shù)據(jù)。在這個(gè)階段，編碼器、降噪器和解碼器都會(huì)得到調(diào)整，以更好地執(zhí)行任務(wù)。

此外，CODEFUSION還借鑒了之前有關(guān)文本擴(kuò)散的研究成果，將來自解碼器的隱藏表示D融合到模型中。這是為了改進(jìn)模型的性能。在訓(xùn)練過程中，在不同step中，模型引入一些噪聲，然后計(jì)算損失函數(shù)，以確保生成的代碼片段更符合預(yù)期的標(biāo)準(zhǔn)。

總之，CODEFUSION是一個(gè)執(zhí)行代碼生成工作的小模型，通過兩個(gè)階段的訓(xùn)練和噪聲引入來不斷提升其性能。這個(gè)模型的靈感來自于文本擴(kuò)散的研究，并通過融合解碼器的隱藏表示來改進(jìn)損失函數(shù)，以更好地生成高質(zhì)量的代碼片段。

評(píng)估結(jié)果

下表總結(jié)了CODEFUSION模型與各個(gè)基線模型在top-1、top-3和top-5設(shè)置下的性能表現(xiàn)。

在top-1中，CODEFUSION的性能與自回歸模型相媲美，甚至在某些情況下表現(xiàn)更出色，尤其是在Python任務(wù)中，只有GPT-3（175B）的性能稍微優(yōu)于CODEFUSION（75M）。然而，在top-3和top-5方面，CODEFUSION明顯優(yōu)于所有基線模型。

表下表展示了CODEFUSION和自回歸模型（包括T5、CodeT5、StarCoder、CodeGen、GPT-3）在各項(xiàng)基準(zhǔn)任務(wù)上的平均多樣性結(jié)果，考察了每個(gè)模型的前5代生成結(jié)果。

相對(duì)于自回歸模型，CODEFUSION生成更加多樣化的結(jié)果，表現(xiàn)更出色。

在消融實(shí)驗(yàn)中，作者停止了去噪過程，并生成了在時(shí)間步t∈[0, T]范圍內(nèi)的當(dāng)前狀態(tài)的代碼片段。利用歸一化字符串編輯距離來衡量每個(gè)時(shí)間步長(zhǎng)（每100步為一個(gè)增量）所獲得的結(jié)果。

這一方法有助于總結(jié)和展示CODEFUSION模型的逐步進(jìn)展，如下圖所示。

說了這么多，GPT-3.5的參數(shù)量到底是多少？GPT-4與GPT-3.5在技術(shù)和其他方面有著什么樣的聯(lián)系？

GPT-3.5是一個(gè)個(gè)小專家模型的集成還是一個(gè)通才模型？是通過更大模型的蒸餾還是更大數(shù)據(jù)訓(xùn)練？

這些問題的答案只能等到真正開源的時(shí)候才能揭曉了。