概覽

市面上的標(biāo)題黨往往會(huì)采用夸張的文字，例如：ChatGPT被淘汰，AutoGPT來襲。但是對(duì)于行業(yè)內(nèi)的人來說，這種標(biāo)題很明顯是標(biāo)題黨。這兩個(gè)模型都是基于GPT-3或者GPT-4的技術(shù)，它們?cè)诩夹g(shù)上本質(zhì)上沒有太大的區(qū)別。

雖然GPT模型在自然語(yǔ)言處理領(lǐng)域中表現(xiàn)出色，但是它們?nèi)匀淮嬖谝恍﹩栴}。例如，GPT模型的自回歸設(shè)計(jì)導(dǎo)致它在生成新單詞或短語(yǔ)時(shí)需要等待整個(gè)序列生成完成，這樣的過程顯然會(huì)減緩生成速度。

由于這些問題，一些研究人員開始探索非自回歸模型的設(shè)計(jì)，這種方法可以提高生成速度。

但非自回歸模型的輸出結(jié)果可能會(huì)出現(xiàn)不連貫的情況，這種情況需要更多的研究和解決方案。

總之，非自回歸模型是一種很有前途的技術(shù)，可以成為未來顛覆GPT的重要技術(shù)之一。雖然這些方法仍然需要更多的研究和開發(fā)，但是應(yīng)該持續(xù)關(guān)注它們的發(fā)展。

三種文本生成方式

自回歸（AR）

生成模型基于從左到右的輸出文本，其中每個(gè)標(biāo)記yt是基于輸入文本X和前面的標(biāo)記y

非自回歸（NAR）

與AR模型相比，文本生成模型同時(shí)預(yù)測(cè)輸出文本中的每個(gè)標(biāo)記，而不對(duì)前向或后向標(biāo)記依賴進(jìn)行建模。其中每個(gè)標(biāo)記yt僅根據(jù)輸入文本X進(jìn)行預(yù)測(cè)。獨(dú)立性假設(shè)使NAR生成過程可并行化，從而顯著加快了推理速度。然而，在沒有token依賴的情況下，NAR模型的生成質(zhì)量低于AR模型。

半自回歸（Semi-NAR）

半NAR生成在AR和NAR生成之間形式化，其中每個(gè)標(biāo)記yt以輸入文本X和輸出文本Y的可見部分Yct為條件。

本文主要關(guān)注NAR方法，并同時(shí)考慮文本生成模型的有效性和效率。

一種非自回歸的預(yù)訓(xùn)練方法

本文介紹的方法ELMER是基于Transformer編碼器-解碼器架構(gòu)構(gòu)建的。解碼器和編碼器都由多個(gè)堆疊組成，每個(gè)層包含多個(gè)子層（例如，多頭自注意力和前饋網(wǎng)絡(luò)）。與原始Transformer解碼器自回歸生成文本不同，模型使用NAR方式同時(shí)生成標(biāo)記。給定一對(duì)輸入-輸出文本〈X，Y〉，X被饋送到編碼器中并被處理為隱藏狀態(tài)S = 〈s1，...，sn〉。然后將一系列“[MASK]”標(biāo)記序列饋送到NAR解碼器中以并行生成輸出文本Y中的每個(gè)標(biāo)記。

提前退出機(jī)制

通常情況下，大多數(shù)NAR模型只在最后一層同時(shí)預(yù)測(cè)token，因此，token預(yù)測(cè)不知道其他位置生成的token。為了解決這個(gè)問題，ELMER在不同層生成token。上層token的生成可以依賴于從左側(cè)和右側(cè)生成的下層token。通過這種方式，模型可以明確地學(xué)習(xí)來自不同層標(biāo)記之間的依賴關(guān)系，并且在NAR解碼中享受完全的并行性，如上圖所示。如果在較低層生成token時(shí)有足夠的置信度，則允許模型在該層退出并進(jìn)行預(yù)測(cè)，而不經(jīng)過上層。

層排列預(yù)訓(xùn)練

與大多數(shù)先前工作專注于為特定任務(wù)（如翻譯）設(shè)計(jì)小規(guī)模NAR模型不同，ELMER使用大規(guī)模語(yǔ)料庫(kù)對(duì)通用大規(guī)模PLM進(jìn)行預(yù)訓(xùn)練。這使得ELMER能夠適應(yīng)各種下游任務(wù)。

首先將損壞的文本輸入編碼器，然后使用上述LPLM以NAR方式由解碼器重建原始文本來訓(xùn)練模型。主要采用兩種有用的文檔損壞方法：

洗牌：首先將原文按照句號(hào)分成句子，然后對(duì)這些句子進(jìn)行隨機(jī)洗牌。

文本填充：基于打亂的文本，從泊松分布(λ = 3)中抽取長(zhǎng)度的15%跨度進(jìn)行采樣。在BART之后，每個(gè)span都被替換為單個(gè)“[MASK]” token，模型可以學(xué)習(xí)應(yīng)該預(yù)測(cè)一個(gè)span中的多少個(gè)token。

下游微調(diào)

預(yù)訓(xùn)練模型可用于微調(diào)各種下游文本生成任務(wù)。在微調(diào)階段，可以使用小規(guī)模和特定任務(wù)的數(shù)據(jù)集，精確估計(jì)每個(gè)token的輸出層。在這里主要考慮兩種提前停止方式，即硬提前停止和軟提前停止。

硬提前退出是最直接的方法，它通過計(jì)算每個(gè)標(biāo)記的預(yù)測(cè)置信度，并設(shè)置一個(gè)閾值來決定是否提前退出。如果某個(gè)標(biāo)記的預(yù)測(cè)置信度低于閾值，則不會(huì)進(jìn)行提前退出。

軟提前退出則是一種更加靈活的方法，它允許模型在生成文本時(shí)動(dòng)態(tài)地調(diào)整每個(gè)標(biāo)記的預(yù)測(cè)置信度閾值。具體來說，在軟提前退出中，模型會(huì)根據(jù)當(dāng)前已經(jīng)生成的文本內(nèi)容和上下文信息來動(dòng)態(tài)地調(diào)整每個(gè)標(biāo)記的預(yù)測(cè)置信度閾值。這種方法可以使得模型更加靈活地適應(yīng)不同的文本生成任務(wù)，并且可以在不同任務(wù)之間共享已經(jīng)學(xué)習(xí)到的知識(shí)。

比較

雖然效果上還完全比不上自回歸，但一旦這個(gè)方向成熟，從效率上會(huì)徹底顛覆現(xiàn)在的GPT系列模型。

引用

https://arxiv.org/pdf/2210.13304.pdf

審核編輯 ：李倩