導(dǎo)讀

其實(shí)在自監(jiān)督學(xué)習(xí)的概念提出之前，NLP中就已經(jīng)運(yùn)用到了這一思想。

雖然計(jì)算機(jī)視覺在自監(jiān)督學(xué)習(xí)方面取得了驚人的進(jìn)展，但在很長一段時間內(nèi)，自監(jiān)督學(xué)習(xí)一直是NLP研究領(lǐng)域的一等公民。語言模型早在90年代就已經(jīng)存在，甚至在“自我監(jiān)督學(xué)習(xí)”這個術(shù)語出現(xiàn)之前。2013年的Word2Vec論文推廣了這一模式，在許多問題上應(yīng)用這些自監(jiān)督的方法，這個領(lǐng)域得到了迅速的發(fā)展。

這些自監(jiān)督的方法的核心是一個叫做 “pretext task” 的框架，它允許我們使用數(shù)據(jù)本身來生成標(biāo)簽，并使用監(jiān)督的方法來解決非監(jiān)督的問題。這些也被稱為“auxiliary task”或“pre-training task“。通過執(zhí)行此任務(wù)獲得的表示可以用作我們的下游監(jiān)督任務(wù)的起點(diǎn)。

在這篇文章中，我將概述研究人員在沒有明確的數(shù)據(jù)標(biāo)注的情況下從文本語料庫中學(xué)習(xí)表示的各種pretext tasks。本文的重點(diǎn)是任務(wù)的制定，而不是實(shí)現(xiàn)它們的架構(gòu)。

自監(jiān)督的方案

1. 預(yù)測中心詞

在這個公式中，我們?nèi)∫欢ù翱诖笮〉囊恍K文本，我們的目標(biāo)是根據(jù)周圍的單詞預(yù)測中心單詞。

例如，在下面的圖中，我們有一個大小為1的窗口，因此我們在中間單詞的兩邊各有一個單詞。使用這些相鄰的詞，我們需要預(yù)測中心詞。

這個方案已經(jīng)在著名的Word2Vec論文的“Continuous Bag of Words”方法中使用過。

2. 預(yù)測鄰居詞

在這個公式中，我們?nèi)∫欢ù翱诖笮〉奈谋緩埑傻目臻g，我們的目標(biāo)是在給定中心詞的情況下預(yù)測周圍的詞。

這個方案已經(jīng)在著名的Word2Vec論文的“skip-gram”方法中實(shí)現(xiàn)。

3. 相鄰句子的預(yù)測

在這個公式中，我們?nèi)∪齻€連續(xù)的句子，設(shè)計(jì)一個任務(wù)，其中給定中心句，我們需要生成前一個句子和下一個句子。它類似于之前的skip-gram方法，但適用于句子而不是單詞。

這個方案已經(jīng)在Skip-Thought Vectors的論文中使用過。

4. 自回歸語言建模

在這個公式中，我們?nèi)〈罅课礃?biāo)注的文本，并設(shè)置一個任務(wù)，根據(jù)前面的單詞預(yù)測下一個單詞。因?yàn)槲覀円呀?jīng)知道下一個來自語料庫的單詞是什么，所以我們不需要手工標(biāo)注的標(biāo)簽。

例如，我們可以通過預(yù)測給定前一個單詞的下一個單詞來將任務(wù)設(shè)置為從左到右的語言建模。

我們也可以用這個方案來通給定未來的單詞預(yù)測之前的單詞，方向是從右到左。

這個方案已經(jīng)使用在許多論文中，從n-gram模型到神經(jīng)網(wǎng)絡(luò)模型比如神經(jīng)概率語言模型 (GPT) 。

5. 掩碼語言建模

在這個方案中，文本中的單詞是隨機(jī)掩碼的，任務(wù)是預(yù)測它們。與自回歸公式相比，我們在預(yù)測掩碼單詞時可以同時使用前一個詞和下一個詞的上下文。

這個方案已經(jīng)在BERT、RoBERTa和ALBERT的論文中使用過。與自回歸相比，在這個任務(wù)中，我們只預(yù)測了一小部分掩碼詞，因此從每句話中學(xué)到的東西更少。

6. 下一個句子預(yù)測

在這個方案中，我們?nèi)∥募谐霈F(xiàn)的兩個連續(xù)的句子，以及同一文件或不同文件中隨機(jī)出現(xiàn)的另一個句子。

然后，任務(wù)是區(qū)分兩個句子是否是連貫的。

在BERT的論文中，它被用于提高下游任務(wù)的性能，這些任務(wù)需要理解句子之間的關(guān)系，比如自然語言推理(NLI)和問題回答。然而，后來的研究對其有效性提出了質(zhì)疑。

7. 句子順序的預(yù)測

在這個方案中，我們從文檔中提取成對的連續(xù)句子。然后互換這兩個句子的位置，創(chuàng)建出另外一對句子。

我們的目標(biāo)是對一對句子進(jìn)行分類，看它們的順序是否正確。

在ALBERT的論文中，它被用來取代“下一個句子預(yù)測”任務(wù)。

8. 句子重排

在這個方案中，我們從語料庫中取出一個連續(xù)的文本，并破開的句子。然后，對句子的位置進(jìn)行隨機(jī)打亂，任務(wù)是恢復(fù)句子的原始順序。

它已經(jīng)在BART的論文中被用作預(yù)訓(xùn)練的任務(wù)之一。

9. 文檔旋轉(zhuǎn)

在這個方案中，文檔中的一個隨機(jī)token被選擇為旋轉(zhuǎn)點(diǎn)。然后，對文檔進(jìn)行旋轉(zhuǎn)，使得這個token成為開始詞。任務(wù)是從這個旋轉(zhuǎn)的版本中恢復(fù)原來的句子。

它已經(jīng)在BART的論文中被用作預(yù)訓(xùn)練的任務(wù)之一。直覺上，這將訓(xùn)練模型開始識別文檔。

10. 表情符號預(yù)測

這個方案被用在了DeepMoji的論文中，并利用了我們使用表情符號來表達(dá)我們所發(fā)推文的情感這一想法。如下所示，我們可以使用推特上的表情符號作為標(biāo)簽，并制定一個監(jiān)督任務(wù)，在給出文本時預(yù)測表情符號。

DeepMoji的作者們使用這個概念對一個模型進(jìn)行了12億條推文的預(yù)訓(xùn)練，然后在情緒分析、仇恨語言檢測和侮辱檢測等與情緒相關(guān)的下游任務(wù)上對其進(jìn)行微調(diào)。

責(zé)任編輯：lq