過去幾年，深度學(xué)習(xí)架構(gòu)和算法在圖像識別和語音處理等領(lǐng)域取得了重大的進步。而在NLP（自然語言處理）領(lǐng)域，起初并沒有太大的進展。不過現(xiàn)在，NLP領(lǐng)域取得的一系列進展已證明深度學(xué)習(xí)技術(shù)將會對自然語言處理做出重大貢獻。一些常見的任務(wù)如實體命名識別，詞類標(biāo)記及情感分析等，自然語言處理都能提供最新的結(jié)果，并超越了傳統(tǒng)方法。另外，在機器翻譯領(lǐng)域的應(yīng)用上，深度學(xué)習(xí)技術(shù)所取得的進步應(yīng)該是最顯著的。

這篇文章中，我將在通過一些深度學(xué)習(xí)技術(shù)來闡述2017年NLP領(lǐng)域所取得的一系列進步。相關(guān)的科技論文，框架和工具有很多，在這里我沒辦法逐一列出，內(nèi)容也不詳盡。我只是想和大家分享并介紹今年一系列我最喜歡的研究。

我認為，2017年是深度學(xué)習(xí)的一個重要年份，隨著深度學(xué)習(xí)技術(shù)在NLP領(lǐng)域中的應(yīng)用不斷深入且產(chǎn)生了令人驚喜的結(jié)果，所有的跡象都表明，NLP領(lǐng)域?qū)⒃谏疃葘W(xué)習(xí)技術(shù)的輔助下繼續(xù)高效前進。

從訓(xùn)練word2vec到使用預(yù)訓(xùn)練模型

可以說，詞嵌入模型（Word embedding）是深度學(xué)習(xí)技術(shù)在NLP領(lǐng)域最顯著的技術(shù)。他們遵循了Harris (1954) 提出的分布式假說。根據(jù)這個假說可知，具有相似含義得此通常會出現(xiàn)在上下文的語境中。關(guān)于詞嵌入的詳細解釋，你也可以閱讀Gabriel Mordecki的文獻。

諸如word2vec(Mikolov等，2013)和Glove(Pennington等，2014)等算法已經(jīng)成為NLP領(lǐng)域的代表性算法。盡管它們不能被認為是深度學(xué)習(xí)技術(shù)在該領(lǐng)域的應(yīng)用(word2vec中應(yīng)用淺層神經(jīng)網(wǎng)絡(luò)，而Glove是基于計數(shù)模型的一種算法)，但是用他們訓(xùn)練得到的模型作為大量深度學(xué)習(xí)模型的輸入，也是深度學(xué)習(xí)技術(shù)與自然語言處理領(lǐng)域相結(jié)合的一種常見方式。因此，目前在我們領(lǐng)域中應(yīng)用詞嵌入模型，通常被視為是一種好的嘗試。

一開始，給定一個需要詞嵌入模型的NLP問題,我們更希望在一個與領(lǐng)域相關(guān)的大語料庫中訓(xùn)練我們自己的模型。當(dāng)然，這不是使用詞嵌入模型最好的方式，所以需要從預(yù)訓(xùn)練模型開始慢慢進行。通過維基百科，Twitter，Google新聞，網(wǎng)頁抓取等數(shù)據(jù)的訓(xùn)練，這些模型可以很容易地讓你將詞嵌入模型整合到深度學(xué)習(xí)算法中去。

今年的研究進展證實了預(yù)訓(xùn)練詞嵌入模型仍然是NLP領(lǐng)域的一個關(guān)鍵性的問題。例如，來自Facebook AI Research(FAIR)實驗室的fastText模型，用294種語言發(fā)布預(yù)訓(xùn)練好的模型向量，這是一項偉大的工作，對于我們研究領(lǐng)域來說更是一重大的貢獻。除了大量的語言的使用，由于fastText使用字符n-grams作為語義特征，使得該模型能夠得到很大的應(yīng)用。

此外，fastText模型還能避免OOV問題(超出詞匯量問題)，因為即使是一個非常罕見的詞(如特定領(lǐng)域的專業(yè)術(shù)語)也有可能與一個常見詞共享同一個n-gram字符。因此，從這個意義上來說，fastText模型比word2vec和Glove模型表現(xiàn)得更好，并且對于小數(shù)據(jù)庫有著更優(yōu)的性能。

然而，盡管我們可以看到該領(lǐng)域一些進步，但是對這領(lǐng)域的研究還有很長一段路要走。例如，著名的NLP框架spaCy以本地的方式將詞嵌入模型和深度學(xué)習(xí)模型集成并應(yīng)用到諸如NER和Dependency Parsing等NLP任務(wù)中，并允許用戶更新模型或使用自己的模型。

我認為這是需要研究的東西。未來，對于這些易于應(yīng)用到特定領(lǐng)域(諸如生物學(xué)，文學(xué)，經(jīng)濟學(xué)等)的NLP框架來說，進行預(yù)訓(xùn)練得到模型是一種非常好的方式。根據(jù)我們的情況，以最簡單的方式對模型進行一系列的微調(diào)優(yōu)化，來提高模型的性能。同時，一些適用于詞嵌入模型的方法也開始慢慢出現(xiàn)。

調(diào)整通用嵌入模型應(yīng)用于特定的案例

也許使用預(yù)訓(xùn)練的詞嵌入模型的最大缺點是訓(xùn)練數(shù)據(jù)與我們問題中使用的實際數(shù)據(jù)之間存在詞分布差距（word distributional gap）。這么說吧，假設(shè)你有生物學(xué)論文集，食譜和經(jīng)濟領(lǐng)域的研究文章，由于你可能沒有足夠大的語料庫來訓(xùn)練得到良好性能的詞嵌入模型，所以你需要通用嵌入模型來幫助你改善研究結(jié)果。但是如果通用嵌入模型可以進行調(diào)整并應(yīng)用于你所需要的特定案例呢？

這個想法是簡單而又有效的。想象一下，我們知道在源域中單詞w的詞嵌入是w_s。為了計算w_t(目標(biāo)域)的嵌入，作者向w_s添加了兩個域之間的一定量的傳輸?；旧?，如果這個詞在這兩個領(lǐng)域出現(xiàn)的都很頻繁，那就意味著它的語義不具有領(lǐng)域依賴性。

在這種情況下，由于傳輸量很高，因此在兩個域中產(chǎn)生的詞嵌入趨勢是相似的。但是，對于特定領(lǐng)域的詞，會在一個領(lǐng)域出現(xiàn)的更頻繁，所需要傳輸?shù)牧渴呛苄〉摹?/span>

關(guān)于詞嵌入的研究課題至今還沒有得到廣泛的研究和探索，但我認為在近期會得到更多的關(guān)注。

情感分析將有一個難以置信的作用

今年，Ranford等人發(fā)現(xiàn)訓(xùn)練模型中的單個神經(jīng)元對于情感價值有著高度的預(yù)測性，為進一步預(yù)測Amazon評論文本中的下一個字符，他們探索了字節(jié)級循環(huán)語言模型的特性。結(jié)果表明，這個單一的“情感神經(jīng)元”的確能夠相當(dāng)準確地預(yù)測并將評論分類為正負面。

注意到這種行為之后，他們決定在 Stanford Sentiment Treebank數(shù)據(jù)庫上測試模型，并發(fā)現(xiàn)模型的準確性高達91.8%，而之前最好的模型準確度為90.2%。這說明，使用很少的樣本，以無監(jiān)督的方式進行訓(xùn)練的模型，至少在一個特定但廣泛研究的數(shù)據(jù)庫上得到了最先進的情感分析結(jié)果。

工作中的情感神經(jīng)元

由于模型的表現(xiàn)是基于字符水平的，所以神經(jīng)元在文本中改變了每個字符的狀態(tài)，這是相當(dāng)驚人的行為。

例如，在一個單詞后面，神經(jīng)元的值變?yōu)閺姷恼?，然而這種作用效果將隨著詞的消失而消失，這看起來也是有道理的。

生成帶極偏見性文本

當(dāng)然，訓(xùn)練好的模型仍然是一個有效的生成模型，所以它可以用來生成類似Amazon評論的文本。但是，我覺得很棒的是，你可以通過簡單地覆蓋情感神經(jīng)元的價值來選擇生成樣本的極性。

文本生成示例（來源-https://blog.openai.com/unsupervised-sentiment-neuron/）

Krause等（2016）所選擇的NN模型是由Krause等人提出的乘式LSTM模型。這是因為他們觀察到，該模型的超參數(shù)設(shè)置方式能比正常的LSTM模型更快地收斂。它有4096個神經(jīng)元，并用8200萬條Amazon的評論語料庫來進行訓(xùn)練。

為什么訓(xùn)練有素的模型能夠準確地捕捉到情感概念中一些開放而迷人的問題呢。與此同時，你也可以嘗試訓(xùn)練自己的模型并進行實驗。當(dāng)然，如果你有充裕的時間和GPU的話，那么用四款NVIDIA Pasca GPUs，對這個特定的模型進行訓(xùn)練，仍需要花費一個月時間才能完成。

Twitter上的情感分析

無論是人們對企業(yè)品牌的評價，分析營銷活動的影響，還是衡量上次競選期間民眾對希拉里·克林頓和唐納德·特朗普的整體感受，Twitter的情感分析都是一個非常強大的工具。

SemEval 2017

Twitter上的情感分析已經(jīng)引起了NLP研究人員的興趣，同時也得到政治和社會科學(xué)界的廣泛關(guān)注。這就是為什么自2013年以來，SemEval比賽都會提出一系列具體的任務(wù)。

今年的比賽共有48支參賽隊伍參與了競賽，表現(xiàn)出極大的熱情和興趣。為了讓你更好地了解Twitter推出的SemEval比賽究竟是什么（http://www.aclweb.org/anthology/S17-2088），讓我們來看看今年提出的五個子任務(wù)。

• 子任務(wù)A：給定一個推文，來判斷所表達的情緒是積極的、消極的還是中性的。

• 子任務(wù)B：給定一個推文和一個話題，分兩種情況下表達對這個話題的觀點：正面與負面。

• 子任務(wù)C：給定一個推文和一個話題，分五種情況來表達對這個話題的觀點：強勢、弱勢、中性、弱肯定性和強大的消極。

• 子任務(wù)D：給定一個關(guān)于某個話題的推文，評估推文在正性和負性類別中的分布情況。

• 子任務(wù)E：給定一組關(guān)于某個話題的推文，評估推文在五中情緒類別中的分布情況：強勢、弱勢、中性、弱弱及強大。

正如你所看到的，子任務(wù)A是最常見的任務(wù)，有38個團隊參與了這個任務(wù)的評估，而其他的任務(wù)則更具挑戰(zhàn)性。今年有20支團隊使用了卷積神經(jīng)網(wǎng)絡(luò)(CNN)和長短期記憶網(wǎng)絡(luò)(LSTM)模型。此外，盡管SVM模型仍然非常流行，但是一些參賽隊伍都將它與神經(jīng)網(wǎng)絡(luò)的方法或詞嵌入特征相結(jié)合。

BB_twtr系統(tǒng)

今年讓我比較驚奇的發(fā)現(xiàn)是BB_twtr系統(tǒng)（Cliche，2017），它是一個純粹的深度學(xué)習(xí)系統(tǒng)，并且在英語的5個子任務(wù)中排名第一。 作者將10個CNN結(jié)構(gòu)和10個biLSTM結(jié)構(gòu)集合(ensemble)起來，采用不同的超參數(shù)和預(yù)訓(xùn)練策略來進行訓(xùn)練。

為了訓(xùn)練這些模型，作者使用了人工標(biāo)注的推文(tweets)（給定一個數(shù)量級，子任務(wù)A有49,693個），并且構(gòu)建了一個包含1億條推文的未標(biāo)記數(shù)據(jù)集，這個數(shù)據(jù)集只是通過簡單的標(biāo)記一條推文來獲取，比如表示推文內(nèi)容積極的表情符號是:-)，對于內(nèi)容消極的推文就是相反的表情。這些推文中的小寫，標(biāo)記，URL和表情符號被替換為特定的標(biāo)記(,, etc.)，并且字符重復(fù)的內(nèi)容將會統(tǒng)一，例如，“niiice”和“niiiiiiiice”變成“niice”。

為了對用作CNN和biLSTM結(jié)構(gòu)輸入的單詞嵌入信息進行預(yù)訓(xùn)練，作者在未標(biāo)記的數(shù)據(jù)集上使用了word2vec，GloVe和fastText（全部使用默認設(shè)置）詞向量。然后他使用距離數(shù)據(jù)集(distant dataset)來提煉嵌入特征是為了增加作用力信息，然后使用人工標(biāo)記的數(shù)據(jù)集再次提取它們的特征。

作者使用以前的SemEval數(shù)據(jù)集進行實驗表明，使用GloVe詞向量會降低性能，而且對于所有好的數(shù)據(jù)集都沒有唯一的最佳模型。 然后作者將所有模型與軟投票策略結(jié)合起來。 由此產(chǎn)生的模型結(jié)果比2014年和2016年的歷史最好的歷史成績更勝一籌，而且也與其他年份非常接近。最后，它在2017自然語言競賽 SemEval 數(shù)據(jù)集5子任務(wù)中排名第一。

即便這種組合采取的簡單的軟投票策略并不能看作是一種有效的方式，但是這項工作表明了將深度學(xué)習(xí)模型結(jié)合起來的可能性，以及一種幾乎端到端的方法（輸入必須經(jīng)過預(yù)處理 ）。并且是在Twitter的情感分析中是可以超越監(jiān)督方法的。

一個令人興奮的抽象概括系統(tǒng)

自動概括和自動翻譯一樣，是最早的NLP任務(wù)之一。目前有兩種主要的方法：基于提取的方法，其概括是通過從源文本中提取最重要的段而建立的，而基于抽象的方法則是通過生成文本來構(gòu)建概括。

從發(fā)展歷史上看，基于提取的方法是最常用的，因為它們比基于抽象的方法簡單。在過去的幾年里，基于RNN的模型在文本生成方面取得了驚人的成果。它們在簡短的輸入輸出文本上表現(xiàn)得非常好，但是對于長文本往往是不連貫和重復(fù)的。

在Paulus等人的工作中，他們提出了一種新的神經(jīng)網(wǎng)絡(luò)模型來克服這個局限性。結(jié)果令人興奮，如下圖所示

生成概括的模型說明（https://einstein.ai/research/your-tldr-by-an-ai-a-deep-reinforced-model-for-abstractive-summarization）

作者使用了一個biLSTM編碼器來讀取輸入和一個LSTM解碼器來產(chǎn)生輸出。他們的主要貢獻是一種新的內(nèi)部注意（intra-attention）策略，這種策略是分別關(guān)注輸入和連續(xù)產(chǎn)生的輸出，和一種結(jié)合了標(biāo)準的有監(jiān)督的詞預(yù)測和強化學(xué)習(xí)的新的訓(xùn)練方法。

內(nèi)部注意策略

提出內(nèi)部注意策略的目的是為了避免輸出中的重復(fù)。為了達到這個目的，它們在解碼時使用時間上的注意力來查看輸入文本的已輸入片段，然后決定下一個將要產(chǎn)生的字。這迫使模型在生成過程中使用輸入的不同部分。他們還允許模型訪問解碼器以前的隱藏狀態(tài)。然后將這兩個函數(shù)組合起來，為輸出概括選擇最好的下一個單詞。

強化學(xué)習(xí)

為了創(chuàng)建一個概括，需要兩個不同的人使用不同的單詞和句子順序，這兩個概括才可能被認為是有效的。因此，一個好的概括不一定非要是盡可能匹配訓(xùn)練數(shù)據(jù)集中單詞序列的序列。

由于知道這一點，作者沒有采用標(biāo)準的教師強迫算法來使每個解題步驟的損失最小化，而是依靠強化學(xué)習(xí)策略，并且證明了這是一個很好的選擇。

幾乎是端到端模型最好的結(jié)果

該模型在美國有線電視新聞網(wǎng)和每日郵報數(shù)據(jù)集上進行了測試，并取得了最先進的成果。此外，一項帶有人類評估者的具體實驗結(jié)果也顯示了人類對于生成的文本在可讀性和質(zhì)量方面的提高。

這些結(jié)果是令人欽佩的，該模型的基本預(yù)處理過程是：輸入文本進行分詞，小寫字母，數(shù)字用“0”替換，然后刪除數(shù)據(jù)集中一些特定的實體。

邁出無監(jiān)督機器翻譯的第一步？

雙語詞典歸納，即用兩種語言的源語和單語語料庫來識別單詞翻譯對，這其實是一個古老的NLP任務(wù)。自動生成的雙語詞典有助于其他的NLP任務(wù)，如信息檢索和統(tǒng)計機器翻譯。 然而，這些方法大部分時間都依賴于某種資源，通常是一個初始的雙語詞典，但是這個詞典并不總是可用或者很容易建立。

隨著詞嵌入方法的成功，跨語言詞嵌入的設(shè)想也出現(xiàn)了，目標(biāo)是對齊嵌入空間而不是詞典。 不幸的是，第一種方法也依賴于雙語詞典或平行的語料庫。Conneau等（2018）提出了一個非常超前的方法，它不依賴于任何特定的資源，并且在多個語言對（language pairs）的語言翻譯，句子翻譯檢索和跨語言單詞相似性三個任務(wù)上優(yōu)于現(xiàn)有的監(jiān)督方法。

作者開發(fā)的方法是將輸入的兩組單詞嵌入在單語數(shù)據(jù)上進行獨立訓(xùn)練來學(xué)習(xí)它們之間的映射，使得翻譯后的內(nèi)容在空間上接近。他們使用fastText詞向量是在維基百科文檔上訓(xùn)練出無監(jiān)督的詞向量。

以下圖片詮釋了他們的核心想法：

建立兩個詞在嵌入空間之間的映射（https://arxiv.org/abs/1710.04087）

紅色的X分布是英語單詞的嵌入，藍色的Y分布是意大利語單詞的分布。

首先，他們使用對抗學(xué)習(xí)（adversarial learning-https://en.wikipedia.org/wiki/Adversarial_machine_learning）來學(xué)習(xí)用于第一次原始對齊的旋轉(zhuǎn)矩陣W.。他們根據(jù)Goodfellow等人在2014年提出的想法，主要是是訓(xùn)練了一個生成對抗網(wǎng)絡(luò)（GAN）。要了解GAN是如何工作的，我建議你讀這篇由Pablo Soto撰寫的文章（https://tryolabs.com/blog/2016/12/06/major-advancements-deep-learning-2016/）。

為了在對抗學(xué)習(xí)方面對問題進行建模，他們將判別器定義為確定的角色，給定從WX和Y隨機采樣的一些元素（參見上圖中的第二列），每個元素代表一種語言。然后，他們訓(xùn)練W以防止判別器做出好的預(yù)測。

這在我看來非常聰明和優(yōu)雅的做法，并且直接得出的結(jié)果也是相當(dāng)不錯的。

之后，他們再采用了兩個步驟來完善整個映射。第一個步驟是為了避免映射計算中由罕見字引入的噪聲。另一個步驟是為了使用學(xué)習(xí)的映射和距離度量來建立實際的翻譯。

在某些情況下的結(jié)果是非常好的。 例如，對于英語—意大利語之間單詞的翻譯，在P @ 10的情況下，他們勝過了最佳平均精確度近17％。

英語-意大利語單詞翻譯的平均精度

作者聲稱，他們的方法可以看作是邁向了無監(jiān)督機器翻譯的第一步。我們可以看一看這個新的有前景的方法到底能走多遠。

專業(yè)化的框架和工具

通用的DL框架和工具有很多種，比如說被廣泛應(yīng)用的Tensorflow，Keras還有PYTorch。不過，具體到開源的NLP方向的DL框架和工具卻剛嶄露頭腳。今年對我們來說是非常棒的一年，因為有很多有用的開源框架已經(jīng)在社區(qū)里實現(xiàn)了。這其中有三個框架吸引了我的注意力，我覺得各位肯定也會非常感興趣。

Allen NLP

Allen NLP 框架（http://allennlp.org/papers/AllenNLP_white_paper.pdf）是建立在PyTorch之上的平臺，設(shè)計之初的目的是為了在語義NLP的任務(wù)中用起來更簡單。它的目的是讓研究者能夠設(shè)計和評價新的模型。它包括了通用語義NLP任務(wù)中的模型的參考實現(xiàn)，這些任務(wù)包括語義角色標(biāo)簽、文本蘊含以及共指消解。

Parl AI

Parl AI框架（https://arxiv.org/pdf/1705.06476.pdf）是一個針對對話研究的開源軟件平臺。該平臺是用Python來實現(xiàn)的，旨在為分享、訓(xùn)練以及對話模型測試提供一個聯(lián)合框架。ParlAI提供了一個非常簡單的可以與亞馬遜的Mechanical Turk合并機制。它也提供了當(dāng)下很流行的數(shù)據(jù)集并且支持好幾種模型，包括神經(jīng)模型，例如：記憶網(wǎng)絡(luò)、seq2seq和LSTMs。

Open NMT

OpenNMT工具集是一個通用的針對序列到序列的模型的框架。它可以用來執(zhí)行機器翻譯、總結(jié)以及圖像到文字、語音識別的任務(wù)。

終極思考

DL技術(shù)的使用在解決NLP問題中的穩(wěn)步增長是不容置疑的。最能說明的一個指標(biāo)就是過去幾年中，深度學(xué)習(xí)論文中使用關(guān)鍵NLP會議中的占比的變化，例如ACL、EMNLP、EACL和NAACL。

深度學(xué)習(xí)論文的比例

然而，真正的端到端的學(xué)習(xí)才剛剛開始。我們正在處理典型的NLP任務(wù)來為數(shù)據(jù)集做準備，例如，清理，標(biāo)記化或者一些實體的統(tǒng)一（例如：URL，數(shù)字、電子郵箱等）。我們也用通用的嵌入式，缺點就是它們不能抓住特殊領(lǐng)域的關(guān)鍵詞的重要性，而且它們在多文字表達中表現(xiàn)的很糟糕，這是我在工作的項目中反復(fù)發(fā)現(xiàn)的一個關(guān)鍵問題。

對應(yīng)用于NLP的深度學(xué)習(xí)來說，今年是非常不錯的一年，希望2018年能有更多端到端的學(xué)習(xí)著作，能有更多趨于成熟的開源框架。你可以在評論區(qū)和我們盡情分享你對這些著作和框架的思考和意見，更歡迎你分享本文沒有提到的框架和著作。