自然語言理解研究的快速發(fā)展，特別是在學(xué)習(xí)語義文本表示方面的發(fā)展可以促進(jìn)一些新穎的產(chǎn)品，如自動(dòng)寫作和“TalktoBooks”搜索等。本文介紹了谷歌在語義文本表示方面的最新進(jìn)展，以及開源的兩個(gè)新模型。

基于神經(jīng)網(wǎng)絡(luò)的自然語言理解研究的快速發(fā)展，它還可以幫助提高數(shù)據(jù)量有限的各種自然語言任務(wù)的性能，比如基于僅有的幾百個(gè)標(biāo)簽樣例來構(gòu)建強(qiáng)大的文本。

下面，我們將討論兩篇關(guān)于Google語義表示最新進(jìn)展的論文，以及在TensorFlow Hub上可以下載使用的兩個(gè)新模型，我們希望開發(fā)者能夠使用這些模型來構(gòu)建新的、令人興奮的應(yīng)用程序。

語義文本相似度

在“從對(duì)話中學(xué)習(xí)語義文本相似性（Learning Semantic Textual Similarity from Conversations）”這篇論文中，我們引入了一種新的方法來學(xué)習(xí)語義文本相似性的句子表示。基于的想法是：如果句子有相似的反應(yīng)分布，那么它們?cè)谡Z義上是相似的。例如，“你多大了？”和“你的年齡是多少？”這兩個(gè)問題都是關(guān)于年齡的問題，可以用類似的回答作為響應(yīng)，比如“我20歲”。相比之下，“你好嗎？”和“你多大了？”"包含幾乎相同的單詞，它們有非常不同的含義并會(huì)對(duì)應(yīng)不同的響應(yīng)。

在這項(xiàng)工作中，我們的目標(biāo)是通過一種響應(yīng)式的分類任務(wù)來學(xué)習(xí)語義相似性，具體方法如下：給定一個(gè)對(duì)話輸入，我們希望從一組隨機(jī)選擇的響應(yīng)中對(duì)正確的響應(yīng)進(jìn)行分類。但是，最終的目標(biāo)是學(xué)習(xí)一種能夠返回表示各種自然語言關(guān)系編碼的模型，包括相似性和關(guān)聯(lián)性。通過添加另一個(gè)預(yù)測(cè)任務(wù)（在本例中是SNLI entailment數(shù)據(jù)集），并通過共享編碼層強(qiáng)制執(zhí)行，我們?cè)谙嗨贫攘糠矫娅@得了更好的性能，相似度的衡量指標(biāo)有很多，例如用于句子相似性基準(zhǔn)性度量的STSBenchmark和用于衡量一個(gè)問題/問題相似任務(wù)的CQA task B指標(biāo)。這是因?yàn)檫壿嬐评砼c簡(jiǎn)單的等價(jià)性有很大的不同，并且為學(xué)習(xí)復(fù)雜的語義表示提供了更多的借鑒意義。

通用句子編碼器

在“通用句子編碼器（Universal Sentence Encoder）”中，我們引入了一個(gè)模型，它對(duì)上面描述的多任務(wù)訓(xùn)練進(jìn)行了擴(kuò)展，并增加了更多的任務(wù)，并使用一個(gè)類似于skip-thought的模型來訓(xùn)練它們，它可以在給定的文本范圍內(nèi)來預(yù)測(cè)句子。

然而，最初的skip-thought模型，是一種只使用編碼器的體系結(jié)構(gòu)，而非在最初的skip-thought模型中使用編碼-解碼體系結(jié)構(gòu)來驅(qū)動(dòng)預(yù)測(cè)任務(wù)的模型。通過這種方式可以大大減少訓(xùn)練時(shí)間，同時(shí)保留各種傳遞任務(wù)的性能，包括情感和語義相似的關(guān)系。其目的是提供一個(gè)單一的編碼器，它可以支持盡可能廣泛的應(yīng)用程序，包括解釋檢測(cè)、關(guān)聯(lián)、集群和自定義文本分類。

正如我們的論文中所描述的，通用句子編碼器模型的一個(gè)版本使用了一個(gè)深度平均網(wǎng)絡(luò)（DAN）編碼器，而第二個(gè)版本使用了更復(fù)雜的自我參與的網(wǎng)絡(luò)架構(gòu)：變壓器（Transformer）。

基于更復(fù)雜的體系結(jié)構(gòu)的模型比簡(jiǎn)單的DAN模型在各種情緒和相似的處理任務(wù)上表現(xiàn)得更好，而對(duì)于短句來說它只是反應(yīng)的稍微慢一些。然而，隨著句子長(zhǎng)度的增加，使用Transformer的模型的計(jì)算時(shí)間會(huì)顯著增加，而DAN模型的計(jì)算時(shí)間則保持不變。

新模型

除了上面描述的通用句子編碼器模型之外，我們還在TensorFlow Hub上共享兩個(gè)新模型：通用句子編碼器-large版（Universal Sentence Encoder - Large）和通用句子編碼器-Lite版（Universal Sentence Encoder - Lite）。這些都是預(yù)先訓(xùn)練的張量模型，它的返回值是可變長(zhǎng)度文本輸入的語義編碼。這些編碼可用于語義相似度測(cè)量、相似性關(guān)系檢測(cè)、分類或自然語言文本的聚類。

在我們的第二篇論文中描述了這個(gè)Large模型。它針對(duì)需要高精度語義表示的場(chǎng)景，以及以速度和大小為代價(jià)的最佳模型性能。

Lite模型是通過一個(gè)句子的詞匯表而不是單詞來訓(xùn)練的，這樣就可以減少詞匯的大小，這是模型大小的主要貢獻(xiàn)者。它針對(duì)的是內(nèi)存和CPU等資源有限的場(chǎng)景，比如基于設(shè)備或基于瀏覽器實(shí)現(xiàn)。

我們很高興能與社區(qū)分享這項(xiàng)研究，以及這些模型。我們認(rèn)為，我們?cè)谶@里展示的只是一個(gè)開始，還有一些重要的研究問題需要解決，比如將技術(shù)擴(kuò)展到更多的語言之上（上面討論的模型目前支持英語）。我們還希望進(jìn)一步開發(fā)這種技術(shù)，使它能夠理解段落甚至文檔級(jí)別的文本。在完成這些任務(wù)的過程中，有可能制造出真正“通用”的編碼器。