識別文本蘊涵的任務(wù)，也稱自然語言推理，是指確定一段文本（前提）是否可被另一段文本（假設(shè)）所暗示或否認（或兩者都不能）。雖然這一問題通常被視為機器學習 (ML) 系統(tǒng)推理能力的重要測試，并且在純文本輸入方面已經(jīng)有過深入研究，但對于此類模型在結(jié)構(gòu)化數(shù)據(jù)，如網(wǎng)站、表格、數(shù)據(jù)庫等方面的應(yīng)用，相關(guān)投入?yún)s要少得多。然而，每當需要將表格的內(nèi)容準確地歸納并呈現(xiàn)給用戶時，識別文本蘊涵就顯得尤為重要，這對于高保真的問答系統(tǒng)和虛擬助手來說更是必不可少。

在發(fā)表于 Findings of EMNLP 2020 的“通過中間預訓練以了解表格(Understanding tables with intermediate pre-training)”中，我們介紹了為表格解析定制的首批預訓練任務(wù)，可使模型從更少的數(shù)據(jù)中更好、更快地學習。

我們在較早的 TAPAS模型基礎(chǔ)上進行了改進，該模型是 BERT雙向 Transformer 模型的擴展，采用特殊嵌入向量在表格中尋找答案。新的預訓練目標應(yīng)用于 TAPAS 后即在涉及表格的多個數(shù)據(jù)集上達成突破性進展。

例如，在 TabFact 上，它將模型和人類之間的表現(xiàn)差距縮小了約 50%。我們還系統(tǒng)地對選擇相關(guān)輸入的方法進行了基準測試以獲得更高效率，實現(xiàn)了速度和內(nèi)存的 4 倍提升，同時保留了 92% 的結(jié)果。適用于不同任務(wù)和規(guī)模的所有模型均已發(fā)布在 GitHub repo 中，您可以在 Colab Notebook 中試用它們。

文本蘊涵

當應(yīng)用于表格數(shù)據(jù)時，相比于純文本，文本蘊涵任務(wù)更具挑戰(zhàn)性。以一份 Wikipedia 的表格為例，其中有一些句子來自其關(guān)聯(lián)的表格內(nèi)容。評估表格內(nèi)容是包含還是與句子相矛盾，這可能需要查看多個列和行，還可能需要執(zhí)行簡單的數(shù)字計算，例如求平均值、求和、差分等。

表格，以及來自 TabFact 的一些語句：表格內(nèi)容可用于支持或反駁語句

按照 TAPAS 使用的方法，我們將語句和表格的內(nèi)容一起編碼，通過 Transformer 模型傳遞，得到一個單一數(shù)字，表示語句被表格蘊涵或反駁的概率。

TAPAS 模型架構(gòu)使用 BERT 模型對語句和展平的表格進行編碼，逐行讀取。特殊嵌入向量用于編碼表格結(jié)構(gòu)。第一個令牌的向量輸出用于預測蘊涵的概率

由于訓練樣本中唯一的信息是一個二元值（即“正確”或“不正確”），因此訓練模型來理解語句是否被蘊涵是具有挑戰(zhàn)性的。這也凸顯了在深度學習中泛化的困難，特別是當提供的訓練信號較為稀缺的時候。發(fā)現(xiàn)孤立的蘊涵或反駁樣本時，模型可以輕松地在數(shù)據(jù)中提取虛假模式進行預測，例如在“Greg Norman and Billy Mayfair tie in rank”中提取“tie”一詞，而不是比較排名，因此無法超越原始訓練數(shù)據(jù)成功應(yīng)用模型。

預訓練任務(wù)

預訓練任務(wù)可通過提供大量現(xiàn)成的未標記數(shù)據(jù)來“預熱”模型。然而，預訓練通常主要包括純文本而非表格數(shù)據(jù)。事實上，TAPAS 最初的預訓練使用的是簡單的掩碼語言建模目標，而這一目標并非為表格數(shù)據(jù)應(yīng)用而設(shè)計。為了提高模型在表格數(shù)據(jù)上的性能，我們引入了兩個新的預訓練二元分類任務(wù)，稱其為反事實和合成任務(wù)，可以用作預訓練的第二階段（通常稱為中間預訓練）。

在反事實任務(wù)中，我們從 Wikipedia 提取句子，該句子提到同時出現(xiàn)在給定表格中的實體（人、地點或事物）。然后，在 50% 的時間里，我們將實體替換為另一個替代實體來修改語句。為了確保語句的真實性，我們在表格中同一列的實體內(nèi)選擇一個替換。模型以識別語句是否被修改為目標接受訓練。這項預訓練任務(wù)包括數(shù)百萬個這樣的樣本，雖然它們的推理并不復雜，但通常還是會聽起來很自然。

對于合成任務(wù)，我們采取類似于語義解析的方法，使用一組簡單的語法規(guī)則生成語句，要求模型理解基本的數(shù)學運算，比如求和與求平均值（例如“the sum of earnings”），或者理解如何使用條件過濾表格中的元素（例如“the country is Australia”）。雖然這些語句是人為的，但它們?nèi)匀挥兄谔岣吣Ｐ偷臄?shù)字和邏輯推理能力。

兩個新的預訓練任務(wù)的示例實例。反事實示例將輸入表格隨附的句子中提及的實體換為一個可信的替代實體。合成語句使用語法規(guī)則創(chuàng)建新句子，這些句子需要以復雜的方式組合表格的信息

結(jié)果

我們通過與基線 TAPAS 模型和先前兩個文本蘊涵領(lǐng)域的成功模型 LogicalFactChecker (LFC) 和 Structure Aware Transformer (SAT) 進行比較，評估了反事實和合成預訓練目標在 TabFact 數(shù)據(jù)集上的成功?；€ TAPAS 模型相對于 LFC 和 SAT 表現(xiàn)出更好的性能，但預訓練的模型 (TAPAS+CS) 的性能明顯更好，達到新的技術(shù)水平。

我們還將 TAPAS+CS 應(yīng)用于 SQA 數(shù)據(jù)集上的問答任務(wù)，這要求模型在對話框環(huán)境下從表格內(nèi)容中找到答案。加入 CS 目標后，最佳性能相比于之前提高了 4 個百分點以上，這表明這種方法還可以將性能泛化到文本蘊涵之外。

TabFact（左）和 SQA（右）的結(jié)果。使用合成和反事實數(shù)據(jù)集，我們在這兩項任務(wù)中都以較大優(yōu)勢取得了新的最先進結(jié)果

數(shù)據(jù)和計算效率

反事實和合成預訓練任務(wù)的另一個方面是，由于模型已經(jīng)針對二元分類進行了調(diào)整，因此可以應(yīng)用而無需對 TabFact 進行任何微調(diào)。我們探索了只對數(shù)據(jù)的一個子集（甚至沒有數(shù)據(jù)）進行訓練時，每個模型會發(fā)生什么。不查看單個樣本時，TAPAS+CS 模型與強基線 Table-Bert 不相上下，只包含 10% 的數(shù)據(jù)時，結(jié)果與先前的最先進水平相當。

TabFact 上的開發(fā)準確率相對于所用訓練數(shù)據(jù)的分數(shù)

試圖使用此類大型模型對表格進行操作時，一個普遍的擔憂是，高計算要求會使其難以解析非常大的表格。為了解決這個問題，我們研究了是否可以啟發(fā)式地選擇要通過模型的輸入子集，以優(yōu)化其計算效率。

我們對各種過濾輸入的方法進行了系統(tǒng)性研究，發(fā)現(xiàn)選擇整列和主題語句之間的單詞重疊的簡單方法可獲得最佳結(jié)果。通過動態(tài)選擇要包括的輸入令牌，我們可以使用更少的資源或以相同的成本處理更大的輸入。這樣做的挑戰(zhàn)是如何保留重要信息和準確率。

例如，上述模型全部使用 512 個令牌的序列，接近于 Transformer 模型的正常極限（盡管最近的效率方法，如 Reformer或 Performer被證明可以有效地縮放輸入大?。Ｎ覀冊谶@里提出的列選擇方法可以讓訓練速度更快，同時還能在 TabFact 上實現(xiàn)高準確率。對于 256 個輸入令牌，我們的準確率下降非常小，但現(xiàn)在可以對模型進行預訓練、微調(diào)，并使預測速度提高 2 倍。在 128 個令牌的情況下，模型仍然優(yōu)于之前的最先進模型，速度提升更為顯著，獲得 4 倍全面提升。

通過我們的列選擇方法縮短輸入，使用不同序列長度在 TabFact 上得出的準確率

使用我們提出的列選擇方法和新穎的預訓練任務(wù)，可以創(chuàng)建出以更少數(shù)據(jù)和更少計算能力得出更好結(jié)果的表格解析模型。

我們已經(jīng)在 GitHub repo 中提供了新的模型和預訓練技術(shù)，您可以在 Colab 中親自嘗試。為了使這種方法更易于使用，我們還共享了不同大小的模型，最小到“Tiny”。我們希望這些結(jié)果有助于在更廣泛的研究社區(qū)中推動表格推理的發(fā)展。

這項工作由蘇黎世語言團隊的 Julian Martin Eisenschlos、Syrine Krichene 和 Thomas Müller 完成。

原文標題：用于表格數(shù)據(jù)推理的小樣本學習

文章出處：【微信公眾號：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq