1. 總述

關(guān)系抽取(Relation Extraction, RE)是從純文本中提取未知關(guān)系事實，是自然語言處理領(lǐng)域非常重要的一項任務(wù)。過去的關(guān)系抽取方法主要將注意力集中于抽取單個實體對在某個句子內(nèi)反映的關(guān)系，然而單句關(guān)系抽取在實踐中受到不可避免的限制：在真實場景如醫(yī)療、金融文檔中，有許多關(guān)系事實是蘊含在文檔中不同句子的實體對中的，且文檔中的多個實體之間，往往存在復(fù)雜的相互關(guān)系。如下圖所示：

圖中包括了文章中的三個關(guān)系事實（從文檔標(biāo)注的諸多關(guān)系事實中采樣得到），其中涉及這些關(guān)系事實的命名實體用彩色著色，其它命名實體用下劃線標(biāo)出。與句子級相比，文檔級關(guān)系抽取中的文本要長得多，并且包含更多的實體， 這使得文檔級關(guān)系抽取更加困難。其中(Maryland, country, US)、(Baltimore, located_in, Maryland) 和 (Eldersburg, located_in, Maryland)三組triples中的實體在同一個句子中的出現(xiàn)，這種句內(nèi)關(guān)系相對容易識別。然而，跨句實體之間的關(guān)系識別更具挑戰(zhàn)性， 例如，關(guān)系事實（Baltimore，country，U.S.）和（Eldersburg，country，U.S.）中的相關(guān)實體并沒有出現(xiàn)在同一個句子中并且需要長距離依賴， 具體來說，多個三元組之間的相互依賴是有利的，可以為實體多的情況下的關(guān)系分類提供指導(dǎo)。例如，如果句內(nèi)關(guān)系 (Maryland, country, US) 已被識別，則{US} 不可能處于任何 person-social 關(guān)系中，例如"is the father of." 此外，根據(jù){Eldersburg} 位于{Maryland} 和{Maryland} 屬于{US} 的三元組，我們可以推斷{Eldersburg} 屬于{US} . 如上所述，每個關(guān)系三元組可以向同一文本中的其他關(guān)系三元組提供信息。

文檔級關(guān)系抽取主要面臨以下三個挑戰(zhàn):

1.相同關(guān)系會出現(xiàn)在多個句子。在文檔級關(guān)系抽取中，單一關(guān)系可能出現(xiàn)在多個輸入的句子中，因此模型需要依賴多個句子進(jìn)行關(guān)系推斷。

2.相同實體會具有多個指稱。在復(fù)雜的文檔中，同一個實體具有各種各樣的指稱，因此模型需要聚合不同的指稱學(xué)習(xí)實體表示。

3.不同三元組之間需要信息交互。文檔包含多個實體關(guān)系三元組，不同的實體關(guān)系三元組之間存在邏輯關(guān)聯(lián)，因此模型需要捕捉同一篇文檔中三元組之間的信息交互。

然而先前的基于graph或基于transformer的模型僅單獨地使用實體對，而未考慮關(guān)系三元組之間的全局信息。本文創(chuàng)新性地提出DocuNet模型，首次將文檔級關(guān)系抽取任務(wù)類比于計算機視覺中的語義分割任務(wù)。DocuNet模型利用編碼器模塊捕獲實體的上下文信息，并采用U-shaped分割模塊在image-style特征圖上捕獲三元組之間的全局相互依賴性，通過預(yù)測實體級關(guān)系矩陣來捕獲local和global信息以增強文檔級關(guān)系抽取。實驗結(jié)果表明，我們的方法可以在三個基準(zhǔn)數(shù)據(jù)集DocRED，CDR和GDA上獲得SOTA性能。

2.方法

具體來說，DocuNet模型分為三個模塊：

（1）Encoder Module

我們將triple抽取視為sequence-to-sequence的任務(wù)，以更好地對實體和關(guān)系之間的交叉依賴進(jìn)行建模。我們將輸入文本和輸出三元組定義為源和目標(biāo)序列。源序列僅由輸入句子的標(biāo)記組成，例如“[CLS] The United States President Trump was raised in the borough of Queens ...[SEP]”。我們連接由特殊標(biāo)記 ”< e >” 和 ”< /e >”分隔的每個實體/關(guān)系的三元組作為目標(biāo)序列。

其中是實體感知注意力的注意力權(quán)重，對于矩陣中的每個實體，它們的相關(guān)性由一維特征向量捕獲。

（2）U-shaped Segmentation Module

三元組之間存在局部語義依賴，語義分割中的CNN可以促進(jìn)感受野中實體對之間的局部信息交換。文檔級RE還需要全局信息來推斷三元組之間的關(guān)系，語義分割模塊中的下采樣和上采樣可以擴大當(dāng)前實體pair對嵌入的感受野，能夠增強全局隱式推理：

我們把實體級關(guān)系矩陣作為D-channel圖像，我們將文檔級關(guān)系預(yù)測公式化為像素級掩碼， 其中N是從所有數(shù)據(jù)集樣本中統(tǒng)計出的最大實體數(shù)。

（3）Classification Module

給定實體pair的特征表示和實體級關(guān)系矩陣Y，我們使用前饋神經(jīng)網(wǎng)絡(luò)將它們映射到隱藏表示z。然后，我們通過雙線性函數(shù)獲得實體pair之間關(guān)系預(yù)測的概率表示如下：

由于觀察到 RE 存在不平衡關(guān)系分布（許多實體對具有 NA 的關(guān)系），我們引入了一種平衡的 softmax 方法進(jìn)行訓(xùn)練:

3. 實驗

（1）數(shù)據(jù)集

為了驗證DocuNet的效果，我們在三個文檔級關(guān)系抽取數(shù)據(jù)集上評測，數(shù)據(jù)集具體分析如下所示：

（2）實驗結(jié)果

由下面實驗結(jié)果表明，DocuNet比以往的文檔級關(guān)系抽取方法效果更佳。

4. 總結(jié)與展望

在本文中，我們把文檔級關(guān)系抽取任務(wù)看作語義分割來求解，直接給出了如何將 UNet 應(yīng)用于文檔級 RE 的解決方案，實驗結(jié)果表明U-shaped模塊能有效得理解局部上下文和全局相互依賴性。目前結(jié)果表明U-shaped模塊中的卷積學(xué)習(xí)了 RE 三元組之間的相互作用，但仍U-shaped模塊的推理作用尚是隱式的，未來對U-shaped模塊進(jìn)一步的可視化分析有助于我們加強理解其是如何做三元組之間推理的。我們的方法證實了語義分割模塊在處理RE中有效性，仍需要更多的工作去探索U-shaped模塊在如aspect-based sentiment analysis等其他nlp任務(wù)上的應(yīng)用。