本研究設(shè)計(jì)了一種簡(jiǎn)單有效的標(biāo)簽系統(tǒng)將重疊和嵌套事件抽取轉(zhuǎn)換成了詞對(duì)關(guān)系分類的任務(wù)，觸發(fā)詞、論元以及其間的關(guān)系可以并行地同時(shí)被預(yù)測(cè)出來(lái)，達(dá)到非?？斓某槿∷俣?，在3個(gè)重疊或嵌套的事件抽取數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果達(dá)到了SOTA。

一、動(dòng)機(jī)介紹

1.1重疊和嵌套事件抽取

事件抽取（Event Extraction，EE）是自然語(yǔ)言處理領(lǐng)域的一項(xiàng)非?；镜娜蝿?wù)，在社區(qū)長(zhǎng)久以來(lái)一直得到廣泛的研究。EE的目標(biāo)是從文本中抽取事件觸發(fā)詞和相關(guān)的論元。傳統(tǒng)的事件抽取關(guān)注于普通的事件，認(rèn)為觸發(fā)詞和論元之間沒(méi)有重疊，忽視了復(fù)雜的事件模式，即重疊事件和嵌套事件：

Flat Event：觸發(fā)詞和論元之間沒(méi)有重疊；

Overlapped Event：多個(gè)事件的共享重疊的觸發(fā)詞或論元；

Nested Event：一個(gè)事件的論元是另外一個(gè)事件。

圖1：普通事件（a），重疊事件（b），嵌套事件（c）

以圖1為例，(b)中Investment事件和Share Transfer事件共享了”acquired”這一重疊觸發(fā)詞，以及”Citic Securities”，”Guangzhou Securities”是重疊的論元。(c)中Gene Expression事件是Positive Regulation的Theme論元。

1.2重疊和嵌套事件抽取方法

截止當(dāng)前，重疊和嵌套事件抽取領(lǐng)域的主流方法大致有三類：

基于Pipleline的方法；

基于多輪QA的方法；

基于級(jí)聯(lián)網(wǎng)絡(luò)的方法。

這些方法都是Multi-stage的，用多個(gè)連續(xù)的階段分別抽取事件觸發(fā)詞和論元。其中，基于級(jí)聯(lián)網(wǎng)絡(luò)的方法CasEE是之前的SOTA，CasEE依次預(yù)測(cè)事件類型、抽取觸發(fā)詞、抽取論元。這些Multi-stage的方法后面階段的預(yù)測(cè)依賴于前面的預(yù)測(cè)結(jié)果，難以避免地帶來(lái)了誤差傳播的問(wèn)題。

本研究關(guān)注于構(gòu)建一種高效的EE框架，能夠在一個(gè)階段同時(shí)解決重疊和嵌套的事件抽取。

1.3本文的方法

傳統(tǒng)的事件抽取使用序列標(biāo)注的方法無(wú)法解決重疊和嵌套的問(wèn)題，現(xiàn)有的工作使用指針網(wǎng)絡(luò)分別識(shí)別觸發(fā)詞或論元的頭尾token；我們?cè)卺槍?duì)重疊和嵌套事件的共性進(jìn)行深入挖掘后，發(fā)現(xiàn)可以通過(guò)token-pair之間的關(guān)系分類進(jìn)行統(tǒng)一建模。觸發(fā)詞和論元可以通過(guò)token-head和token-tail之間聯(lián)系，而論元的角色可以通過(guò)觸發(fā)詞和論元之間的關(guān)系建模，例如圖1（b）中觸發(fā)詞”acquired”和論元”Guangzhou Securities”表達(dá)了object關(guān)系。

根據(jù)上述觀察，本文將Overlapped and Nested EE任務(wù)轉(zhuǎn)化成一種詞對(duì)的關(guān)系分類任務(wù)，通過(guò)這種標(biāo)簽體系能夠在一個(gè)階段內(nèi)抽取出事件類型、觸發(fā)詞、論元以及論元的角色，在此基礎(chǔ)提出了一種新的EE框架（A One-Stage Framework for Fast Overlapping and Nested Event Extraction），名為OneEE。具體地，該框架的目標(biāo)是將EE轉(zhuǎn)變?yōu)樽R(shí)別出觸發(fā)詞和論元中所蘊(yùn)含的兩種類型的關(guān)系，即：

Span關(guān)系（S-T, S-A）；

Role關(guān)系（R-*）；

具體的詞對(duì)關(guān)系分類示例如圖2所示。其中S-T表示兩個(gè)詞是某個(gè)觸發(fā)詞的頭部和尾部，S-A表示兩個(gè)詞是某個(gè)論元的頭部和尾部（如”Citic”->”Securities”，Argument），R-*表示該詞作為觸發(fā)詞的事件中，另一個(gè)詞扮演了角色類型為*的論元（如“acquired”->“Citic Securities”，Subject）。

圖2：關(guān)系分類示例

二、模型框架

圖3給出了OneEE整體的框架結(jié)構(gòu)。其整體可分為三層：輸入編碼層，自適應(yīng)事件融合曾以及最后的聯(lián)合解碼層。其中解碼層是本論文的核心。

圖3：模型整體結(jié)構(gòu)

2.1 編碼層

給定一個(gè)輸入句子，將每一個(gè)詞轉(zhuǎn)換成多個(gè)word piece，并將他們輸入預(yù)訓(xùn)練的BERT模塊中。進(jìn)過(guò)BERT計(jì)算后，使用最大池化操作將這些word piece表示重新聚合成詞表示。

2.2 自適應(yīng)事件融合層

由于該框架的目標(biāo)是預(yù)測(cè)目標(biāo)事件類型的詞對(duì)之間的關(guān)系，因此生成高質(zhì)量的事件感知的表示十分重要。因此，為了融合編碼器提供的事件信息和上下文信息，本論文設(shè)計(jì)了一個(gè)自適應(yīng)事件融合層。其中注意力模塊用于建模不同事件類型之間的交互并獲得全局事件信息，兩個(gè)門融合模塊用于將全局事件信息和目標(biāo)事件類型信息與上下文化的詞表示融合。

2.3 解碼層

在自適應(yīng)事件融合層之后，獲得了事件感知的詞表示，用于預(yù)測(cè)詞對(duì)之間的Span關(guān)系和Role關(guān)系，對(duì)于每個(gè)詞對(duì)(w_i , w_j )，計(jì)算一個(gè)分?jǐn)?shù)來(lái)衡量它們對(duì)于關(guān)系 s ∈ S 和 r ∈ R 的可能性。為了使預(yù)測(cè)層對(duì)于詞與詞之間的相對(duì)距離敏感，論文還引入了旋轉(zhuǎn)式的相對(duì)位置編碼，設(shè)計(jì)了距離感知的打分函數(shù)。損失函數(shù)部分本文使用了Circle Loss的變體，將交叉熵?fù)p失擴(kuò)展到多標(biāo)簽分類問(wèn)題，并緩解了類別不均衡的問(wèn)題。

在解碼階段，該模型通過(guò)將事件類型Embedding并行地插入自適應(yīng)事件融合層來(lái)抽取所有事件。如圖 4 所示，一旦該模型在一個(gè)階段預(yù)測(cè)了某種事件類型的所有標(biāo)簽，整個(gè)解碼過(guò)程可以概括為四個(gè)步驟：首先，獲得觸發(fā)詞或論元的開(kāi)始和結(jié)束索引；其次，獲得觸發(fā)詞和論元的span；第三，根據(jù) R-* 關(guān)系匹配觸發(fā)詞和論元；最后，將事件類型分配給該事件結(jié)構(gòu)。

圖4：解碼示例

三、實(shí)驗(yàn)結(jié)果

本文在3個(gè)重疊和嵌套的事件抽取數(shù)據(jù)集上（包括英文和中文）進(jìn)行了實(shí)驗(yàn)，分別是：

FewFC，一個(gè)中文金融事件抽取數(shù)據(jù)集，標(biāo)注了10種事件類型和18種論元，有約22%的句子包含重疊事件；

Genia 11和Genia 13，兩個(gè)英文醫(yī)學(xué)領(lǐng)域數(shù)據(jù)集，有約18%的句子包含嵌套事件，Genia11 標(biāo)注了9種事件類型和10種論元，而Genia13的數(shù)字是13和7。

表1-2分別展示了上述任務(wù)和數(shù)據(jù)集上與基線模型對(duì)比的結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出的基于詞對(duì)關(guān)系分類的One-Stage方法，可以同時(shí)解決重疊和嵌套的事件抽取，并在3個(gè)數(shù)據(jù)集上的效果都優(yōu)于之前的工作，并且推理速度也是最快的。

表1：FewFC, 重疊事件抽取

表2：Genia 11和Genia 13, 嵌套事件抽取

圖5：重疊事件與嵌套事件抽取效果對(duì)比

圖6：觸發(fā)詞和論元不同距離論元角色抽取效果對(duì)比

通過(guò)進(jìn)一步的消融實(shí)驗(yàn)，我們探索了不同參數(shù)和部件對(duì)整體框架的影響。此外我們模型在相對(duì)較小的參數(shù)情況下，其訓(xùn)練和推理速度超過(guò)了多個(gè)非連續(xù)實(shí)體識(shí)別模型。

表6：消融實(shí)驗(yàn)

表 7：模型參數(shù)與效率對(duì)比

四、總結(jié)

在本文中，我們提出了一種基于詞-詞關(guān)系識(shí)別的新型單階段框架，以同時(shí)解決重疊和嵌套的事件抽取。詞對(duì)之間的關(guān)系被預(yù)定義為觸發(fā)詞或論元內(nèi)的詞-詞關(guān)系以及跨越觸發(fā)詞-論元對(duì)。此外，我們提出了一個(gè)有效的模型，該模型由一個(gè)用于融合目標(biāo)事件表示的自適應(yīng)事件融合層和一個(gè)用于聯(lián)合識(shí)別各種關(guān)系的距離感知的預(yù)測(cè)層組成。實(shí)驗(yàn)結(jié)果表明，我們提出的模型在三個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了新的 SoTA 結(jié)果，并且比 SoTA 模型更快。