這是一篇關(guān)于多跳問答(multi-hop QA)任務(wù)的論文，不同于單跳QA，multi-hop QA任務(wù)下問題的答案需要對多個(gè)段落或篇章進(jìn)行多跳推理。

然而，現(xiàn)有的相關(guān)工作仍舊存在一些挑戰(zhàn)與困難需要被進(jìn)一步研究:

現(xiàn)有工作會使用類似信息檢索的思想來查找問題相關(guān)的段落，然后用MRC任務(wù)中類似的方法來找到問題的答案，但存在的問題是: 怎么將散落在不同語義粒度(段落、句子、實(shí)體)的信息聚合起來，用于問題答案和支撐事實(shí)發(fā)現(xiàn)的聯(lián)合預(yù)測;

為了更好地利用文中用于answer發(fā)現(xiàn)的evidence, 一些工作通過構(gòu)建實(shí)體級別的圖結(jié)構(gòu)來進(jìn)行推理；然而，基于實(shí)體圖的方法能夠用于預(yù)測問題的答案，卻不能用于支撐事實(shí)的發(fā)現(xiàn)。

基于以上問題，作者設(shè)計(jì)了Hierarchical Graph Network (HGN)來進(jìn)行multi-hop QA 任務(wù)，較之以往工作，它有以下三個(gè)特點(diǎn):

具有四種類型的節(jié)點(diǎn)，分別是問題節(jié)點(diǎn)、段落節(jié)點(diǎn)、句子節(jié)點(diǎn) 和 實(shí)體節(jié)點(diǎn)，不同類型的節(jié)點(diǎn)可分別用于multi-hop QA下的不同步驟下的子任務(wù)中；

引入預(yù)訓(xùn)練語言模型來學(xué)習(xí)文本的上下文表示，并得到節(jié)點(diǎn)的初始化表示，再通過圖網(wǎng)絡(luò)進(jìn)一步更新節(jié)點(diǎn)表示；

由于問題的答案不一定是一個(gè)實(shí)體，因此在答案預(yù)測時(shí)引入 span prediction 來發(fā)現(xiàn)非實(shí)體的問題答案。

具體地，HGN模型由如下部分構(gòu)成:

Graph Construction Module: 分層圖構(gòu)建模塊，包括三個(gè)步驟: 通過title matching 選擇與問題相關(guān)的段落、發(fā)現(xiàn)段落中能夠提供指向其他段落證據(jù)的實(shí)體、句子，基于以上兩邊得到了圖中所需的節(jié)點(diǎn)，再根據(jù)規(guī)則在節(jié)點(diǎn)之間添加上連邊。

Context Encoding Module：使用Roberta和BiLSTM對文本進(jìn)行編碼，得到問題節(jié)點(diǎn)、段落節(jié)點(diǎn)、句子節(jié)點(diǎn)的初始表示。

Graph Reasoning Module：使用圖注意力機(jī)制在節(jié)點(diǎn)之間進(jìn)行信息傳遞，更新節(jié)點(diǎn)的表示。

Multi-task Prediction Module：分步進(jìn)行如下三個(gè)子任務(wù): 基于段落節(jié)點(diǎn)的段落選擇、基于句子節(jié)點(diǎn)的支撐事實(shí)預(yù)測、以及基于實(shí)體節(jié)點(diǎn)答案預(yù)測 以及基于上下文表示和span prediction的非entity答案預(yù)測。

作者使用HGN模型在HotpotQA 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在兩種任務(wù)設(shè)置下，都在Answer Prediction與Support Fact Prediction的聯(lián)合任務(wù)上都取得了sota效果。

最后，作者又進(jìn)行了一系列的分析，包括誤差分析、消融實(shí)驗(yàn)、不同預(yù)訓(xùn)練模型對實(shí)驗(yàn)結(jié)果的影響以及HGN在不同推理類型下的性能。

責(zé)任編輯：xj

原文標(biāo)題：【每日一讀】EMNLP2020: 面向多跳問答的分層圖網(wǎng)絡(luò)

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。