本文是平安科技發(fā)表在ACL2020上的一篇論文，思路比較新穎，它將ERC任務看做序列標注任務，并對情感一致性進行建模。

之前解決ERC的思路是利用上下文的話語特征預測對話中單個話語的情感標簽，但是這樣做忽略了情感標簽之間的固有關系。本在本文中，作者提出了一種將情感分類看作序列標注的模型。對于給定的會話，我們考慮附近的情感標簽之間的關系，而不是獨立地預測話語的情感標簽，并一次性為整個會話選擇全局最佳的標簽序列。**情感一致性(emotional consistency)**就是指說話者下一句話的情感與這一句話的情感呈現(xiàn)出一致性。

本文的貢獻

第一次將ERC任務建模為序列標記，并用CRF建模會話中的情感一致性。CRF層利用上文和下文的情感標簽來聯(lián)合解碼整個對話的最佳標簽序列。

應用多層Transformer編碼器來增強基于LSTM的全局上下文編碼器，這是因為在遠距離上下文特征抽取方面，Transformer的抽取能力遠強于LSTM。

本文在三個對話數(shù)據(jù)集上做了實驗，實驗表明對情感一致性和遠程上下文依賴關系進行建模可以提高情感分類的性能。

模型

作者提出了Contextualized Emotion Sequence Tagging(CESTa)模型

話語特征提取(Utterances Features)

對于對話中的第t個話語，其句子表示**ut**由單層CNN提取并饋入全局上下文編碼器和個人上下文編碼器。

全局上下文編碼器(Global Context Encoder)

說話者之間的依賴關系對于對話中的情感動態(tài)至關重要，比如當前說話者的情緒可以被對方的話語改變，因此必須考慮上下文信息。全局上下文編碼器對所有句子編碼，使用的是多層Transformer + BiLSTM，意在捕捉長距離上下文信息。

個人上下文編碼器(Individual Context Encoder)

個人上下文編碼器會跟蹤每個說話者的自我依賴關系，從而反映出說話者在談話過程中對自己的情感影響。在情感慣性的影響下，說話者傾向于保持穩(wěn)定的情緒狀態(tài)，直到對方導致變化。

本層采用的是LSTM作為個人上下文編碼器，在每個時間步輸出所有說話者的狀態(tài)。

CRF層

全局上下文編碼器的輸出gt和個人上下文編碼器的輸出st做一個拼接操作經(jīng)過全連接層送入CRF層產(chǎn)生最終的預測，并選擇選擇最大分數(shù)的序列作為輸出。

實驗

作者在三個對話數(shù)據(jù)集上開展了實驗

與baseline相比，本文的模型在三個數(shù)據(jù)集上均取得了SOTA結果

研究Transformer Enhancing在不同長度對話上的表現(xiàn)

作者在IEMOCAP數(shù)據(jù)集上對比了CESTa模型與去掉Transformer的模型變體做了對比，從下圖可以看出，當數(shù)據(jù)集中話語長度超過54時，兩者之間的差距變大，體現(xiàn)出了Transformer在捕捉長距離上下文特征的能力。

情感一致性分析

作者在IEMOCAP數(shù)據(jù)集上檢驗了情感一致性，比較了兩個模型，一個是帶有CRF層的CESTa模型，另一個是使用softmax層而不是CRF進行分類的對比模型，從下圖可以看出CESTa模型較好地學習了情感一致性。

責任編輯：xj

原文標題：【ACL2020】CESTa, 將對話中的情感分類任務建模為序列標注任務

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉載請注明出處。