0. 省流版

對(duì)以ChatGPT為代表的LLMs在共情回復(fù)生成上的表現(xiàn)進(jìn)行了全面的實(shí)證研究，LLMs在現(xiàn)有的基準(zhǔn)數(shù)據(jù)集上，對(duì)比以往的SOTA模型，表現(xiàn)極其優(yōu)越。

在LLMs的基礎(chǔ)上，針對(duì)性地提出了三種改進(jìn)方法（語義相似的上下文學(xué)習(xí)、兩階段交互生成以及與知識(shí)庫(kù)相結(jié)合），實(shí)驗(yàn)證明了它們的有效性。

探索了GPT-4模擬人類評(píng)估員的可能性。

1. 動(dòng)機(jī)介紹

共情對(duì)話（Empathetic Dialogue）有利于構(gòu)建助人的AI。共情回復(fù)生成（Empathetic Response Generation）主要涉及理解用戶的經(jīng)歷和感受，并生成適當(dāng)?shù)幕貜?fù)。而使用對(duì)話系統(tǒng)提供共情回復(fù)具有訪問方便、無時(shí)間限制等優(yōu)點(diǎn)。圖1展示了一個(gè)共情對(duì)話示例。

圖1 共情對(duì)話示例

先前大多數(shù)研究者基于可靠的理論知識(shí)設(shè)置了精細(xì)的模型，但是，使用的基礎(chǔ)模型大多是小規(guī)模的。最近，大語言模型（Large Language Models, LLMs）以優(yōu)異的性能被廣泛應(yīng)用于自然語言處理。尤其是ChatGPT的出現(xiàn)引起了學(xué)術(shù)界和工業(yè)界極大的關(guān)注和興趣，它在多種任務(wù)中表現(xiàn)出了非凡的能力，特別是對(duì)話生成。這些LLMs在大量語料上訓(xùn)練，包含了豐富的知識(shí)。在具體任務(wù)中，甚至無需微調(diào)，采用一些gradient-free技術(shù)（例如，In-context Learning, ICL）依舊可以獲得出色的性能。因此，有必要實(shí)證探索LLMs在具體領(lǐng)域的表現(xiàn)，因?yàn)榻鉀Q問題的方式可能會(huì)發(fā)生極大變化。已經(jīng)有一些初步的嘗試[1,2]將LLMs應(yīng)用于共情回復(fù)生成。然而，他們的方法主要關(guān)注預(yù)訓(xùn)練或?qū)τ?xùn)練數(shù)據(jù)進(jìn)行微調(diào)，以及簡(jiǎn)單地探索單個(gè)LLM的能力。

為了研究LLMs在共情回復(fù)生成中的能力，本工作在現(xiàn)有共情對(duì)話的基準(zhǔn)數(shù)據(jù)集上對(duì)LLMs的性能進(jìn)行實(shí)證研究。我們首先采用在零樣本（zero-shot）和少樣本（few-shot）上下文學(xué)習(xí)設(shè)置下的LLMs和大量基線模型進(jìn)行比較。令人驚喜的是，僅僅是上下文學(xué)習(xí)設(shè)置下的GPT-3.5系列LLMs的表現(xiàn)已經(jīng)全面超越了最先進(jìn)的模型。這表明LLMs帶來的范式轉(zhuǎn)變也適用于共情對(duì)話。進(jìn)一步，在最佳性能設(shè)置的LLM基礎(chǔ)上，我們提出了三種可嘗試的方法來繼續(xù)提升其性能。具體來說，分別是借助語義相似性的ICL、兩階段交互生成以及和知識(shí)庫(kù)相結(jié)合的方法來進(jìn)行改進(jìn)。大量的自動(dòng)和人工評(píng)估實(shí)驗(yàn)表明，LLMs可以從我們提出的方法中受益，從而產(chǎn)生更具共情性、連貫性和信息性的回復(fù)。此外，人工評(píng)估一直是共情對(duì)話中極其重要的一環(huán)，但其昂貴且耗時(shí)。鑒于LLMs在共情回復(fù)生成上的杰出表現(xiàn)，我們嘗試?yán)肎PT-4來模擬人類評(píng)估員對(duì)結(jié)果進(jìn)行評(píng)測(cè)。Spearman和Kendall-Tau相關(guān)性結(jié)果表明GPT-4有潛力代替人類評(píng)估員。

2. 方法部分

圖2 整體架構(gòu)圖

我們提出的方法整體如圖2所示，其中包括共情回復(fù)生成的統(tǒng)一模板和三種改進(jìn)方法。左邊部分描述了借助兩階段交互生成的改進(jìn)，中間部分展示了所設(shè)計(jì)的統(tǒng)一模板的組成部分和借助語義相似的上下文學(xué)習(xí)進(jìn)行的改進(jìn)，右邊部分說明了通過知識(shí)庫(kù)進(jìn)行改進(jìn)的細(xì)節(jié)。

2.1 初步探索

LLMs具有上下文學(xué)習(xí)（ICL）的能力，通過向LLMs提供任務(wù)指令和一些示例，它們可以在不進(jìn)行微調(diào)的情況下執(zhí)行相關(guān)任務(wù)。這種能力極大地緩解了對(duì)訓(xùn)練數(shù)據(jù)的需求。我們首先探索了LLMs在零樣本ICL和少樣本ICL設(shè)置上的表現(xiàn)。由于不同的提示（Prompts）可能會(huì)影響性能，我們?cè)谠O(shè)計(jì)提示時(shí)盡量保持一致的風(fēng)格。我們?cè)O(shè)計(jì)的共情對(duì)話提示模板由以下部分組成：

其中，Task Definition是研究者對(duì)該任務(wù)的標(biāo)準(zhǔn)定義，Guideline Instruction是我們期望模型遵循的指令，Exemplars是用于幫助模型更好地理解任務(wù)的對(duì)話示例，Dialogue Context是說話者和傾聽者的歷史對(duì)話，最后一句是說話者的話語，我們的目標(biāo)是讓對(duì)話系統(tǒng)生成傾聽者的下一輪話語。

2.2 進(jìn)階探索

2.2.1 借助語義相似的上下文學(xué)習(xí)的提升

正如[3]所言，少量精心挑選的數(shù)據(jù)也可以提高LLMs的性能。我們合理推測(cè)，除了示例的數(shù)量，示例的質(zhì)量也會(huì)對(duì)模型的性能產(chǎn)生影響。因此，在選擇示例時(shí)，我們從訓(xùn)練集中選擇與現(xiàn)階段對(duì)話上下文語義最接近的示例。我們將對(duì)話內(nèi)容拼接成一個(gè)長(zhǎng)句，用句子編碼器獲得向量表示，通過兩個(gè)句子的向量表示的余弦相似性衡量語義相似性：

2.2.2 借助兩階段交互生成的提升

在共情對(duì)話任務(wù)的設(shè)置中，傾聽者需要推斷說話者的情緒是什么，以及是什么情境導(dǎo)致了這種情緒，從而提供合適的回復(fù)。受開放域?qū)υ捴幸恍┒嚯A段方法的啟發(fā)，結(jié)合共情對(duì)話的特點(diǎn)，我們與LLMs進(jìn)行兩階段對(duì)話交互。具體來說，在第一階段，我們先讓LLMs推測(cè)用戶的情緒狀態(tài)和經(jīng)歷的情境，在第二階段，結(jié)合推斷的結(jié)果生成最終回復(fù)。我們?cè)O(shè)計(jì)的兩階段提示大致如下：

模型在第一階段生成的推測(cè)可以用來分析不同的關(guān)鍵因素（情緒和情境）對(duì)最終結(jié)果的影響，提高可解釋性。

2.2.3 借助知識(shí)庫(kù)的提升

僅僅從歷史對(duì)話中推斷說話者的情緒和情境是不夠的，一個(gè)直接的證據(jù)是，在基準(zhǔn)數(shù)據(jù)集中，最終回復(fù)與歷史對(duì)話幾乎沒有非停用詞的重疊[4]。因此對(duì)話系統(tǒng)需要更多的外部信息來進(jìn)行共情對(duì)話，而我們?nèi)祟愄烊痪邆湟欢ǖ耐獠啃畔?。LLMs通過權(quán)重存儲(chǔ)了大量知識(shí)，因此在執(zhí)行具體任務(wù)時(shí)，如何更好地激發(fā)相關(guān)知識(shí)對(duì)于效果的提升影響很大。一種解決方案是針對(duì)具體任務(wù)微調(diào)LLMs，但這個(gè)過程通常需要昂貴的硬件、時(shí)間和訓(xùn)練數(shù)據(jù)。受最近的共情對(duì)話工作[5]的啟發(fā)，我們考慮用常識(shí)知識(shí)庫(kù)來增強(qiáng)對(duì)話上下文，動(dòng)態(tài)利用外部相關(guān)知識(shí)來刺激LLMs編碼的相關(guān)知識(shí)，從而產(chǎn)生更共情的回復(fù)。具體來說，我們采用BART版本的COMET，其在常識(shí)知識(shí)庫(kù)ATOMIC2020上訓(xùn)練得到，可以為看不見的實(shí)體生成具有代表性的常識(shí)推斷，其中，我們選用了五種關(guān)系（xIntent, XNeed, xWant, xEffect, xReact）[6]。我們根據(jù)不同的對(duì)話上下文動(dòng)態(tài)拼接得到的相對(duì)應(yīng)的常識(shí)推理，從而豐富輸入表示，激發(fā)LLMs的相關(guān)知識(shí)，來產(chǎn)生更合適的回復(fù)：

3. 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集。我們采用大型英文多輪共情對(duì)話基準(zhǔn)數(shù)據(jù)集EMPATHETICDIALOGUES[7]。數(shù)據(jù)集中的每個(gè)對(duì)話都有一個(gè)情緒標(biāo)簽（總共32種類型）和與情緒標(biāo)簽對(duì)應(yīng)的情境。說話者討論他們的處境，傾聽者試圖理解說話者的感受并給出合適的回復(fù)。

評(píng)估相關(guān)。我們進(jìn)行了自動(dòng)評(píng)估和人工評(píng)估。人工評(píng)估包含指標(biāo)評(píng)分和指標(biāo)層面的偏好測(cè)試。

其他。 本文涉及到的LLMs有關(guān)實(shí)驗(yàn)，有償求助了身處國(guó)外的朋友進(jìn)行操作。

3.2 結(jié)果分析

3.2.1 初步探索結(jié)果

表1 LLMs和基線模型的自動(dòng)評(píng)估結(jié)果

表1顯示了LLMs和基線模型的自動(dòng)評(píng)估結(jié)果，其中，LLMs顯著優(yōu)于現(xiàn)有的SOTA (state-of-the-art) 模型，并在所有的自動(dòng)指標(biāo)上實(shí)現(xiàn)了顯著提升，尤其是diversity。對(duì)于DIST-1/2，LLMs分別獲得了51.8%[=(2.96-1.95)/1.95]和92.7%[=(18.29-9.49)/9.49]的提升，這表明LLMs在多樣的語言表達(dá)中具有顯著優(yōu)勢(shì)（主要是unigrams和bigrams）。就BERTScore和BLEU而言，LLMs分別實(shí)現(xiàn)了2.1%[=(2.6+1.6+2.1)/3]和26.95%[=(18.6+35.3)/2]的平均改善。這強(qiáng)調(diào)了LLMs具備強(qiáng)大的上下文能力，可以快速應(yīng)用于未見的特定任務(wù)。此外，我們觀察到示例數(shù)量和多樣性的性能呈正相關(guān)，這表明示例的增加可能會(huì)影響LLMs的語言習(xí)慣。

表2 ChatGPT和對(duì)比的基線模型的人工評(píng)分結(jié)果



表3 指標(biāo)層面的人類偏好測(cè)試結(jié)果

在人工評(píng)估中，我們選擇在大多數(shù)自動(dòng)指標(biāo)上領(lǐng)先的ChatGPT (+5-shot) 作為L(zhǎng)LMs的代表。表2和表3的上部分分別列出了人工評(píng)分和指標(biāo)層面的偏好測(cè)試的結(jié)果。我們觀察到ChatGPT在所有人工指標(biāo)上也極大地優(yōu)于基線模型，這進(jìn)一步證明了LLMs在產(chǎn)生共情、連貫和具備信息量的回復(fù)上的優(yōu)越性。此外，我們注意到基線模型的分?jǐn)?shù)低于以往研究中的數(shù)值。這是因?yàn)镃hatGPT的卓越表現(xiàn)相對(duì)提高了標(biāo)準(zhǔn)。在偏好測(cè)試中，超過70%的情況下，人類評(píng)估員更喜歡ChatGPT生成的回復(fù)，這一現(xiàn)象也可以驗(yàn)證上述觀點(diǎn)。

3.2.2 進(jìn)階探索結(jié)果

表4 進(jìn)階探索的自動(dòng)評(píng)估結(jié)果

進(jìn)階探索的實(shí)驗(yàn)結(jié)果如表4和表3的下部分所示?？偟膩碚f，我們的改進(jìn)方法生成的回復(fù)更容易被人類評(píng)估員接受。這些結(jié)果驗(yàn)證了上下文學(xué)習(xí)示例的選擇、兩階段交互生成和上下文相關(guān)知識(shí)的增強(qiáng)的有效性。

3.2.3LLM模擬人類評(píng)估員的分析

表5 人類評(píng)估員和GPT-4在不同方面的Spearman和Kendall-Tau相關(guān)性

LLMs在生成共情回復(fù)中展現(xiàn)了杰出的性能，自然地，我們想到是否可以使用LLMs模擬人類評(píng)估員來評(píng)估其他模型的性能。與人類評(píng)估員相比，LLMs具有更低的成本和更短的時(shí)間消耗。為此，我們考慮更強(qiáng)大的GPT-4作為評(píng)估器，在相同的設(shè)置下進(jìn)行偏好測(cè)試。我們采用Spearman和Kendall-Tau相關(guān)來評(píng)估人類評(píng)估員和GPT-4的表現(xiàn)，結(jié)果如表5所示。我們觀察到，GPT-4在各個(gè)方面都取得了較好的結(jié)果（參考[8]），這表明LLMs有潛力模擬人類評(píng)估員。

4. 結(jié)論

在這項(xiàng)工作中，我們實(shí)證研究了LLMs在共情回復(fù)生成方面的表現(xiàn)，并提出了三種改進(jìn)方法。自動(dòng)和人工評(píng)估結(jié)果表明，LLMs顯著優(yōu)于最先進(jìn)的模型，并驗(yàn)證了我們提出的改進(jìn)方法的有效性。我們的工作可以有助于更深入地理解和應(yīng)用LLMs進(jìn)行共情對(duì)話，并為類似的任務(wù)提供一些見解。

審核編輯：劉清