1. 動(dòng)機(jī)介紹

對(duì)話中的情感分析已經(jīng)成為自然語(yǔ)言處理（Natural Language Processing, NLP）界的一個(gè)新興話題。大多數(shù)現(xiàn)有的工作主要集中在對(duì)話情緒識(shí)別上（Emotion Recognition in Conversations, ERC），其目的是預(yù)測(cè)對(duì)話中每個(gè)話語(yǔ)的情緒標(biāo)簽[1,2,3]。然而，情感推理任務(wù)，如識(shí)別對(duì)話中情緒背后的原因，還沒有被充分研究。最近，Poria等人[4]認(rèn)為，在對(duì)話中識(shí)別情緒原因（RECCON）有利于提高情緒分析模型的可解釋性和性能。同時(shí)，它在一些領(lǐng)域有潛在的應(yīng)用，如情緒支持系統(tǒng)[5]和共情對(duì)話系統(tǒng)[6]。因此，Poria等人[4]引入了一個(gè)名為RECCON的新任務(wù)，該任務(wù)有一個(gè)標(biāo)注情緒原因的數(shù)據(jù)集。它包括兩個(gè)不同的子任務(wù)：原因跨度抽?。–ausal Span Extraction, CSE）和情緒原因蘊(yùn)含（Causal Emotion Entailment, CEE）。在本文中，我們重點(diǎn)關(guān)注CEE子任務(wù)，其目標(biāo)是預(yù)測(cè)對(duì)話歷史中哪些特定的語(yǔ)句會(huì)引發(fā)目標(biāo)語(yǔ)句中的非中性情緒。

在CEE任務(wù)中，有兩個(gè)主要的挑戰(zhàn)。首先，為了捕捉對(duì)話者之間相互交織的情感動(dòng)態(tài)變化，有必要通過(guò)有效的語(yǔ)境模型來(lái)理解語(yǔ)境中的深層語(yǔ)義關(guān)聯(lián)。其次，要準(zhǔn)確地將候選語(yǔ)句推理到目標(biāo)情感上可能很困難，因?yàn)橐蚬€索并不總是在語(yǔ)境中明確提及，而是應(yīng)該通過(guò)基于推理來(lái)暗示，這就導(dǎo)致了候選語(yǔ)句和目標(biāo)語(yǔ)句之間存在推理空缺。然而，Poria等人[4]簡(jiǎn)單地將CEE表述為一個(gè)語(yǔ)句對(duì)分類問題，這是缺乏足夠的對(duì)話語(yǔ)境模型和有效的情感原因推理的。因此，為了應(yīng)對(duì)這樣的兩個(gè)挑戰(zhàn)，我們將常識(shí)性知識(shí)（Commonsense Knowledge, CSK）[7]引入CEE。

圖1: 數(shù)據(jù)集RECCON-DD示例

一方面，以事件為中心的CSK，對(duì)語(yǔ)句中提到的事件前后可能發(fā)生的事情進(jìn)行揭示，可以被視為語(yǔ)義層面的橋梁（S-bridge），連接對(duì)話的發(fā)展，加強(qiáng)相關(guān)語(yǔ)句之間的語(yǔ)義依賴，從而深入理解對(duì)話的語(yǔ)境信息。如圖1左側(cè)所示，語(yǔ)句#7中PersonA想單獨(dú)離開的事件發(fā)生在PersonA告訴PersonB離開的事件之后，這與語(yǔ)句#1和#5相關(guān)。

另一方面，根據(jù)Moors等人[8],人類的感覺和行動(dòng)傾向是情緒的兩個(gè)重要組成部分，并在很大程度上為目標(biāo)情緒的產(chǎn)生提供了潛在的因果線索。為此，社會(huì)交互CSK被用作情緒層面的橋梁（E-bridge）和行動(dòng)層面的橋梁（A-bridge），根據(jù)對(duì)話者的感覺和行動(dòng)傾向所傳達(dá)的因果線索，將候選語(yǔ)詞與目標(biāo)語(yǔ)詞連接起來(lái)。在圖1中，話語(yǔ)#4中PersonB的狡辯和批評(píng)使PersonA感到憤怒，這與目標(biāo)語(yǔ)句#7所持有的情緒是一致的。此外，語(yǔ)句#5的內(nèi)容暗示了PersonA的行動(dòng)傾向是獨(dú)處，它直接導(dǎo)致了她在目標(biāo)語(yǔ)句#7中表達(dá)的內(nèi)容。

在本文中，我們提出了知識(shí)橋接因果交互網(wǎng)絡(luò)(Knowledge Bridged Causal Interaction Network, KBCIN)，以有效地進(jìn)行語(yǔ)境建模和情緒原因推理。具體來(lái)說(shuō)，我們將一個(gè)對(duì)話抽象為一個(gè)對(duì)話圖，以建模對(duì)話中的語(yǔ)句間依賴關(guān)系。然后，我們引入了以事件為中心的CSKs，包括兩種類型isAfter和isBefore，并設(shè)計(jì)了知識(shí)增強(qiáng)的圖注意力模塊（CSK-Enhanced Graph Attention），將CSKs作為S-bridge在圖上進(jìn)行消息傳遞。此外，為了填補(bǔ)候選語(yǔ)句和目標(biāo)語(yǔ)句之間的推理空缺，我們利用社會(huì)交互CSKs，x(o)Want和x(o)React作為A-bridge和E-bridge。我們?cè)O(shè)計(jì)了情緒交互模塊和行動(dòng)交互模塊，借助這兩個(gè)bridge所傳達(dá)的明確的因果線索，準(zhǔn)確推理出目標(biāo)情緒的原因。而上述三個(gè)模塊構(gòu)成了知識(shí)橋接的因果交互（KBCI）模塊，它作為多個(gè)注意力頭的并列，充分地建模了對(duì)話語(yǔ)句之間的相互依賴關(guān)系，并將目標(biāo)情緒與候選語(yǔ)篇精確地聯(lián)系起來(lái)。

為了評(píng)估所提出的模型的性能，我們?cè)诨鶞?zhǔn)數(shù)據(jù)集[4]上進(jìn)行了廣泛的實(shí)驗(yàn)。我們與CEE、情緒原因抽?。‥CE）和情感-原因?qū)μ崛。‥CPE）任務(wù)上的基線模型相比，取得了最先進(jìn)的性能。

這項(xiàng)工作的主要貢獻(xiàn)總結(jié)如下：

我們將常識(shí)性知識(shí)引入到因果情感實(shí)體化任務(wù)中，以填補(bǔ)候選語(yǔ)句和目標(biāo)語(yǔ)句之間的推理空白。

我們提出了一個(gè)新的模型KBCIN，以常識(shí)性知識(shí)為橋梁，進(jìn)行全面的對(duì)話語(yǔ)境建模和準(zhǔn)確的情感原因推理。

在基準(zhǔn)數(shù)據(jù)集上對(duì)比大多數(shù)強(qiáng)基線的實(shí)驗(yàn)結(jié)果證明了我們模型的優(yōu)越性。

2. 模型方法

圖3: 整體模型架構(gòu)圖

2.1 特征提取

語(yǔ)句級(jí)特征提取。Transformer encoder（Vaswani等人，2017）被作為語(yǔ)句encoder來(lái)提取語(yǔ)料級(jí)特征。具體來(lái)說(shuō)，對(duì)于每條語(yǔ)句，一個(gè)特殊的標(biāo)記[CLS]被拼接到語(yǔ)句的開頭。然后，我們將該序列送入語(yǔ)句編碼器，從最后一個(gè)隱藏層中得到的最大池化后的表示作為每條語(yǔ)句的語(yǔ)句級(jí)特征。

知識(shí)獲取。在這項(xiàng)工作中，我們使用ATOMIC- 2020[7]作為我們的常識(shí)性知識(shí)（CSK）基礎(chǔ)。它是一個(gè)常識(shí)知識(shí)圖，涵蓋日常推理知識(shí)的社會(huì)、物理和時(shí)間相關(guān)方面。

圖2: 常識(shí)知識(shí)圖事件中心CSK和社會(huì)交互CSK示例

為了充分理解對(duì)話中各語(yǔ)句之間的語(yǔ)義依賴關(guān)系，并填補(bǔ)候選語(yǔ)句與目標(biāo)之間的推理空白，我們將CSK作為三座橋梁，分別命名為語(yǔ)義級(jí)橋梁（S-bridge）、情緒級(jí)橋梁（E-bridge）和動(dòng)作級(jí)橋梁（A-bridge）。更具體地說(shuō)，我們從ATOMIC-2020中探索了六種CSK，它們被歸類為以事件為中心的CSK和社會(huì)交互CSK。圖2中顯示了CSK的例子。一方面，根據(jù)事件中心CSK isAfter和isBefore所體現(xiàn)的對(duì)話發(fā)展的脈絡(luò)和因果關(guān)系，語(yǔ)句之間的深層語(yǔ)義依賴將由此來(lái)建立。因此，S-bridge的構(gòu)建是為了對(duì)對(duì)話語(yǔ)境進(jìn)行全面的了解。另一方面，另外兩座橋，E-bridge和A-bridge是由社會(huì)交互CSK xReact, oReact, xWant和oWant構(gòu)建的。而x(o)Want是對(duì)自身（他人）在事件發(fā)生后可能想做什么的描述，而x(o)React體現(xiàn)了自身（他人）在事件發(fā)生后的情緒感受。它們從人的感覺和行動(dòng)傾向的角度出發(fā)，填補(bǔ)了候選語(yǔ)詞和目標(biāo)語(yǔ)詞之間的推理空白。

為了生成給定語(yǔ)句的CSK表示，我們采用了生成性常識(shí)模型COMET[9]，該模型是在ATOMIC-2020上訓(xùn)練的。更具體地說(shuō)，我們使用基于BART[10]的COMET變體。給出對(duì)話中的每個(gè)語(yǔ)句，形成輸入格式，其中r是我們選擇的CSK類型，COMET會(huì)在關(guān)系r下生成推理內(nèi)容的描述，而COMET最后一層的隱狀態(tài)表示被用作CSK代表。通過(guò)這種方式，對(duì)于每個(gè)語(yǔ)句，有六種CSK表示，用于對(duì)話語(yǔ)境建模和情緒原因推理。它們被表示為，分別是關(guān)系類型isAfter、isBefore、xReact、oReact、xWant和oWant的縮寫。

2.2 并行的知識(shí)橋接因果互動(dòng)

受多頭注意力機(jī)制的啟發(fā)[11]，我們提出了并行的知識(shí)橋接因果交互塊，其目的是為了充分理解對(duì)話語(yǔ)境，準(zhǔn)確推理出目標(biāo)語(yǔ)氣中的非中性情緒的原因。對(duì)于每個(gè)模塊，它由三個(gè)部分組成：CSK增強(qiáng)的圖形注意模塊，情感互動(dòng)模塊和行為互動(dòng)模塊。

CSK-增強(qiáng)的圖注意力模塊。我們沒有把CEE定義為一個(gè)沒有明確的語(yǔ)境交互建模的語(yǔ)句對(duì)分類問題，而是把對(duì)話中的語(yǔ)句抽象為一個(gè)對(duì)話圖，其中當(dāng)前的語(yǔ)句只與對(duì)話歷史中的過(guò)去的語(yǔ)句相聯(lián)系。通過(guò)這種方式，我們確保語(yǔ)句的互動(dòng)符合因果關(guān)系的性質(zhì)，即原因只能從過(guò)去推理出來(lái)。每個(gè)節(jié)點(diǎn)的表示都是由相應(yīng)的語(yǔ)句級(jí)特征初始化的。此外，我們計(jì)算目標(biāo)語(yǔ)句和候選語(yǔ)句之間的相對(duì)距離，并利用相對(duì)位置信息來(lái)豐富語(yǔ)句的表示。由于每個(gè)語(yǔ)句的情緒標(biāo)簽被證明在CEE中起著重要作用[4]，我們也考慮到了這一點(diǎn)。因此，每個(gè)節(jié)點(diǎn)的最終表示是通過(guò)以下方式獲得的：

基于原始圖注意網(wǎng)絡(luò)[12]，我們?cè)O(shè)計(jì)了CSK增強(qiáng)的圖注意力來(lái)傳播對(duì)話圖上的信息，并利用以事件為中心的CSK作為S-bridge來(lái)測(cè)量語(yǔ)句間的語(yǔ)義依賴：

權(quán)重被用來(lái)衡量當(dāng)前節(jié)點(diǎn)和其鄰居之間的相關(guān)性。我們將以事件為中心的CSK 和融入進(jìn)入這個(gè)過(guò)程：

與原始的計(jì)算語(yǔ)句表示之間的注意力分?jǐn)?shù)的注意力函數(shù)不同[12]，我們利用以事件為中心的CSK 和作為S-bridge來(lái)衡量語(yǔ)句的依賴關(guān)系。

情緒交互模塊。在S-bridge的幫助下對(duì)對(duì)話語(yǔ)境進(jìn)行了全面的建模后，我們用兩種社會(huì)交互 CSK、 和 或作為E-bridge來(lái)填補(bǔ)推理空白，并根據(jù)情緒因果線索來(lái)推理目標(biāo)情緒。這個(gè)想法的靈感來(lái)自于這樣一個(gè)理論：感受是人類情感中最重要的組成部分[8]。因此，目標(biāo)語(yǔ)句與相應(yīng)的情緒對(duì)那些能夠產(chǎn)生與目標(biāo)語(yǔ)句最相似的情緒或感覺的候選句來(lái)說(shuō)更相關(guān)。此外，為了區(qū)分說(shuō)話人內(nèi)部的依賴性和說(shuō)話人之間的依賴性，和分別作為說(shuō)話人內(nèi)部E-bridge和說(shuō)話人之間E-bridge。情緒相似度得分可以通過(guò)以下方式獲得：

其中 都是線性變換。是目標(biāo)語(yǔ)句的索引， 是對(duì)話歷史中的候選語(yǔ)句的索引。如果目標(biāo)語(yǔ)句 與候選語(yǔ)句 是同一說(shuō)話人，則，否則 。然后我們利用情緒相似度得分 來(lái)對(duì)候選語(yǔ)句的重要性進(jìn)行加權(quán)，并用目標(biāo)語(yǔ)句的表述來(lái)豐富它們：

行動(dòng)交互模塊。由于行動(dòng)傾向是推理人類被引發(fā)的情緒的另一個(gè)重要組成部分，其他兩類社會(huì)交互CSK 和 作為A-bridge，使候選語(yǔ)詞與目標(biāo)語(yǔ)句產(chǎn)生關(guān)聯(lián)，并暗示一致的行動(dòng)傾向。此外，還形成了說(shuō)話人內(nèi)部A-bridge和說(shuō)話人之間A-brige。行動(dòng)相似性得分為：

行動(dòng)交互后的權(quán)重表示為：

最后，在每個(gè)知識(shí)橋接的因果交互塊結(jié)束時(shí)，為了綜合推理過(guò)程中的結(jié)果，我們將對(duì)話表征 、情緒表征 和行動(dòng)表征 加在一起，每個(gè)語(yǔ)句的最終表示為：

2.3 因果語(yǔ)句預(yù)測(cè)

在這里，將每個(gè)并行的KBCI頭的因果表征連接起來(lái)作為輸入，我們利用一個(gè)因果語(yǔ)句預(yù)測(cè)器來(lái)決定候選 是否是目標(biāo) 的原因：

3. 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

表1: 經(jīng)處理的RECCON-DD的統(tǒng)計(jì)數(shù)據(jù)

我們?cè)诨鶞?zhǔn)數(shù)據(jù)集RECCON-DD上進(jìn)行了實(shí)驗(yàn)。它是在數(shù)據(jù)集DailyDialog[13]的基礎(chǔ)上，標(biāo)注了情緒原因標(biāo)簽。我們只考慮對(duì)話歷史中的原因，重復(fù)的因果對(duì)被刪除。表1顯示了經(jīng)過(guò)處理的RECCON-DD的統(tǒng)計(jì)數(shù)據(jù)。

3.2 主實(shí)驗(yàn)結(jié)果及分析

表2: 主實(shí)驗(yàn)結(jié)果

如表2所示，我們提出的模型在REECON-DD數(shù)據(jù)集上取得了最好的結(jié)果。由于RoBERTa-Base/Large的結(jié)果和ECPE的方法是在與我們相同的數(shù)據(jù)集規(guī)模下實(shí)現(xiàn)的，我們直接參考了Poria等人[4]的結(jié)果，我們?cè)谙嗤沫h(huán)境下重新實(shí)現(xiàn)了KEC和ECE任務(wù)下的方法。受益于通過(guò)S-bridge進(jìn)行的有效對(duì)話語(yǔ)境建模和通過(guò)E-bridge和A-bridge進(jìn)行的準(zhǔn)確情緒原因推理，KBCIN取得了最先進(jìn)的Pos. F1和macro F1分?jǐn)?shù)，分別為68.59和79.12。

3.3 消融實(shí)驗(yàn)

表3: 消融實(shí)驗(yàn)結(jié)果

我們進(jìn)行了消融實(shí)驗(yàn)，以驗(yàn)證我們模型中提出的不同模塊的有效性。從表3的結(jié)果可以看出，三個(gè)bridge均對(duì)情緒原因的推理起到正向的增強(qiáng)作用。

3.4 情緒信息的影響

表4: 情緒信息影響分析

為了進(jìn)一步研究對(duì)話歷史中每條語(yǔ)句的情緒信息的影響，我們要么刪除情緒信息，要么用情緒識(shí)別模型預(yù)測(cè)的標(biāo)簽替換真實(shí)情感標(biāo)簽。結(jié)果展示在表4中。我們之所以用預(yù)測(cè)的標(biāo)簽來(lái)測(cè)試KBCIN的性能，是因?yàn)樵趯?shí)際應(yīng)用的情況下，情緒識(shí)別是情緒原因提取的前置過(guò)程，這意味著在實(shí)際應(yīng)用中的情緒原因抽取系統(tǒng)中，對(duì)話歷史中語(yǔ)句的這種真實(shí)情感標(biāo)簽可能無(wú)法獲得。使用預(yù)測(cè)的情緒標(biāo)簽導(dǎo)致的結(jié)果下降，提醒我們要嘗試在對(duì)話中聯(lián)合進(jìn)行情緒識(shí)別和情緒原因提取，這樣可以在兩個(gè)任務(wù)之間共享相關(guān)的情緒信息，緩解兩階段使用情緒信息帶來(lái)的錯(cuò)誤級(jí)聯(lián)傳播問題。

3.5 知識(shí)橋接塊的數(shù)量

圖4: 知識(shí)橋接塊數(shù)量影響分析

由于KBCI是我們模型的創(chuàng)新和關(guān)鍵部分，用于有效的對(duì)話語(yǔ)境建模和準(zhǔn)確的情緒原因推理，我們調(diào)整了不同數(shù)量的KBCI塊來(lái)深入分析性能。結(jié)果顯示在圖4中。隨著KBCI塊的數(shù)量從1到5的增加，配有2個(gè)KBCI塊的模型取得了最好的性能。

4. 結(jié)論

在本文中，我們提出了知識(shí)橋接的因果交互網(wǎng)絡(luò)（KBCIN），用于情緒原因的推理。常識(shí)知識(shí)（CSK）被用作三個(gè)橋梁來(lái)進(jìn)行有效的對(duì)話語(yǔ)境建模和準(zhǔn)確的情緒原因推理。具體來(lái)說(shuō)，我們將對(duì)話抽象為一個(gè)對(duì)話圖，并利用以事件為中心的CSK作為語(yǔ)義層面的橋梁（S-bridge），通過(guò)CSK增強(qiáng)的圖注意力模塊在圖上進(jìn)行消息傳遞，來(lái)增強(qiáng)深層次的語(yǔ)義間的依賴性。而社會(huì)交互CSK作為情緒級(jí)橋梁（E-bridge）和行動(dòng)級(jí)橋梁（A-bridge），從人的感覺和行動(dòng)傾向的角度為情緒交互模塊和行動(dòng)交互模塊提供顯示的因果線索，填補(bǔ)了候選語(yǔ)句與目標(biāo)語(yǔ)句之間的推理空白?；鶞?zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果證明了我們提出的KBCIN的有效性。

審核編輯 ：李倩