0 引言

隨著互聯(lián)網(wǎng)與社交媒體的不斷發(fā)展，越來越多的人使用包含文本,、語音,、圖像在內(nèi)的多模態(tài)數(shù)據(jù)在社交媒體上表達(dá)自己的看法或觀點。海量的多模態(tài)數(shù)據(jù)中蘊(yùn)含著豐富的情感信息,，對多模態(tài)數(shù)據(jù)進(jìn)行情感分析有利于了解人們對某些事件的態(tài)度和看法,，在輿論監(jiān)控、商品推薦,、股市預(yù)測等方面具有很大的應(yīng)用價值,。此外，近年來的研究表明,，與單模態(tài)情感識別模型相比,，多模態(tài)模型在處理社交媒體數(shù)據(jù)時具有更強(qiáng)的魯棒性，并在識別準(zhǔn)確率方面取得了顯著的改進(jìn)[1],。不同的模態(tài)信息可能暗含著不同的情緒,，如圖1所示，可能從文本信息中只能推斷出厭惡的情緒,，而從視覺和語音的組合信息中推斷出悲傷和生氣的情緒,，因此必須充分融合來自不同模態(tài)的信息才能準(zhǔn)確識別出多模態(tài)數(shù)據(jù)中的情感信息。

盡管目前多模態(tài)情感分析在模型性能方面已經(jīng)取得了較好的效果,，但是仍然存在兩個問題需要解決,。第一個問題是情感識別在現(xiàn)實場景中通常是一個多標(biāo)簽分類問題，如何對標(biāo)簽依賴關(guān)系建模并使用標(biāo)簽信息是一項具有挑戰(zhàn)性的任務(wù),。目前大多數(shù)工作將多標(biāo)簽分類問題轉(zhuǎn)換為多個二分類問題,，而忽視了標(biāo)簽之間的依賴性。另一個問題是異構(gòu)模態(tài)信號之間的巨大語義差異,，使得模態(tài)特征難以直接融合,。

目前關(guān)于多模態(tài)情感分析的研究主要集中在設(shè)計高效的模態(tài)融合機(jī)制。Zadeh等[2]利用張量的外積來對不同模態(tài)之間的相互作用進(jìn)行建模,，Tsai等[3]提出了基于注意力的模型,，使用跨模態(tài)注意力融合來自不同模態(tài)的信息。盡管這些模型在多模態(tài)情感識別任務(wù)中取得了良好的效果,，但是忽略了模態(tài)特征之間的語義差異,，影響了多模態(tài)特征融合的效果。Ju等[4]提出了基于序列生成的模型來解決多模態(tài)多標(biāo)簽情感識別問題,，利用序列生成的方式對標(biāo)簽之間依賴關(guān)系建模,，但是這種方法依賴于預(yù)先定義的標(biāo)簽順序并且計算效率低。

本文提出了一種基于標(biāo)簽嵌入的多模態(tài)多標(biāo)簽情感識別算法,，即使用標(biāo)簽嵌入向量對標(biāo)簽依賴性建模,，使用模態(tài)不變表示來減少模態(tài)語義差異。首先，鑒于情感標(biāo)簽包含著豐富的信息,，本文使用標(biāo)簽之間的共現(xiàn)信息來學(xué)習(xí)多模態(tài)情感標(biāo)簽嵌入,。然后，使用CMD分布度量[5]限制不同模態(tài)特征的分布差距,，獲得模態(tài)不變表示,，這種限制有助于縮小不同模態(tài)之間的語義差距，從而使用更簡單的融合方法融合不同模態(tài)特征,。最后,，將所有的模態(tài)特征連接起來，利用學(xué)習(xí)到的標(biāo)簽嵌入和融合特征完成情感識別任務(wù),。

本文在一個公開的多模態(tài)多標(biāo)簽情感數(shù)據(jù)集CMU-MOSEI上進(jìn)行了廣泛的實驗,，以評估方法性能。實驗結(jié)果表明,，該方法能夠有效地融合模態(tài)特征并且對標(biāo)簽依賴進(jìn)行建模,。本文主要貢獻(xiàn)有：

(1)使用標(biāo)簽的共現(xiàn)信息來學(xué)習(xí)標(biāo)簽嵌入，用標(biāo)簽嵌入來表示標(biāo)簽依賴關(guān)系,。

(2)考慮了模態(tài)特征之間的語義差距,，通過在損失函數(shù)中添加對模態(tài)特征的約束來減小模態(tài)特征語義差距。

(3)MOSEI數(shù)據(jù)集的實驗結(jié)果表明,，該方法在多模態(tài)多標(biāo)簽情感識別任務(wù)上相較于現(xiàn)有方法,，性能有明顯提升。

本文詳細(xì)內(nèi)容請下載：http://forexkbc.com/resource/share/2000004619

作者信息：

張  超,，張信明

(中國科學(xué)技術(shù)大學(xué) 大數(shù)據(jù)學(xué)院,，安徽 合肥230026)