《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 人工智能 > 設(shè)計(jì)應(yīng)用 > 基于方面情感的層次化雙注意力網(wǎng)絡(luò)
基于方面情感的層次化雙注意力網(wǎng)絡(luò)
《信息技術(shù)與網(wǎng)絡(luò)安全》2020年第6期
宋 婷1，陳戰(zhàn)偉2
1.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原030024,； 2.中國(guó)移動(dòng)通信集團(tuán)山西有限公司,，山西 太原030001
摘要： 基于深度學(xué)習(xí)的方面級(jí)情感分析，結(jié)合注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型取得較好的分類效果,，但常用方法僅考慮單一層面注意力機(jī)制,，且無法獲取句子間依賴關(guān)系。設(shè)計(jì)了一種層次化的雙注意力神經(jīng)網(wǎng)絡(luò)模型用于方面級(jí)情感分析,，針對(duì)特定方面引入方面目標(biāo)的注意力機(jī)制以及文本上下文自注意力機(jī)制,，獲取方面特征信息和句子的全局依賴信息；設(shè)計(jì)層次化GRU網(wǎng)絡(luò),，其中單詞層嵌入特定方面信息,，獲取針對(duì)方面目標(biāo)的句子內(nèi)部特征信息，句子層網(wǎng)絡(luò)通過雙注意力機(jī)制和詞語層的輸入,，獲取句子間的特征依賴信息,，從而實(shí)現(xiàn)深層次的方面情感分類。在SemEval 2014兩個(gè)數(shù)據(jù)集和Twitter數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn),，驗(yàn)證了該方法的有效性,，針對(duì)方面級(jí)情感，分類準(zhǔn)確率均得到了有效提升,。
中圖分類號(hào)： TP391
文獻(xiàn)標(biāo)識(shí)碼： A
DOI： 10.19358/j.issn.2096-5133.2020.06.005
引用格式： 宋婷,，陳戰(zhàn)偉. 基于方面情感的層次化雙注意力網(wǎng)絡(luò)[J].信息技術(shù)與網(wǎng)絡(luò)安全，2020,，39(6)：24-30.
Hierarchical double attention network for aspect sentiment analysis
Song Ting1,，Chen Zhanwei2
1.School of Computer Science and Technology，Taiyuan University of Science and Technology,，Taiyuan 030024,，China； 2.China Mobile Communications Group Shanxi Co.,，Ltd.,，Taiyuan 030001，China
Abstract： Aspect-level sentiment analysis based on deep learning, and a neural network model combined with attention mechanisms achieve good classification results. But common methods only consider single-level attention mechanisms and cannot obtain inter-sentence dependencies. In this paper,，a hierarchical dual attention neural network model for aspect-level sentiment analysis was designed. It introduces the attention mechanism of aspect targets for specific aspects, and the text context self-attention mechanism to obtain aspect characteristic information and global dependency information of sentences; designs Hierarchical GRU network, in which the word layer embeds specific aspect information to obtain the internal characteristic information of the sentence for the aspect target,，and the sentence layer network uses the dual attention mechanism and the input of the word layer to obtain the feature-dependent information between sentences and to achieve a deep level aspect emotion classification. A comparison experiment was performed on the two SemEval 2014 datasets and the Twitter dataset to verify the effectiveness of the method. The classification accuracy rate for aspect-level emotions was effectively improved.
Key words : hierarchical；dual attention,；aspect emotion,；attention mechanism；GRU

    情感分析是自然語言處理任務(wù)之一,，文本中針對(duì)某實(shí)體給出總體評(píng)價(jià)的同時(shí),，對(duì)于實(shí)體的不同屬性也會(huì)分別給出各自觀點(diǎn),，由此文本的方面級(jí)情感分析是情感分析的重要任務(wù)之一，實(shí)現(xiàn)對(duì)文本觀點(diǎn)更深層次的情感挖掘,。如何利用自然語言處理現(xiàn)有技術(shù)從社交網(wǎng)絡(luò)大量信息中獲取文本的情感傾向,，是方面情感分析的主要研究工作。

      方面級(jí)情感分析首先對(duì)方面詞進(jìn)行提取,，方面詞可以是一個(gè)單詞,，或者是一個(gè)短語；接著針對(duì)提取出的不同方面分別獲取情感信息,。例如：“Good food but dreadful service at that restaurant”,句中的評(píng)論實(shí)體是餐廳,，分別對(duì)它的兩個(gè)方面即兩種屬性描述觀點(diǎn)，兩種屬性分別是food和service,相對(duì)應(yīng)的情感極性分別是積極和消極,。由此得出兩個(gè)方面情感極性可能相同,，也可能相反。

      深度學(xué)習(xí)在自然語言處理領(lǐng)域被廣泛應(yīng)用,，深度神經(jīng)網(wǎng)絡(luò)模型早期在機(jī)器翻譯,、文本情感分類等任務(wù)中取得了比以往更好的效果。注意力機(jī)制的結(jié)合使神經(jīng)網(wǎng)絡(luò)模型高度關(guān)注特定目標(biāo)的特征信息,，當(dāng)前使用較多的結(jié)合注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型有卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),。文獻(xiàn)[3]提出基于多注意力機(jī)制的CNN，計(jì)算詞向量,、詞性,、位置信息的注意力機(jī)制，結(jié)合卷積神經(jīng)網(wǎng)絡(luò),，在不依賴外部知識(shí)的情況下獲取方面級(jí)情感極性,。文獻(xiàn)[4]提出首先利用長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)獲取句子的上下文信息，再使用卷積神經(jīng)網(wǎng)絡(luò)提取注意力獲得具體的句子表示,，模型中嵌入了方面信息,，取得較好的分類效果?；谧⒁饬C(jī)制的CNN使用濾波器獲取文本特征，僅得到局部單詞間的依賴關(guān)系,，未得到整體句子中所有單詞間關(guān)系,。基于注意力機(jī)制的RNN,、LSTM等循環(huán)神經(jīng)網(wǎng)絡(luò)考慮前一時(shí)刻的狀態(tài)信息,，對(duì)過往信息具有記憶功能，但文本中單詞間的依賴關(guān)系隨著距離的增大逐漸減弱,。上述兩種情況均使用單一注意力模式,。本文提出層次化雙注意力GRU網(wǎng)絡(luò)的方面級(jí)情感分析模型，主要貢獻(xiàn)如下：

      (1)提出采用雙注意力機(jī)制模式進(jìn)行方面級(jí)情感分析，通過特定方面目標(biāo)在句中的注意力機(jī)制和文本上下文自注意力機(jī)制,，抽取方面特征信息和句子的全局依賴信息,，從而深層次地獲取情感特征。

      (2)利用層次化的GRU網(wǎng)絡(luò)獲取句子內(nèi)部和句子間的依賴關(guān)系,。網(wǎng)絡(luò)下層嵌入特定方面信息,，獲取了針對(duì)方面目標(biāo)的局部特征信息，網(wǎng)絡(luò)上層通過雙注意力機(jī)制和詞語層的輸入,，獲取針對(duì)特定方面整體文本的特征依賴信息,。

      (3)在SemEval 2014兩個(gè)數(shù)據(jù)集和Twitter數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了該方法的有效性,，針對(duì)方面級(jí)情感,，分類準(zhǔn)確率均得到了有效提升。



本文詳細(xì)內(nèi)容請(qǐng)下載: http://forexkbc.com/resource/share/2000003148


作者信息：

宋  婷1,，陳戰(zhàn)偉2

(1.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,，山西 太原030024；

2.中國(guó)移動(dòng)通信集團(tuán)山西有限公司,，山西 太原030001)


此內(nèi)容為AET網(wǎng)站原創(chuàng),，未經(jīng)授權(quán)禁止轉(zhuǎn)載。