《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計(jì)應(yīng)用 > 基于混合注意力機(jī)制的時(shí)間旋轉(zhuǎn)知識(shí)圖譜補(bǔ)全
基于混合注意力機(jī)制的時(shí)間旋轉(zhuǎn)知識(shí)圖譜補(bǔ)全
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
王璐璐
大連大學(xué)信息工程學(xué)院
摘要： 針對(duì)現(xiàn)有時(shí)序知識(shí)圖譜補(bǔ)全中捕捉動(dòng)態(tài)關(guān)系模式,，處理非對(duì)稱,、臨時(shí)和自反關(guān)系方面的局限性,，提出了一種新穎的融合混合注意力機(jī)制與時(shí)間旋轉(zhuǎn)的模型,。一方面，通過引入時(shí)間旋轉(zhuǎn),，利用復(fù)數(shù)空間中的向量來表示隨時(shí)間演化的實(shí)體與關(guān)系,，特別是處理時(shí)間區(qū)間內(nèi)的關(guān)系變化，采用雙復(fù)數(shù)嵌入方案顯著增強(qiáng)了對(duì)時(shí)態(tài)特性的表達(dá)能力,；另一方面,，通過對(duì)知識(shí)圖譜引入空間注意力和通道注意力兩個(gè)維度分析，能夠更好地聚焦于時(shí)序序列中對(duì)預(yù)測最為關(guān)鍵的實(shí)體和關(guān)系特征,，從而在復(fù)雜的時(shí)間序列中挖掘時(shí)序關(guān)聯(lián)信息,。通過在ICEWS14、ICEWS18,、YAGO11k和WIKI12k數(shù)據(jù)集上的實(shí)驗(yàn)評(píng)估,，模型在MRR、Hits@1,、Hits@3和Hits@10上普遍優(yōu)于基線模型,，體現(xiàn)出算法的優(yōu)越性和強(qiáng)魯棒性,。
中圖分類號(hào)：TP391.1文獻(xiàn)標(biāo)識(shí)碼：ADOI:10.19358/j.issn.2097-1788.2024.10.007
引用格式：王璐璐.基于混合注意力機(jī)制的時(shí)間旋轉(zhuǎn)知識(shí)圖譜補(bǔ)全［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2024,，43（10）：42-48.
Temporal rotation knowledge graph completion based on hybrid attention mechanism
Wang Lulu
School of Information Engineering, Dalian University
Abstract： A novel model that integrates a hybrid attention mechanism with temporal rotation is proposed to address the limitations of capturing dynamic relation patterns, handling asymmetric, temporary, and reflexive relations in existing temporal knowledge graph completion. On one hand, by introducing temporal rotation, we leverage vectors in complex spaces to represent entities and relations evolving over time, especially to handle relation changes within temporal intervals. The adoption of a dual-complex embedding scheme significantly enhances the expressive power for temporal characteristics. On the other hand, by introducing spatial attention and channel attention to analyze the knowledge graph from two dimensions, the model can better focus on the most crucial entity and relation features in the temporal sequence for prediction, thus mining temporal correlation information from complex time series. Through experimental evaluations on the ICEWS14, ICEWS18, YAGO11k, and WIKI12k datasets, the model outperforms baseline models in terms of MRR, Hits@1, Hits@3, and Hits@10, demonstrating the superiority and strong robustness of the proposed algorithm.
Key words : temporal knowledge graph; temporal rotation; hybrid attention mechanism; link prediction

引言

隨著人工智能時(shí)代的到來,，互聯(lián)網(wǎng)中的數(shù)據(jù)規(guī)模也隨之爆發(fā)式增長，這些大量的數(shù)據(jù)中往往包含很多有價(jià)值的信息,，而知識(shí)圖譜［1］作為一種新的組織和存儲(chǔ)海量數(shù)據(jù)的技術(shù),，受到越來越多的關(guān)注。知識(shí)圖譜早期主要用于搜索結(jié)果優(yōu)化,，隨后在系統(tǒng)推薦［2］,、智能問答［3］、知識(shí)搜索［4］等領(lǐng)域發(fā)揮了重要作用,。知識(shí)圖譜通常是靜態(tài)的，以其當(dāng)前狀態(tài)存儲(chǔ)事實(shí),。知識(shí)圖譜以三元組的形式表示事實(shí):(s：r：o),，然而，現(xiàn)有知識(shí)圖譜大都采用半自動(dòng)化結(jié)合人工的方式構(gòu)建,，具有不完整性［5］,。并且在現(xiàn)實(shí)中，實(shí)體之間的關(guān)系經(jīng)常隨著時(shí)間而變化,，即知識(shí)具有時(shí)效性,。為此，時(shí)序知識(shí)圖譜被引入［6］,，時(shí)序知識(shí)圖譜將時(shí)間事實(shí)表示為四元組：(s;r;o;t),，即通過擴(kuò)展時(shí)間為t的靜態(tài)三元組，描述此事實(shí)在時(shí)間為t時(shí)有效,。時(shí)序知識(shí)圖譜可以不斷提供和完善時(shí)間維度的知識(shí),，更具有研究價(jià)值。

近年來,，盡管靜態(tài)知識(shí)圖譜補(bǔ)全技術(shù)取得了顯著進(jìn)展,，如基于翻譯的模型（如TransE［7］）、基于圖神經(jīng)網(wǎng)絡(luò)的方法（如RE-GCN［8］）等,，但這些方法大多忽視了時(shí)間維度對(duì)于關(guān)系動(dòng)態(tài)變化的深刻影響,。為應(yīng)對(duì)這一挑戰(zhàn)，時(shí)序知識(shí)圖譜補(bǔ)全（Temporal Knowledge Graph Completion, TKGC）應(yīng)運(yùn)而生,，旨在結(jié)合時(shí)間序列分析與深度學(xué)習(xí)技術(shù),，挖掘時(shí)序模式，捕捉動(dòng)態(tài)關(guān)系的演化規(guī)律?，F(xiàn)有的時(shí)序知識(shí)圖譜補(bǔ)全模型大多數(shù)是TransE和DistMult的擴(kuò)展,，例如TTransE［9］,、TA-DisMult［10］、ChronoR［11］等,，因此不能完全表達(dá)如今的某些關(guān)系模式,。最新的模型還存在計(jì)算資源的分配問題。

本文提出一種新的時(shí)序知識(shí)圖譜補(bǔ)全模型YiTX,，該模型創(chuàng)新性地融合了時(shí)間旋轉(zhuǎn)嵌入與混合注意力機(jī)制,，旨在更精準(zhǔn)地建模實(shí)體間隨時(shí)間變化的關(guān)系，并有效預(yù)測圖譜中缺失的實(shí)體與關(guān)系,?；旌献⒁饬C(jī)制在聚合信息上的優(yōu)勢和注意力權(quán)重的分配，在面對(duì)數(shù)據(jù)的多樣性和復(fù)雜性時(shí),，仍能實(shí)現(xiàn)高效學(xué)習(xí)和快速推理,。通過在四個(gè)公開時(shí)序數(shù)據(jù)集上的廣泛實(shí)驗(yàn)，驗(yàn)證了所提模型在鏈接預(yù)測任務(wù)上的優(yōu)越性能,。本研究不僅為時(shí)序知識(shí)圖譜的補(bǔ)全提供了一種新的視角,，也為智能信息處理、文本挖掘和信息抽取技術(shù)的發(fā)展提供了新思路,，進(jìn)而促進(jìn)知識(shí)圖譜在推薦系統(tǒng),、智能問答、事件預(yù)測等領(lǐng)域的廣泛應(yīng)用,。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://forexkbc.com/resource/share/2000006195


作者信息：

王璐璐

(大連大學(xué)信息工程學(xué)院,，遼寧大連116000)


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載,。