引用格式:趙勛,周成勝,,靳文京,,等.基于動態(tài)均衡技術(shù)的海量異構(gòu)數(shù)據(jù)高并發(fā)可靠接入方法[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理,2023,,42(12):60-66.
引言
隨著計算機信息技術(shù),、互聯(lián)網(wǎng)與物聯(lián)網(wǎng)技術(shù)的快速發(fā)展,各類數(shù)據(jù)資源呈現(xiàn)爆發(fā)式增長,,海量數(shù)據(jù)的產(chǎn)生和積累已成為一種不可避免的趨勢,。這些數(shù)據(jù)往往具有多源異構(gòu)、分布廣泛,、動態(tài)增長等特點[1],,如傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù),、視頻數(shù)據(jù)等,,稱其為海量異構(gòu)數(shù)據(jù)。在眾多領(lǐng)域,,海量異構(gòu)數(shù)據(jù)并發(fā)接入已成為一個重要且具有挑戰(zhàn)性的問題[2-4],。為了更好地管理和處理這些數(shù)據(jù),需要研究和設(shè)計高效的數(shù)據(jù)并發(fā)接入技術(shù)和策略,,以實現(xiàn)數(shù)據(jù)的快速處理,、分析和應(yīng)用,。在數(shù)據(jù)接入系統(tǒng)設(shè)計方面,已有研究人員在物聯(lián)網(wǎng),、車輛交通,、電網(wǎng)調(diào)度等領(lǐng)域分別對于物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)采集[5]、列車網(wǎng)絡(luò)設(shè)備實時數(shù)據(jù)采集[6],、電網(wǎng)智能調(diào)度數(shù)據(jù)采集[7]進行了系統(tǒng)設(shè)計,,用來解決海量數(shù)據(jù)接入處理問題,但是這些系統(tǒng)設(shè)計均是針對特定的業(yè)務(wù)場景提出,,缺少一定的通用性,。在海量異構(gòu)數(shù)據(jù)接入過程中,如何在高并發(fā)接入的場景下依然能夠確保接入系統(tǒng)穩(wěn)定可靠運行是數(shù)據(jù)接入系統(tǒng)設(shè)計面臨的主要挑戰(zhàn),。在有限的集群資源前提下,,當海量異構(gòu)高并發(fā)數(shù)據(jù)產(chǎn)生接入任務(wù)時,只有將接入任務(wù)合理分配并且快速執(zhí)行,,才能保證數(shù)據(jù)的順利接入,。
作者信息
趙勛,周成勝,,靳文京,,劉曉曼,王桂溫
(中國信息通信研究院安全研究所,,北京100191)
文章下載地址:http://forexkbc.com/resource/share/2000005878