《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計應(yīng)用 > 基于動態(tài)均衡技術(shù)的海量異構(gòu)數(shù)據(jù)高并發(fā)可靠接入方法
基于動態(tài)均衡技術(shù)的海量異構(gòu)數(shù)據(jù)高并發(fā)可靠接入方法
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
趙勛，周成勝,，靳文京,，劉曉曼，王桂溫
中國信息通信研究院安全研究所,，北京100191
摘要： 隨著大數(shù)據(jù)時代的到來,，海量異構(gòu)數(shù)據(jù)的高并發(fā)可靠接入成為了一個亟待解決的問題。提出了一種基于動態(tài)均衡技術(shù)的海量異構(gòu)數(shù)據(jù)高并發(fā)可靠接入方法,。該方法采用去中心化的任務(wù)分配機制實現(xiàn)海量數(shù)據(jù)源接入,；針對各類異構(gòu)數(shù)據(jù)源設(shè)計了基于HTTPS、SFTP,、Kafka等多樣化采集手段及相應(yīng)的節(jié)點分配和回收機制,；采用動態(tài)負載均衡策略對采集資源進行實時調(diào)整，以適應(yīng)不斷變化的數(shù)據(jù)負載,，實現(xiàn)高并發(fā)處理,。該研究為實現(xiàn)海量異構(gòu)數(shù)據(jù)的高效,、可靠接入提供了一種有效的解決方法,。
中圖分類號：TP393.08文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2023.12.010
引用格式：趙勛，周成勝,，靳文京,，等.基于動態(tài)均衡技術(shù)的海量異構(gòu)數(shù)據(jù)高并發(fā)可靠接入方法［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2023,，42（12）：60-66.
High concurrency and reliable access method for massive heterogeneous data based on dynamic balancing technology
Zhao Xun, Zhou Chengsheng, Jin Wenjing, Liu Xiaoman,Wang Guiwen
Institute of Security, China Academy of Information and Communications Technology, Beijing 100191, China
Abstract： With the arrival of the era of big data, the highly concurrent and reliable access of massive heterogeneous data has become an urgent problem. This paper proposes a high concurrent and reliable access method for massive heterogeneous data based on dynamic balance technology. The method adopts decentralized task allocation mechanism to access massive data sources. For various heterogeneous data sources, a variety of collection methods based on HTTPS, SFTP, Kafka, and corresponding node allocation and recovery mechanisms are designed. The dynamic load balancing strategy is used to adjust the collection resources in real time to adapt to the changing data load and achieve high concurrency processing. This research provides an effective solution for the efficient and reliable access of massive heterogeneous data.
Key words : massive heterogeneous data; high concurrency; dynamic load balancing strategy

引言

隨著計算機信息技術(shù),、互聯(lián)網(wǎng)與物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，各類數(shù)據(jù)資源呈現(xiàn)爆發(fā)式增長,，海量數(shù)據(jù)的產(chǎn)生和積累已成為一種不可避免的趨勢,。這些數(shù)據(jù)往往具有多源異構(gòu)、分布廣泛,、動態(tài)增長等特點［1］,，如傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù),、視頻數(shù)據(jù)等,，稱其為海量異構(gòu)數(shù)據(jù)。在眾多領(lǐng)域,，海量異構(gòu)數(shù)據(jù)并發(fā)接入已成為一個重要且具有挑戰(zhàn)性的問題［2-4］,。為了更好地管理和處理這些數(shù)據(jù)，需要研究和設(shè)計高效的數(shù)據(jù)并發(fā)接入技術(shù)和策略,，以實現(xiàn)數(shù)據(jù)的快速處理,、分析和應(yīng)用,。在數(shù)據(jù)接入系統(tǒng)設(shè)計方面，已有研究人員在物聯(lián)網(wǎng),、車輛交通,、電網(wǎng)調(diào)度等領(lǐng)域分別對于物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)采集［5］、列車網(wǎng)絡(luò)設(shè)備實時數(shù)據(jù)采集［6］,、電網(wǎng)智能調(diào)度數(shù)據(jù)采集［7］進行了系統(tǒng)設(shè)計,，用來解決海量數(shù)據(jù)接入處理問題，但是這些系統(tǒng)設(shè)計均是針對特定的業(yè)務(wù)場景提出,，缺少一定的通用性,。在海量異構(gòu)數(shù)據(jù)接入過程中，如何在高并發(fā)接入的場景下依然能夠確保接入系統(tǒng)穩(wěn)定可靠運行是數(shù)據(jù)接入系統(tǒng)設(shè)計面臨的主要挑戰(zhàn),。在有限的集群資源前提下,，當海量異構(gòu)高并發(fā)數(shù)據(jù)產(chǎn)生接入任務(wù)時，只有將接入任務(wù)合理分配并且快速執(zhí)行,，才能保證數(shù)據(jù)的順利接入,。


作者信息

趙勛，周成勝,，靳文京,，劉曉曼，王桂溫

（中國信息通信研究院安全研究所,，北京100191）


文章下載地址：http://forexkbc.com/resource/share/2000005878


weidian.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),，未經(jīng)授權(quán)禁止轉(zhuǎn)載。