《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 其他 > 設(shè)計(jì)應(yīng)用 > 基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究
基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
許政,阮西玥,陳祥浩
中航機(jī)載系統(tǒng)共性技術(shù)有限公司
摘要: 隨著航空機(jī)載產(chǎn)品制造過(guò)程中數(shù)字化程度的不斷提升,,多源異構(gòu)工業(yè)大數(shù)據(jù)高速增長(zhǎng),,這些實(shí)時(shí)與非實(shí)時(shí)交融的大數(shù)據(jù)對(duì)系統(tǒng)的數(shù)據(jù)管理能力提出了更高的要求。設(shè)計(jì)了一種基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu),,以提升數(shù)據(jù)傳輸和管理效能為目標(biāo),重點(diǎn)圍繞數(shù)據(jù)采樣同步機(jī)制、邊緣數(shù)據(jù)治理,、云端數(shù)據(jù)治理等方面進(jìn)行功能設(shè)計(jì),,通過(guò)實(shí)驗(yàn)驗(yàn)證了架構(gòu)的可行性和可用性,能支撐云,、邊,、端各類(lèi)節(jié)點(diǎn)的差異化數(shù)據(jù)應(yīng)用。
中圖分類(lèi)號(hào):TP301.6文獻(xiàn)標(biāo)識(shí)碼:ADOI:10.19358/j.issn.2097-1788.2024.12.007
引用格式:許政,,阮西玥,,陳祥浩. 基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理,2024,,43(12):47-53.
Research on multi-source heterogeneous big data governance architecture based on cloud-edge-end
Xu Zheng, Ruan Xiyue, Chen Xianghao
AVICAS Generic Technology Co., Ltd.
Abstract: With the continuous improvement of digitization in the manufacturing process of aviation airborne products, the massive multi-source heterogeneous industrial data grows geometrically, and these real-time and non-real-time intermingled big data put forward higher requirements for the data management capability of the system. In this paper, a multi-source heterogeneous data governance architecture based on cloud-edge-end is designed to enhance data transmission and management performance, focusing on data sampling synchronization mechanism, edge data governance, cloud data governance and other aspects of the functional design, and the feasibility and usability of the architecture is verified through experiments, which can support the differentiated needs of various node data applications in the cloud-edge-end.
Key words : cloud-edge-end; multi-source heterogeneous; big data governance; architecture design

引言

隨著航空制造業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程的高速推進(jìn),,制造產(chǎn)線數(shù)字化程度不斷提升以及傳感技術(shù)廣泛應(yīng)用,海量類(lèi)別多樣,、復(fù)雜度高,、質(zhì)量參差的實(shí)時(shí)數(shù)據(jù)、非實(shí)時(shí)數(shù)據(jù),,以及結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)呈幾何式增長(zhǎng),,數(shù)據(jù)中心的網(wǎng)絡(luò)資源、計(jì)算資源和存儲(chǔ)資源都面臨巨大的壓力,,通信網(wǎng)絡(luò)和服務(wù)器資源的建設(shè)進(jìn)程已難以滿足當(dāng)前航空制造數(shù)字化業(yè)務(wù)的信息聯(lián)通和算力需求,。

云計(jì)算嚴(yán)重依賴網(wǎng)絡(luò),計(jì)算資源過(guò)于集中,,靈活性不足,,面對(duì)系統(tǒng)實(shí)時(shí)性和可靠性要求較高的應(yīng)用場(chǎng)景時(shí),服務(wù)能力不足[1],;邊緣計(jì)算作為云計(jì)算的補(bǔ)充,,能夠在數(shù)據(jù)源頭完成一定規(guī)模的數(shù)據(jù)分析處理,具有網(wǎng)絡(luò)時(shí)延小,、實(shí)時(shí)性好的特點(diǎn)[2],;因此,云–邊–端作為一種新型的數(shù)據(jù)治理架構(gòu)被提出[3],,它結(jié)合了云計(jì)算和邊緣計(jì)算的優(yōu)點(diǎn),,運(yùn)用云-邊資源同步[4]技術(shù),以最低的成本滿足用戶低延遲服務(wù)的需求,。

目前,,云-邊-端數(shù)據(jù)治理架構(gòu)已廣泛應(yīng)用于電力系統(tǒng)[5]、車(chē)聯(lián)網(wǎng)[6],、物聯(lián)網(wǎng)[7],、智能交通[8]等領(lǐng)域,相關(guān)研究主要聚焦于系統(tǒng)架構(gòu)優(yōu)化[9],、傳輸時(shí)延及帶寬降低[10],、數(shù)據(jù)質(zhì)量提升[11]等方面,,主要目標(biāo)是減少資源同步時(shí)延、降低系統(tǒng)能耗以及提高用戶體驗(yàn),。

基于此,,本文面向航空機(jī)載產(chǎn)品制造場(chǎng)景,提出一種基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu),,從數(shù)據(jù)傳輸,、邊緣數(shù)據(jù)治理、云端數(shù)據(jù)治理等維度給出解決方案,,提升數(shù)據(jù)傳輸效率和數(shù)據(jù)存儲(chǔ)質(zhì)量,,并通過(guò)實(shí)驗(yàn)驗(yàn)證了架構(gòu)的可行性和可用性。

1基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu)設(shè)計(jì)

本文以數(shù)據(jù)為核心,,構(gòu)建基于工業(yè)互聯(lián)網(wǎng)云平臺(tái)的遠(yuǎn)程分布式云-邊-端一體化多源異構(gòu)數(shù)據(jù)治理架構(gòu),,如圖1所示,數(shù)據(jù)自底向上逐層傳輸處理,,涵蓋數(shù)據(jù)采集,、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用全過(guò)程,,形成多源異構(gòu)數(shù)據(jù)采集,、邊緣數(shù)據(jù)預(yù)處理傳輸、云數(shù)據(jù)中心工業(yè)大數(shù)據(jù)存儲(chǔ)以及云端業(yè)務(wù)應(yīng)用系統(tǒng)等各環(huán)節(jié)技術(shù)與業(yè)務(wù)架構(gòu)解決方案,。

(1)工廠端:解決制造現(xiàn)場(chǎng)端多類(lèi)型設(shè)備,、多類(lèi)業(yè)務(wù)系統(tǒng)以及多種監(jiān)測(cè)方案產(chǎn)生的多源異構(gòu)數(shù)據(jù)采集問(wèn)題,采集數(shù)據(jù)包括設(shè)備實(shí)時(shí)運(yùn)行數(shù)據(jù),、工藝數(shù)據(jù)以及計(jì)劃,、質(zhì)量等業(yè)務(wù)數(shù)據(jù);

(2)邊緣端:采集工廠端設(shè)備和本地網(wǎng)絡(luò)中的數(shù)據(jù),,通過(guò)數(shù)據(jù)協(xié)議解析完成采集,,經(jīng)清洗處理在本地?cái)?shù)據(jù)庫(kù)形成備份,實(shí)現(xiàn)設(shè)備告警,、狀態(tài)監(jiān)控、數(shù)據(jù)處理,、歷史數(shù)據(jù)查詢等功能,,同時(shí)將設(shè)備采集信息傳送給數(shù)據(jù)中心;

(3)云端:采集邊緣端上報(bào)數(shù)據(jù)和工廠端本地?cái)?shù)據(jù),,根據(jù)數(shù)據(jù)特性選擇實(shí)時(shí)數(shù)據(jù)庫(kù),、關(guān)系數(shù)據(jù)庫(kù)或者分布式存儲(chǔ),經(jīng)數(shù)據(jù)處理,,形成數(shù)據(jù)資產(chǎn),,實(shí)現(xiàn)制造過(guò)程數(shù)據(jù)云端的統(tǒng)一匯聚,,支撐制造業(yè)務(wù)服務(wù)、數(shù)字孿生,、大數(shù)據(jù)服務(wù),、人工智能算法服務(wù)等云端應(yīng)用。


本文詳細(xì)內(nèi)容請(qǐng)下載:

http://forexkbc.com/resource/share/2000006266


作者信息:

許政,,阮西玥,,陳祥浩

(中航機(jī)載系統(tǒng)共性技術(shù)有限公司,江蘇揚(yáng)州225000)


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載,。