引用格式:許政,,阮西玥,陳祥浩. 基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理,,2024,,43(12):47-53.
引言
隨著航空制造業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程的高速推進(jìn),制造產(chǎn)線數(shù)字化程度不斷提升以及傳感技術(shù)廣泛應(yīng)用,,海量類別多樣,、復(fù)雜度高、質(zhì)量參差的實(shí)時(shí)數(shù)據(jù),、非實(shí)時(shí)數(shù)據(jù),,以及結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)呈幾何式增長(zhǎng),數(shù)據(jù)中心的網(wǎng)絡(luò)資源,、計(jì)算資源和存儲(chǔ)資源都面臨巨大的壓力,,通信網(wǎng)絡(luò)和服務(wù)器資源的建設(shè)進(jìn)程已難以滿足當(dāng)前航空制造數(shù)字化業(yè)務(wù)的信息聯(lián)通和算力需求。
云計(jì)算嚴(yán)重依賴網(wǎng)絡(luò),,計(jì)算資源過(guò)于集中,,靈活性不足,面對(duì)系統(tǒng)實(shí)時(shí)性和可靠性要求較高的應(yīng)用場(chǎng)景時(shí),,服務(wù)能力不足[1],;邊緣計(jì)算作為云計(jì)算的補(bǔ)充,能夠在數(shù)據(jù)源頭完成一定規(guī)模的數(shù)據(jù)分析處理,,具有網(wǎng)絡(luò)時(shí)延小,、實(shí)時(shí)性好的特點(diǎn)[2];因此,,云–邊–端作為一種新型的數(shù)據(jù)治理架構(gòu)被提出[3],,它結(jié)合了云計(jì)算和邊緣計(jì)算的優(yōu)點(diǎn),運(yùn)用云-邊資源同步[4]技術(shù),,以最低的成本滿足用戶低延遲服務(wù)的需求,。
目前,云-邊-端數(shù)據(jù)治理架構(gòu)已廣泛應(yīng)用于電力系統(tǒng)[5],、車聯(lián)網(wǎng)[6],、物聯(lián)網(wǎng)[7]、智能交通[8]等領(lǐng)域,,相關(guān)研究主要聚焦于系統(tǒng)架構(gòu)優(yōu)化[9],、傳輸時(shí)延及帶寬降低[10]、數(shù)據(jù)質(zhì)量提升[11]等方面,,主要目標(biāo)是減少資源同步時(shí)延,、降低系統(tǒng)能耗以及提高用戶體驗(yàn)。
基于此,,本文面向航空機(jī)載產(chǎn)品制造場(chǎng)景,,提出一種基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu),從數(shù)據(jù)傳輸,、邊緣數(shù)據(jù)治理,、云端數(shù)據(jù)治理等維度給出解決方案,提升數(shù)據(jù)傳輸效率和數(shù)據(jù)存儲(chǔ)質(zhì)量,,并通過(guò)實(shí)驗(yàn)驗(yàn)證了架構(gòu)的可行性和可用性,。
1基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu)設(shè)計(jì)
本文以數(shù)據(jù)為核心,構(gòu)建基于工業(yè)互聯(lián)網(wǎng)云平臺(tái)的遠(yuǎn)程分布式云-邊-端一體化多源異構(gòu)數(shù)據(jù)治理架構(gòu),,如圖1所示,,數(shù)據(jù)自底向上逐層傳輸處理,涵蓋數(shù)據(jù)采集,、數(shù)據(jù)存儲(chǔ),、數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用全過(guò)程,形成多源異構(gòu)數(shù)據(jù)采集,、邊緣數(shù)據(jù)預(yù)處理傳輸,、云數(shù)據(jù)中心工業(yè)大數(shù)據(jù)存儲(chǔ)以及云端業(yè)務(wù)應(yīng)用系統(tǒng)等各環(huán)節(jié)技術(shù)與業(yè)務(wù)架構(gòu)解決方案。
(1)工廠端:解決制造現(xiàn)場(chǎng)端多類型設(shè)備,、多類業(yè)務(wù)系統(tǒng)以及多種監(jiān)測(cè)方案產(chǎn)生的多源異構(gòu)數(shù)據(jù)采集問(wèn)題,,采集數(shù)據(jù)包括設(shè)備實(shí)時(shí)運(yùn)行數(shù)據(jù)、工藝數(shù)據(jù)以及計(jì)劃,、質(zhì)量等業(yè)務(wù)數(shù)據(jù),;
(2)邊緣端:采集工廠端設(shè)備和本地網(wǎng)絡(luò)中的數(shù)據(jù),通過(guò)數(shù)據(jù)協(xié)議解析完成采集,,經(jīng)清洗處理在本地?cái)?shù)據(jù)庫(kù)形成備份,,實(shí)現(xiàn)設(shè)備告警、狀態(tài)監(jiān)控,、數(shù)據(jù)處理,、歷史數(shù)據(jù)查詢等功能,同時(shí)將設(shè)備采集信息傳送給數(shù)據(jù)中心,;
(3)云端:采集邊緣端上報(bào)數(shù)據(jù)和工廠端本地?cái)?shù)據(jù),,根據(jù)數(shù)據(jù)特性選擇實(shí)時(shí)數(shù)據(jù)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)或者分布式存儲(chǔ),,經(jīng)數(shù)據(jù)處理,,形成數(shù)據(jù)資產(chǎn),,實(shí)現(xiàn)制造過(guò)程數(shù)據(jù)云端的統(tǒng)一匯聚,支撐制造業(yè)務(wù)服務(wù),、數(shù)字孿生,、大數(shù)據(jù)服務(wù)、人工智能算法服務(wù)等云端應(yīng)用,。
本文詳細(xì)內(nèi)容請(qǐng)下載:
http://forexkbc.com/resource/share/2000006266
作者信息:
許政,,阮西玥,陳祥浩
(中航機(jī)載系統(tǒng)共性技術(shù)有限公司,江蘇揚(yáng)州225000)