《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 面向試驗數(shù)據(jù)的裝備大數(shù)據(jù)模型
面向試驗數(shù)據(jù)的裝備大數(shù)據(jù)模型
2018年電子技術應用第5期
陳 峰,,李 一,,馬躍飛
中國人民解放軍92493部隊,遼寧 葫蘆島125000
摘要: 從海量的裝備試驗數(shù)據(jù)中,,利用大數(shù)據(jù)挖掘思想建立裝備大數(shù)據(jù)分析處理與智能信息服務,,是開展裝備數(shù)據(jù)工程建設的關鍵技術之一。分析了裝備試驗數(shù)據(jù)的特點,,結(jié)合大數(shù)據(jù)處理分析思想,,提出了一種裝備大數(shù)據(jù)模型,以海軍裝備試驗為例,,進一步分析了模型的特點,,為裝備數(shù)據(jù)工程的建設提供了一種技術路線參考。
中圖分類號: E925,;TP399
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.189010
中文引用格式: 陳峰,,李一,馬躍飛. 面向試驗數(shù)據(jù)的裝備大數(shù)據(jù)模型[J].電子技術應用,,2018,,44(5):13-15.
英文引用格式: Chen Feng,Li Yi,,Ma Yuefei. A test data oriented equipment big data model[J]. Application of Electronic Tech-
nique,,2018,,44(5):13-15.
A test data oriented equipment big data model
Chen Feng,Li Yi,,Ma Yuefei
Army of 92493,,Huludao 125000,China
Abstract: Based on massive equipment test data, using big data mining idea to build equipment big data analysis, processing and intelligent information service,,it is one of the key technologies for developing equipment data engineering. In this paper, the characteristics of equipment test data are analyzed, then using big data processing and analysis ideas, presents an equipment big data model, which provides a reference for the construction of equipment data engineering. In the end, an example of navy army is provided.
Key words : equipment test data,;data model;big data

0 引言

    在裝備試驗工作過程中,,積累了大量的歷史數(shù)據(jù)資源,,真實記錄了裝備試驗、訓練,、演練的第一手資料數(shù)據(jù),,隨著數(shù)據(jù)采集手段的不斷拓展和綜合試驗演練類任務的深入推進,試驗數(shù)據(jù)積累量將呈指數(shù)級增長,。

    這些數(shù)據(jù)資源是反映裝備性能,、可靠性,評價裝備體系能力水平,,研究裝備發(fā)展路徑的重要依據(jù),。但是,由于建設初期信息技術尚不發(fā)達,,受網(wǎng)絡,、計算、存儲及數(shù)據(jù)處理技術等因素限制,,早期缺乏統(tǒng)一的系統(tǒng)規(guī)劃設計,,目前大量武器裝備試驗數(shù)據(jù)分散存儲在不同試驗終端,缺乏統(tǒng)一管理和分析應用機制,,大量隱含在數(shù)據(jù)中的有價值信息沒有得到有效地挖掘與開發(fā)[1-2],。

    在信息技術領域,大數(shù)據(jù)平臺技術生態(tài)鏈取得了飛速發(fā)展,,出現(xiàn)了Hadoop,、HBase、Storm,、Spark等眾多的開源的大數(shù)據(jù)分布式存儲,、并行計算處理框架,。大數(shù)據(jù)計算技術解決了海量數(shù)據(jù)的收集,、存儲、計算,、分析的問題,。大數(shù)據(jù)技術已經(jīng)在醫(yī)療,、金融、交通,、教育,、環(huán)保、輿情監(jiān)管等眾多民用領域取得了實際應用,,驅(qū)動了相關領域的業(yè)務模式的創(chuàng)新發(fā)展,,取得了良好的經(jīng)濟社會效益。在軍事裝備領域,,航天,、風洞等領域試驗數(shù)據(jù)得到了一定應用,但其本質(zhì)還停留在傳統(tǒng)的數(shù)據(jù)挖據(jù)領域,,尚未形成對大數(shù)據(jù)技術的應用成果,。

    本文結(jié)合裝備試驗數(shù)據(jù)管理需求,研究提出了一種基于裝備試驗大數(shù)據(jù)的裝備大數(shù)據(jù)模型,,該模型可以指導如何抽取利用裝備試驗的歷史資料數(shù)據(jù),,利用大數(shù)據(jù)處理技術挖掘建立裝備決策分析模型知識庫,并基于知識庫提供裝備管理智能化決策支持服務,從而提高裝備數(shù)據(jù)資源的處理分析利用率,,將數(shù)據(jù)資源轉(zhuǎn)化為智能化的決策分析服務,。

1 裝備試驗數(shù)據(jù)的特點

    裝備試驗數(shù)據(jù)一般涵蓋裝備試驗過程中產(chǎn)生的所有數(shù)據(jù),長期以來,,試驗部門積累了PB級的歷史試驗數(shù)據(jù)資源,,包括紙質(zhì)報告、電子文檔,、膠片,、電子照片、音視頻數(shù)據(jù),、雷測數(shù)據(jù),、遙測數(shù)據(jù)等,分散在不同的試驗終端單位,,缺乏統(tǒng)一的數(shù)據(jù)組織與管理規(guī)范平臺,。這些試驗數(shù)據(jù)資料具有以下特點:

    (1)試驗數(shù)據(jù)種類繁多。隨著裝備試驗范圍的拓展,,試驗數(shù)據(jù)包括的范圍也越來越廣,,在試驗大類方面包括:各型裝備的性能試驗數(shù)據(jù),作戰(zhàn)試驗相關的裝備能力效能評估數(shù)據(jù),,裝備體系推演數(shù)據(jù)等,;針對單項試驗則包括:裝備、氣象,、地理水文環(huán)境,、人員保障,、業(yè)務流程等數(shù)據(jù)。

    (2)資料數(shù)據(jù)的形式多樣化,,結(jié)構(gòu)化的數(shù)據(jù)庫數(shù)據(jù),,又有非結(jié)構(gòu)化的文本、圖像,、影像資料,,還有半結(jié)構(gòu)化的資料數(shù)據(jù);此外,,還存在海量的未數(shù)字化文檔等,。

    (3)潛在價值高,價值相對穩(wěn)定,。與商業(yè)數(shù)據(jù)不同,,隨著時間的的推移,歷史數(shù)據(jù)細節(jié)不再重要,,武器裝備試驗數(shù)據(jù)對于裝備全壽命管理周期有效期很長,,可以長達十幾年,數(shù)據(jù)價值隨時間變化不敏感,。

    (4)數(shù)據(jù)不斷增長,。隨著后期體系級裝備試驗和貼近實戰(zhàn)的裝備作戰(zhàn)試驗的深入展開,試驗數(shù)據(jù)資源量將承指數(shù)級迅猛發(fā)展,。將有越來越多的試驗數(shù)據(jù)需要管理,、分析和利用,傳統(tǒng)的數(shù)據(jù)倉庫方式的數(shù)據(jù)中心方案將很難滿足未來發(fā)展的需要,,需要建立分布式的基于大數(shù)據(jù)的數(shù)據(jù)中心平臺,。

2 裝備試驗數(shù)據(jù)的管理需求分析

    對裝備試驗數(shù)據(jù)的管理需求主要包括以下4個方面:

    (1)數(shù)據(jù)建模需求:當前海量的試驗數(shù)據(jù)資源的價值處于沉睡狀態(tài),由于其底數(shù)不清,,格式各異,,尚不能對其進行較為深入地應用分析,因此對海量試驗數(shù)據(jù)資源進行建模,,形成有效的管理,、治理手段是當前需要解決的首要問題。

    (2)試驗任務評估需求:基于試驗任務的試驗數(shù)據(jù),,可以評估本次試驗任務的實際效果,;基于同類裝備的歷次試驗任務,可以進行裝備的技術發(fā)展演化畫像分析,,輔助進行裝備技術改進點的挖掘分析決策,。

    (3)多裝備體系化試驗評估需求:通過對裝備、環(huán)境,、保障,、任務協(xié)同等多專業(yè)類別的融合挖掘,基于試驗數(shù)據(jù)形成可視化的試驗進程態(tài)勢,,輔助進行體系效能的綜合評估,。

    (4)裝備健康管理需求:基于裝備試驗數(shù)據(jù)建立裝備的健康管理模型,基于模型可以預測裝備的剩余壽命,,根據(jù)裝備實際狀態(tài)制訂精準的按需的維護保障計劃,。

3 裝備試驗大數(shù)據(jù)數(shù)據(jù)模型—ETBDIS

    裝備試驗大數(shù)據(jù)的根本目標是為裝備試驗活動提供智能信息服務和管理決策,并能夠為后期裝備使用,、裝備維護保障和裝備技術發(fā)展提供支撐,,所以裝備試驗大數(shù)據(jù)模型首先需要考慮數(shù)據(jù)平臺的服務內(nèi)容,具體包括:裝備畫像,,裝備建模,,裝備健康管理,裝備體系化評估等,。例如:如圖1所示,,通過裝備大數(shù)據(jù)進行裝備畫像,可以對裝備的質(zhì)量,、性能,、適用的環(huán)境、維護保障,、健康狀況與剩余壽命,、技術發(fā)展過程等進行定量定性的分析。

wlw4-t1.gif

    本文面向裝備試驗數(shù)據(jù)建設的根本目標,,構(gòu)建設計了一個裝備試驗大數(shù)據(jù)模型ETBDIS(Equipment Test Big Data Intelligent Service),。

3.1 ETBDIS模型

    ETBDIS模型包括試驗數(shù)據(jù)層、數(shù)據(jù)預處理層,、數(shù)據(jù)資源體系層,、大數(shù)據(jù)知識挖掘?qū)印⒀b備智能服務層等(如圖2所示),,各層的主要功能如下,。

wlw4-t2.gif

    試驗數(shù)據(jù)層。試驗數(shù)據(jù)按照資料數(shù)據(jù)的類型主要分為文本,、圖像,、測試測量數(shù)據(jù)等。

數(shù)據(jù)預處理層,。根據(jù)數(shù)據(jù)類型選擇相應的數(shù)據(jù)預處理方法,,比如文本類數(shù)據(jù),可以進行實體提取,、摘要提取,、關鍵詞提取等處理,,提取出其中的裝備、質(zhì)量,、性能,、專業(yè)技術、事件等實體數(shù)據(jù),,以便后續(xù)進行實體關聯(lián),、事件關聯(lián)挖掘分析使用;測試測量數(shù)據(jù)則需要相應的專用數(shù)據(jù)處理軟件,,對數(shù)據(jù)進行初步的分析和預處理,。

    數(shù)據(jù)資源體系層。對原始數(shù)據(jù)經(jīng)過相應預處理后,,得到經(jīng)過分類,、標注的結(jié)構(gòu)化數(shù)據(jù),進而構(gòu)成可以處理分析利用的裝備大數(shù)據(jù)資源,。包括:裝備的質(zhì)量,、性能、環(huán)境,、技術等維度的數(shù)據(jù)主題,,基于這些結(jié)構(gòu)化的數(shù)據(jù)資源可以通過大數(shù)據(jù)挖掘、機器學習等方法提取相應的裝備知識庫,。

    大數(shù)據(jù)知識挖掘?qū)?。對于裝備數(shù)據(jù)資源中的數(shù)據(jù)主題,可以通過相應的機器學習方法進行動力學模型建模,、分類規(guī)則挖掘,、模式挖掘、特征提取、多實體關系知識挖掘等處理,從數(shù)據(jù)中學習建立關于裝備的各類知識庫,。

    裝備智能服務層?;跀?shù)據(jù)挖掘構(gòu)建的裝備知識庫,可以提供相應的基于裝備試驗大數(shù)據(jù)的智能信息服務,。如:裝備畫像,,裝備健康管理決策,裝備試驗任務評估,,不同環(huán)境體系下的裝備試驗仿真推演態(tài)勢分析等,。

3.2 基于ETBDIS的海軍裝備試驗數(shù)據(jù)管理特點分析

    結(jié)合海軍裝備試驗業(yè)務實際,ETBDIS模型的主要特點如下:

    (1)模型采用分層的架構(gòu),可以通過標準規(guī)范接口,,實現(xiàn)系統(tǒng)內(nèi)的不同層間的數(shù)據(jù)通信,;各層內(nèi)是模塊化結(jié)構(gòu),可以采用微服務的方式,,進行靈活的層內(nèi)模塊集成,。對于海軍裝備試驗數(shù)據(jù)而言,首先是通過對試驗文書資料,、攝錄像等圖像資料和測量測試等數(shù)據(jù)資料完成對試驗數(shù)據(jù)的統(tǒng)一管理,,測試測量數(shù)據(jù)根據(jù)試驗項目的不同可能用到不同的采集分析工具,,數(shù)據(jù)解碼方式也不盡相同,,為此形成對試驗數(shù)據(jù)的分布采集框架。

    (2)服務驅(qū)動,。面向裝備大數(shù)據(jù)智能信息服務需求,。由于海軍裝備試驗數(shù)據(jù)涉及裝備門類多,在數(shù)據(jù)層基礎上通過預處理形成統(tǒng)一的試驗數(shù)據(jù)體系,,形成各類型主題庫,,建立試驗數(shù)據(jù)間的基礎關系,進而達到服務于裝備畫像,、裝備試驗評估,、裝備健康管理、不同環(huán)境體系下裝備的試驗評估等裝備管理,,既保障了數(shù)據(jù)中心的根本建設目標,,又較好低保障了數(shù)據(jù)采集處理的必要性。

    (3)開放的架構(gòu),。裝備試驗數(shù)據(jù)涉及多個利益相關方,,既包括各組織裝備試驗的實體部門也包括裝備論證、研制,、使用方,,因此,各參試單位需按照數(shù)據(jù)標準,、接口標準,,在平臺上實現(xiàn)各自專業(yè)領域的數(shù)據(jù)的存儲,管理,、服務,,采用開放的基礎架構(gòu),實現(xiàn)按專業(yè)的合理分工和統(tǒng)一的平臺上實現(xiàn)大數(shù)據(jù)融合處理分析,。

    (4)數(shù)據(jù)深度融合處理,。裝備試驗涉及海量圖片、文檔等海量非結(jié)構(gòu)化處理的處理。例如在海軍裝備試驗過程中涉及各類試驗相關會議文檔,、試驗音視頻等,,進而建立了質(zhì)量、性能,、保障維護,、技術發(fā)展等多維度的數(shù)據(jù)資源,從而達到可以利用機器學習,、數(shù)據(jù)挖掘等知識庫構(gòu)構(gòu)建過程,,提高了數(shù)據(jù)處理深度的目的。

4 結(jié)論

    裝備試驗工作積累了大量的裝備相關的資料數(shù)據(jù),,本文以整合各單位的試驗資料數(shù)據(jù),,建立裝備試驗數(shù)據(jù)資源體系,提供裝備數(shù)據(jù)智能信息服務為目標,,研究給出了一個裝備試驗大數(shù)據(jù)模型,。該模型具有分層開放的架構(gòu),各參試單位可以按照該模型在統(tǒng)一的平臺上,,進行試驗數(shù)據(jù)的采集處理分析,,實現(xiàn)跨部門多專業(yè)數(shù)據(jù)的融合,利用裝備數(shù)據(jù)資源平臺,,進行相應的知識構(gòu)建與智能信息服務,,并以海軍裝備試驗數(shù)據(jù)管理為例分析了模型的主要特點,進一步展示了模型的可用性,。在未來研究中,,將選幾個典型裝備進行模型平臺的分步構(gòu)建示范應用。

參考文獻

[1] 齊劍鋒,,李三群,,楊素敏.裝備數(shù)據(jù)工程導論[M].北京:電子工業(yè)出版社,2016.

[2] 龔昕,,周大慶,,鞠亮,等.武器裝備試驗數(shù)據(jù)工程理論與實踐[M].北京:國防工業(yè)出版社,,2017.

[3] ChrisLoeffler.如何進行出色的數(shù)據(jù)中心設計[J].電源技術應用,,2011(9):72-73.

[4] 張新宇.大數(shù)據(jù)時代的數(shù)據(jù)架構(gòu)設計[J].中國金融電腦,2015(8):32-35.

[5] 朱玉立,,任義廷,,高甲子,等.淺談大數(shù)據(jù)時代下的數(shù)據(jù)中心運維管理[J].信息系統(tǒng)工程,,2015(11):101-102,,106.

[6] 楊彬.云計算數(shù)據(jù)中心資源的節(jié)能管理[J].電腦編程技巧與維護,2015(22):61-63.

[7] 陳劍.淺談傳統(tǒng)數(shù)據(jù)中心與模塊化數(shù)據(jù)中心[J].智能建筑與城市信息,2015(11):74-75.

[8] 陸江東,,戴卓臣,,鄭奮.基于云平臺的虛擬化機房管理系統(tǒng)[J].兵器裝備工程學報,2013,,34(12):64-65.

[9] 錢瓊芬,,李春林,張小慶,,等.云數(shù)據(jù)中心虛擬資源管理研究綜述[J].計算機應用研究,,2012,29(7):2411-2415.

[10] 張俊衛(wèi),,王晶,,張偉功,等.基于大數(shù)據(jù)的高能效數(shù)據(jù)中心服務器研究[J].計算機工程,,2017,,43(8):74-81.



作者信息:

陳  峰,,李  一,,馬躍飛

(中國人民解放軍92493部隊,遼寧 葫蘆島125000)

此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權禁止轉(zhuǎn)載,。