文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.189010
中文引用格式: 陳峰,,李一,馬躍飛. 面向試驗數(shù)據(jù)的裝備大數(shù)據(jù)模型[J].電子技術應用,,2018,,44(5):13-15.
英文引用格式: Chen Feng,Li Yi,,Ma Yuefei. A test data oriented equipment big data model[J]. Application of Electronic Tech-
nique,,2018,,44(5):13-15.
0 引言
在裝備試驗工作過程中,,積累了大量的歷史數(shù)據(jù)資源,,真實記錄了裝備試驗、訓練,、演練的第一手資料數(shù)據(jù),,隨著數(shù)據(jù)采集手段的不斷拓展和綜合試驗演練類任務的深入推進,試驗數(shù)據(jù)積累量將呈指數(shù)級增長,。
這些數(shù)據(jù)資源是反映裝備性能,、可靠性,評價裝備體系能力水平,,研究裝備發(fā)展路徑的重要依據(jù),。但是,由于建設初期信息技術尚不發(fā)達,,受網(wǎng)絡,、計算、存儲及數(shù)據(jù)處理技術等因素限制,,早期缺乏統(tǒng)一的系統(tǒng)規(guī)劃設計,,目前大量武器裝備試驗數(shù)據(jù)分散存儲在不同試驗終端,缺乏統(tǒng)一管理和分析應用機制,,大量隱含在數(shù)據(jù)中的有價值信息沒有得到有效地挖掘與開發(fā)[1-2],。
在信息技術領域,大數(shù)據(jù)平臺技術生態(tài)鏈取得了飛速發(fā)展,,出現(xiàn)了Hadoop,、HBase、Storm,、Spark等眾多的開源的大數(shù)據(jù)分布式存儲,、并行計算處理框架,。大數(shù)據(jù)計算技術解決了海量數(shù)據(jù)的收集,、存儲、計算,、分析的問題,。大數(shù)據(jù)技術已經(jīng)在醫(yī)療,、金融、交通,、教育,、環(huán)保、輿情監(jiān)管等眾多民用領域取得了實際應用,,驅(qū)動了相關領域的業(yè)務模式的創(chuàng)新發(fā)展,,取得了良好的經(jīng)濟社會效益。在軍事裝備領域,,航天,、風洞等領域試驗數(shù)據(jù)得到了一定應用,但其本質(zhì)還停留在傳統(tǒng)的數(shù)據(jù)挖據(jù)領域,,尚未形成對大數(shù)據(jù)技術的應用成果,。
本文結(jié)合裝備試驗數(shù)據(jù)管理需求,研究提出了一種基于裝備試驗大數(shù)據(jù)的裝備大數(shù)據(jù)模型,,該模型可以指導如何抽取利用裝備試驗的歷史資料數(shù)據(jù),,利用大數(shù)據(jù)處理技術挖掘建立裝備決策分析模型知識庫,并基于知識庫提供裝備管理智能化決策支持服務,從而提高裝備數(shù)據(jù)資源的處理分析利用率,,將數(shù)據(jù)資源轉(zhuǎn)化為智能化的決策分析服務,。
1 裝備試驗數(shù)據(jù)的特點
裝備試驗數(shù)據(jù)一般涵蓋裝備試驗過程中產(chǎn)生的所有數(shù)據(jù),長期以來,,試驗部門積累了PB級的歷史試驗數(shù)據(jù)資源,,包括紙質(zhì)報告、電子文檔,、膠片,、電子照片、音視頻數(shù)據(jù),、雷測數(shù)據(jù),、遙測數(shù)據(jù)等,分散在不同的試驗終端單位,,缺乏統(tǒng)一的數(shù)據(jù)組織與管理規(guī)范平臺,。這些試驗數(shù)據(jù)資料具有以下特點:
(1)試驗數(shù)據(jù)種類繁多。隨著裝備試驗范圍的拓展,,試驗數(shù)據(jù)包括的范圍也越來越廣,,在試驗大類方面包括:各型裝備的性能試驗數(shù)據(jù),作戰(zhàn)試驗相關的裝備能力效能評估數(shù)據(jù),,裝備體系推演數(shù)據(jù)等,;針對單項試驗則包括:裝備、氣象,、地理水文環(huán)境,、人員保障,、業(yè)務流程等數(shù)據(jù)。
(2)資料數(shù)據(jù)的形式多樣化,,結(jié)構(gòu)化的數(shù)據(jù)庫數(shù)據(jù),,又有非結(jié)構(gòu)化的文本、圖像,、影像資料,,還有半結(jié)構(gòu)化的資料數(shù)據(jù);此外,,還存在海量的未數(shù)字化文檔等,。
(3)潛在價值高,價值相對穩(wěn)定,。與商業(yè)數(shù)據(jù)不同,,隨著時間的的推移,歷史數(shù)據(jù)細節(jié)不再重要,,武器裝備試驗數(shù)據(jù)對于裝備全壽命管理周期有效期很長,,可以長達十幾年,數(shù)據(jù)價值隨時間變化不敏感,。
(4)數(shù)據(jù)不斷增長,。隨著后期體系級裝備試驗和貼近實戰(zhàn)的裝備作戰(zhàn)試驗的深入展開,試驗數(shù)據(jù)資源量將承指數(shù)級迅猛發(fā)展,。將有越來越多的試驗數(shù)據(jù)需要管理,、分析和利用,傳統(tǒng)的數(shù)據(jù)倉庫方式的數(shù)據(jù)中心方案將很難滿足未來發(fā)展的需要,,需要建立分布式的基于大數(shù)據(jù)的數(shù)據(jù)中心平臺,。
2 裝備試驗數(shù)據(jù)的管理需求分析
對裝備試驗數(shù)據(jù)的管理需求主要包括以下4個方面:
(1)數(shù)據(jù)建模需求:當前海量的試驗數(shù)據(jù)資源的價值處于沉睡狀態(tài),由于其底數(shù)不清,,格式各異,,尚不能對其進行較為深入地應用分析,因此對海量試驗數(shù)據(jù)資源進行建模,,形成有效的管理,、治理手段是當前需要解決的首要問題。
(2)試驗任務評估需求:基于試驗任務的試驗數(shù)據(jù),,可以評估本次試驗任務的實際效果,;基于同類裝備的歷次試驗任務,可以進行裝備的技術發(fā)展演化畫像分析,,輔助進行裝備技術改進點的挖掘分析決策,。
(3)多裝備體系化試驗評估需求:通過對裝備、環(huán)境,、保障,、任務協(xié)同等多專業(yè)類別的融合挖掘,基于試驗數(shù)據(jù)形成可視化的試驗進程態(tài)勢,,輔助進行體系效能的綜合評估,。
(4)裝備健康管理需求:基于裝備試驗數(shù)據(jù)建立裝備的健康管理模型,基于模型可以預測裝備的剩余壽命,,根據(jù)裝備實際狀態(tài)制訂精準的按需的維護保障計劃,。
3 裝備試驗大數(shù)據(jù)數(shù)據(jù)模型—ETBDIS
裝備試驗大數(shù)據(jù)的根本目標是為裝備試驗活動提供智能信息服務和管理決策,并能夠為后期裝備使用,、裝備維護保障和裝備技術發(fā)展提供支撐,,所以裝備試驗大數(shù)據(jù)模型首先需要考慮數(shù)據(jù)平臺的服務內(nèi)容,具體包括:裝備畫像,,裝備建模,,裝備健康管理,裝備體系化評估等,。例如:如圖1所示,,通過裝備大數(shù)據(jù)進行裝備畫像,可以對裝備的質(zhì)量,、性能,、適用的環(huán)境、維護保障,、健康狀況與剩余壽命,、技術發(fā)展過程等進行定量定性的分析。
本文面向裝備試驗數(shù)據(jù)建設的根本目標,,構(gòu)建設計了一個裝備試驗大數(shù)據(jù)模型ETBDIS(Equipment Test Big Data Intelligent Service),。
3.1 ETBDIS模型
ETBDIS模型包括試驗數(shù)據(jù)層、數(shù)據(jù)預處理層,、數(shù)據(jù)資源體系層,、大數(shù)據(jù)知識挖掘?qū)印⒀b備智能服務層等(如圖2所示),,各層的主要功能如下,。
試驗數(shù)據(jù)層。試驗數(shù)據(jù)按照資料數(shù)據(jù)的類型主要分為文本,、圖像,、測試測量數(shù)據(jù)等。
數(shù)據(jù)預處理層,。根據(jù)數(shù)據(jù)類型選擇相應的數(shù)據(jù)預處理方法,,比如文本類數(shù)據(jù),可以進行實體提取,、摘要提取,、關鍵詞提取等處理,,提取出其中的裝備、質(zhì)量,、性能,、專業(yè)技術、事件等實體數(shù)據(jù),,以便后續(xù)進行實體關聯(lián),、事件關聯(lián)挖掘分析使用;測試測量數(shù)據(jù)則需要相應的專用數(shù)據(jù)處理軟件,,對數(shù)據(jù)進行初步的分析和預處理,。
數(shù)據(jù)資源體系層。對原始數(shù)據(jù)經(jīng)過相應預處理后,,得到經(jīng)過分類,、標注的結(jié)構(gòu)化數(shù)據(jù),進而構(gòu)成可以處理分析利用的裝備大數(shù)據(jù)資源,。包括:裝備的質(zhì)量,、性能、環(huán)境,、技術等維度的數(shù)據(jù)主題,,基于這些結(jié)構(gòu)化的數(shù)據(jù)資源可以通過大數(shù)據(jù)挖掘、機器學習等方法提取相應的裝備知識庫,。
大數(shù)據(jù)知識挖掘?qū)?。對于裝備數(shù)據(jù)資源中的數(shù)據(jù)主題,可以通過相應的機器學習方法進行動力學模型建模,、分類規(guī)則挖掘,、模式挖掘、特征提取、多實體關系知識挖掘等處理,從數(shù)據(jù)中學習建立關于裝備的各類知識庫,。
裝備智能服務層?;跀?shù)據(jù)挖掘構(gòu)建的裝備知識庫,可以提供相應的基于裝備試驗大數(shù)據(jù)的智能信息服務,。如:裝備畫像,,裝備健康管理決策,裝備試驗任務評估,,不同環(huán)境體系下的裝備試驗仿真推演態(tài)勢分析等,。
3.2 基于ETBDIS的海軍裝備試驗數(shù)據(jù)管理特點分析
結(jié)合海軍裝備試驗業(yè)務實際,ETBDIS模型的主要特點如下:
(1)模型采用分層的架構(gòu),可以通過標準規(guī)范接口,,實現(xiàn)系統(tǒng)內(nèi)的不同層間的數(shù)據(jù)通信,;各層內(nèi)是模塊化結(jié)構(gòu),可以采用微服務的方式,,進行靈活的層內(nèi)模塊集成,。對于海軍裝備試驗數(shù)據(jù)而言,首先是通過對試驗文書資料,、攝錄像等圖像資料和測量測試等數(shù)據(jù)資料完成對試驗數(shù)據(jù)的統(tǒng)一管理,,測試測量數(shù)據(jù)根據(jù)試驗項目的不同可能用到不同的采集分析工具,,數(shù)據(jù)解碼方式也不盡相同,,為此形成對試驗數(shù)據(jù)的分布采集框架。
(2)服務驅(qū)動,。面向裝備大數(shù)據(jù)智能信息服務需求,。由于海軍裝備試驗數(shù)據(jù)涉及裝備門類多,在數(shù)據(jù)層基礎上通過預處理形成統(tǒng)一的試驗數(shù)據(jù)體系,,形成各類型主題庫,,建立試驗數(shù)據(jù)間的基礎關系,進而達到服務于裝備畫像,、裝備試驗評估,、裝備健康管理、不同環(huán)境體系下裝備的試驗評估等裝備管理,,既保障了數(shù)據(jù)中心的根本建設目標,,又較好低保障了數(shù)據(jù)采集處理的必要性。
(3)開放的架構(gòu),。裝備試驗數(shù)據(jù)涉及多個利益相關方,,既包括各組織裝備試驗的實體部門也包括裝備論證、研制,、使用方,,因此,各參試單位需按照數(shù)據(jù)標準,、接口標準,,在平臺上實現(xiàn)各自專業(yè)領域的數(shù)據(jù)的存儲,管理,、服務,,采用開放的基礎架構(gòu),實現(xiàn)按專業(yè)的合理分工和統(tǒng)一的平臺上實現(xiàn)大數(shù)據(jù)融合處理分析,。
(4)數(shù)據(jù)深度融合處理,。裝備試驗涉及海量圖片、文檔等海量非結(jié)構(gòu)化處理的處理。例如在海軍裝備試驗過程中涉及各類試驗相關會議文檔,、試驗音視頻等,,進而建立了質(zhì)量、性能,、保障維護,、技術發(fā)展等多維度的數(shù)據(jù)資源,從而達到可以利用機器學習,、數(shù)據(jù)挖掘等知識庫構(gòu)構(gòu)建過程,,提高了數(shù)據(jù)處理深度的目的。
4 結(jié)論
裝備試驗工作積累了大量的裝備相關的資料數(shù)據(jù),,本文以整合各單位的試驗資料數(shù)據(jù),,建立裝備試驗數(shù)據(jù)資源體系,提供裝備數(shù)據(jù)智能信息服務為目標,,研究給出了一個裝備試驗大數(shù)據(jù)模型,。該模型具有分層開放的架構(gòu),各參試單位可以按照該模型在統(tǒng)一的平臺上,,進行試驗數(shù)據(jù)的采集處理分析,,實現(xiàn)跨部門多專業(yè)數(shù)據(jù)的融合,利用裝備數(shù)據(jù)資源平臺,,進行相應的知識構(gòu)建與智能信息服務,,并以海軍裝備試驗數(shù)據(jù)管理為例分析了模型的主要特點,進一步展示了模型的可用性,。在未來研究中,,將選幾個典型裝備進行模型平臺的分步構(gòu)建示范應用。
參考文獻
[1] 齊劍鋒,,李三群,,楊素敏.裝備數(shù)據(jù)工程導論[M].北京:電子工業(yè)出版社,2016.
[2] 龔昕,,周大慶,,鞠亮,等.武器裝備試驗數(shù)據(jù)工程理論與實踐[M].北京:國防工業(yè)出版社,,2017.
[3] ChrisLoeffler.如何進行出色的數(shù)據(jù)中心設計[J].電源技術應用,,2011(9):72-73.
[4] 張新宇.大數(shù)據(jù)時代的數(shù)據(jù)架構(gòu)設計[J].中國金融電腦,2015(8):32-35.
[5] 朱玉立,,任義廷,,高甲子,等.淺談大數(shù)據(jù)時代下的數(shù)據(jù)中心運維管理[J].信息系統(tǒng)工程,,2015(11):101-102,,106.
[6] 楊彬.云計算數(shù)據(jù)中心資源的節(jié)能管理[J].電腦編程技巧與維護,2015(22):61-63.
[7] 陳劍.淺談傳統(tǒng)數(shù)據(jù)中心與模塊化數(shù)據(jù)中心[J].智能建筑與城市信息,2015(11):74-75.
[8] 陸江東,,戴卓臣,,鄭奮.基于云平臺的虛擬化機房管理系統(tǒng)[J].兵器裝備工程學報,2013,,34(12):64-65.
[9] 錢瓊芬,,李春林,張小慶,,等.云數(shù)據(jù)中心虛擬資源管理研究綜述[J].計算機應用研究,,2012,29(7):2411-2415.
[10] 張俊衛(wèi),,王晶,,張偉功,等.基于大數(shù)據(jù)的高能效數(shù)據(jù)中心服務器研究[J].計算機工程,,2017,,43(8):74-81.
作者信息:
陳 峰,,李 一,,馬躍飛
(中國人民解放軍92493部隊,遼寧 葫蘆島125000)