文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.189010
中文引用格式: 陳峰,,李一,馬躍飛. 面向試驗數(shù)據(jù)的裝備大數(shù)據(jù)模型[J].電子技術應用,,2018,,44(5):13-15.
英文引用格式: Chen Feng,,Li Yi,,Ma Yuefei. A test data oriented equipment big data model[J]. Application of Electronic Tech-
nique,2018,,44(5):13-15.
0 引言
在裝備試驗工作過程中,積累了大量的歷史數(shù)據(jù)資源,,真實記錄了裝備試驗,、訓練、演練的第一手資料數(shù)據(jù),,隨著數(shù)據(jù)采集手段的不斷拓展和綜合試驗演練類任務的深入推進,,試驗數(shù)據(jù)積累量將呈指數(shù)級增長。
這些數(shù)據(jù)資源是反映裝備性能,、可靠性,,評價裝備體系能力水平,研究裝備發(fā)展路徑的重要依據(jù)。但是,,由于建設初期信息技術尚不發(fā)達,,受網(wǎng)絡、計算,、存儲及數(shù)據(jù)處理技術等因素限制,,早期缺乏統(tǒng)一的系統(tǒng)規(guī)劃設計,目前大量武器裝備試驗數(shù)據(jù)分散存儲在不同試驗終端,,缺乏統(tǒng)一管理和分析應用機制,,大量隱含在數(shù)據(jù)中的有價值信息沒有得到有效地挖掘與開發(fā)[1-2]。
在信息技術領域,,大數(shù)據(jù)平臺技術生態(tài)鏈取得了飛速發(fā)展,,出現(xiàn)了Hadoop、HBase,、Storm,、Spark等眾多的開源的大數(shù)據(jù)分布式存儲、并行計算處理框架,。大數(shù)據(jù)計算技術解決了海量數(shù)據(jù)的收集,、存儲、計算,、分析的問題,。大數(shù)據(jù)技術已經(jīng)在醫(yī)療、金融,、交通,、教育、環(huán)保,、輿情監(jiān)管等眾多民用領域取得了實際應用,,驅動了相關領域的業(yè)務模式的創(chuàng)新發(fā)展,取得了良好的經(jīng)濟社會效益,。在軍事裝備領域,,航天、風洞等領域試驗數(shù)據(jù)得到了一定應用,,但其本質還停留在傳統(tǒng)的數(shù)據(jù)挖據(jù)領域,,尚未形成對大數(shù)據(jù)技術的應用成果。
本文結合裝備試驗數(shù)據(jù)管理需求,,研究提出了一種基于裝備試驗大數(shù)據(jù)的裝備大數(shù)據(jù)模型,,該模型可以指導如何抽取利用裝備試驗的歷史資料數(shù)據(jù),利用大數(shù)據(jù)處理技術挖掘建立裝備決策分析模型知識庫,,并基于知識庫提供裝備管理智能化決策支持服務,從而提高裝備數(shù)據(jù)資源的處理分析利用率,,將數(shù)據(jù)資源轉化為智能化的決策分析服務。
1 裝備試驗數(shù)據(jù)的特點
裝備試驗數(shù)據(jù)一般涵蓋裝備試驗過程中產(chǎn)生的所有數(shù)據(jù),長期以來,,試驗部門積累了PB級的歷史試驗數(shù)據(jù)資源,,包括紙質報告、電子文檔,、膠片,、電子照片、音視頻數(shù)據(jù),、雷測數(shù)據(jù),、遙測數(shù)據(jù)等,分散在不同的試驗終端單位,,缺乏統(tǒng)一的數(shù)據(jù)組織與管理規(guī)范平臺,。這些試驗數(shù)據(jù)資料具有以下特點:
(1)試驗數(shù)據(jù)種類繁多。隨著裝備試驗范圍的拓展,,試驗數(shù)據(jù)包括的范圍也越來越廣,,在試驗大類方面包括:各型裝備的性能試驗數(shù)據(jù),作戰(zhàn)試驗相關的裝備能力效能評估數(shù)據(jù),,裝備體系推演數(shù)據(jù)等,;針對單項試驗則包括:裝備、氣象,、地理水文環(huán)境,、人員保障、業(yè)務流程等數(shù)據(jù),。
(2)資料數(shù)據(jù)的形式多樣化,,結構化的數(shù)據(jù)庫數(shù)據(jù),,又有非結構化的文本,、圖像、影像資料,,還有半結構化的資料數(shù)據(jù),;此外,還存在海量的未數(shù)字化文檔等,。
(3)潛在價值高,,價值相對穩(wěn)定。與商業(yè)數(shù)據(jù)不同,,隨著時間的的推移,,歷史數(shù)據(jù)細節(jié)不再重要,武器裝備試驗數(shù)據(jù)對于裝備全壽命管理周期有效期很長,,可以長達十幾年,,數(shù)據(jù)價值隨時間變化不敏感。
(4)數(shù)據(jù)不斷增長。隨著后期體系級裝備試驗和貼近實戰(zhàn)的裝備作戰(zhàn)試驗的深入展開,,試驗數(shù)據(jù)資源量將承指數(shù)級迅猛發(fā)展,。將有越來越多的試驗數(shù)據(jù)需要管理、分析和利用,,傳統(tǒng)的數(shù)據(jù)倉庫方式的數(shù)據(jù)中心方案將很難滿足未來發(fā)展的需要,,需要建立分布式的基于大數(shù)據(jù)的數(shù)據(jù)中心平臺。
2 裝備試驗數(shù)據(jù)的管理需求分析
對裝備試驗數(shù)據(jù)的管理需求主要包括以下4個方面:
(1)數(shù)據(jù)建模需求:當前海量的試驗數(shù)據(jù)資源的價值處于沉睡狀態(tài),,由于其底數(shù)不清,,格式各異,尚不能對其進行較為深入地應用分析,,因此對海量試驗數(shù)據(jù)資源進行建模,,形成有效的管理、治理手段是當前需要解決的首要問題,。
(2)試驗任務評估需求:基于試驗任務的試驗數(shù)據(jù),,可以評估本次試驗任務的實際效果;基于同類裝備的歷次試驗任務,,可以進行裝備的技術發(fā)展演化畫像分析,,輔助進行裝備技術改進點的挖掘分析決策。
(3)多裝備體系化試驗評估需求:通過對裝備,、環(huán)境,、保障、任務協(xié)同等多專業(yè)類別的融合挖掘,,基于試驗數(shù)據(jù)形成可視化的試驗進程態(tài)勢,,輔助進行體系效能的綜合評估。
(4)裝備健康管理需求:基于裝備試驗數(shù)據(jù)建立裝備的健康管理模型,,基于模型可以預測裝備的剩余壽命,,根據(jù)裝備實際狀態(tài)制訂精準的按需的維護保障計劃。
3 裝備試驗大數(shù)據(jù)數(shù)據(jù)模型—ETBDIS
裝備試驗大數(shù)據(jù)的根本目標是為裝備試驗活動提供智能信息服務和管理決策,,并能夠為后期裝備使用,、裝備維護保障和裝備技術發(fā)展提供支撐,所以裝備試驗大數(shù)據(jù)模型首先需要考慮數(shù)據(jù)平臺的服務內容,,具體包括:裝備畫像,,裝備建模,裝備健康管理,,裝備體系化評估等,。例如:如圖1所示,通過裝備大數(shù)據(jù)進行裝備畫像,,可以對裝備的質量,、性能,、適用的環(huán)境、維護保障,、健康狀況與剩余壽命,、技術發(fā)展過程等進行定量定性的分析。
本文面向裝備試驗數(shù)據(jù)建設的根本目標,,構建設計了一個裝備試驗大數(shù)據(jù)模型ETBDIS(Equipment Test Big Data Intelligent Service),。
3.1 ETBDIS模型
ETBDIS模型包括試驗數(shù)據(jù)層、數(shù)據(jù)預處理層,、數(shù)據(jù)資源體系層,、大數(shù)據(jù)知識挖掘層、裝備智能服務層等(如圖2所示),,各層的主要功能如下,。
試驗數(shù)據(jù)層。試驗數(shù)據(jù)按照資料數(shù)據(jù)的類型主要分為文本,、圖像,、測試測量數(shù)據(jù)等。
數(shù)據(jù)預處理層,。根據(jù)數(shù)據(jù)類型選擇相應的數(shù)據(jù)預處理方法,,比如文本類數(shù)據(jù),可以進行實體提取,、摘要提取,、關鍵詞提取等處理,提取出其中的裝備,、質量,、性能、專業(yè)技術,、事件等實體數(shù)據(jù),,以便后續(xù)進行實體關聯(lián)、事件關聯(lián)挖掘分析使用,;測試測量數(shù)據(jù)則需要相應的專用數(shù)據(jù)處理軟件,,對數(shù)據(jù)進行初步的分析和預處理。
數(shù)據(jù)資源體系層,。對原始數(shù)據(jù)經(jīng)過相應預處理后,得到經(jīng)過分類,、標注的結構化數(shù)據(jù),,進而構成可以處理分析利用的裝備大數(shù)據(jù)資源。包括:裝備的質量,、性能,、環(huán)境,、技術等維度的數(shù)據(jù)主題,基于這些結構化的數(shù)據(jù)資源可以通過大數(shù)據(jù)挖掘,、機器學習等方法提取相應的裝備知識庫,。
大數(shù)據(jù)知識挖掘層。對于裝備數(shù)據(jù)資源中的數(shù)據(jù)主題,,可以通過相應的機器學習方法進行動力學模型建模,、分類規(guī)則挖掘、模式挖掘,、特征提取,、多實體關系知識挖掘等處理,從數(shù)據(jù)中學習建立關于裝備的各類知識庫,。
裝備智能服務層,。基于數(shù)據(jù)挖掘構建的裝備知識庫,,可以提供相應的基于裝備試驗大數(shù)據(jù)的智能信息服務,。如:裝備畫像,裝備健康管理決策,,裝備試驗任務評估,,不同環(huán)境體系下的裝備試驗仿真推演態(tài)勢分析等。
3.2 基于ETBDIS的海軍裝備試驗數(shù)據(jù)管理特點分析
結合海軍裝備試驗業(yè)務實際,,ETBDIS模型的主要特點如下:
(1)模型采用分層的架構,,可以通過標準規(guī)范接口,實現(xiàn)系統(tǒng)內的不同層間的數(shù)據(jù)通信,;各層內是模塊化結構,,可以采用微服務的方式,進行靈活的層內模塊集成,。對于海軍裝備試驗數(shù)據(jù)而言,,首先是通過對試驗文書資料、攝錄像等圖像資料和測量測試等數(shù)據(jù)資料完成對試驗數(shù)據(jù)的統(tǒng)一管理,,測試測量數(shù)據(jù)根據(jù)試驗項目的不同可能用到不同的采集分析工具,,數(shù)據(jù)解碼方式也不盡相同,為此形成對試驗數(shù)據(jù)的分布采集框架,。
(2)服務驅動,。面向裝備大數(shù)據(jù)智能信息服務需求。由于海軍裝備試驗數(shù)據(jù)涉及裝備門類多,,在數(shù)據(jù)層基礎上通過預處理形成統(tǒng)一的試驗數(shù)據(jù)體系,,形成各類型主題庫,建立試驗數(shù)據(jù)間的基礎關系,,進而達到服務于裝備畫像,、裝備試驗評估,、裝備健康管理、不同環(huán)境體系下裝備的試驗評估等裝備管理,,既保障了數(shù)據(jù)中心的根本建設目標,,又較好低保障了數(shù)據(jù)采集處理的必要性。
(3)開放的架構,。裝備試驗數(shù)據(jù)涉及多個利益相關方,,既包括各組織裝備試驗的實體部門也包括裝備論證、研制,、使用方,,因此,各參試單位需按照數(shù)據(jù)標準,、接口標準,,在平臺上實現(xiàn)各自專業(yè)領域的數(shù)據(jù)的存儲,管理,、服務,,采用開放的基礎架構,實現(xiàn)按專業(yè)的合理分工和統(tǒng)一的平臺上實現(xiàn)大數(shù)據(jù)融合處理分析,。
(4)數(shù)據(jù)深度融合處理,。裝備試驗涉及海量圖片、文檔等海量非結構化處理的處理,。例如在海軍裝備試驗過程中涉及各類試驗相關會議文檔,、試驗音視頻等,進而建立了質量,、性能,、保障維護、技術發(fā)展等多維度的數(shù)據(jù)資源,,從而達到可以利用機器學習,、數(shù)據(jù)挖掘等知識庫構構建過程,提高了數(shù)據(jù)處理深度的目的,。
4 結論
裝備試驗工作積累了大量的裝備相關的資料數(shù)據(jù),,本文以整合各單位的試驗資料數(shù)據(jù),建立裝備試驗數(shù)據(jù)資源體系,,提供裝備數(shù)據(jù)智能信息服務為目標,,研究給出了一個裝備試驗大數(shù)據(jù)模型。該模型具有分層開放的架構,,各參試單位可以按照該模型在統(tǒng)一的平臺上,,進行試驗數(shù)據(jù)的采集處理分析,實現(xiàn)跨部門多專業(yè)數(shù)據(jù)的融合,,利用裝備數(shù)據(jù)資源平臺,,進行相應的知識構建與智能信息服務,并以海軍裝備試驗數(shù)據(jù)管理為例分析了模型的主要特點,,進一步展示了模型的可用性,。在未來研究中,將選幾個典型裝備進行模型平臺的分步構建示范應用,。
參考文獻
[1] 齊劍鋒,,李三群,楊素敏.裝備數(shù)據(jù)工程導論[M].北京:電子工業(yè)出版社,,2016.
[2] 龔昕,,周大慶,鞠亮,,等.武器裝備試驗數(shù)據(jù)工程理論與實踐[M].北京:國防工業(yè)出版社,,2017.
[3] ChrisLoeffler.如何進行出色的數(shù)據(jù)中心設計[J].電源技術應用,2011(9):72-73.
[4] 張新宇.大數(shù)據(jù)時代的數(shù)據(jù)架構設計[J].中國金融電腦,,2015(8):32-35.
[5] 朱玉立,,任義廷,高甲子,,等.淺談大數(shù)據(jù)時代下的數(shù)據(jù)中心運維管理[J].信息系統(tǒng)工程,,2015(11):101-102,106.
[6] 楊彬.云計算數(shù)據(jù)中心資源的節(jié)能管理[J].電腦編程技巧與維護,,2015(22):61-63.
[7] 陳劍.淺談傳統(tǒng)數(shù)據(jù)中心與模塊化數(shù)據(jù)中心[J].智能建筑與城市信息,,2015(11):74-75.
[8] 陸江東,戴卓臣,,鄭奮.基于云平臺的虛擬化機房管理系統(tǒng)[J].兵器裝備工程學報,,2013,34(12):64-65.
[9] 錢瓊芬,,李春林,,張小慶,等.云數(shù)據(jù)中心虛擬資源管理研究綜述[J].計算機應用研究,,2012,,29(7):2411-2415.
[10] 張俊衛(wèi),王晶,,張偉功,,等.基于大數(shù)據(jù)的高能效數(shù)據(jù)中心服務器研究[J].計算機工程,2017,,43(8):74-81.
作者信息:
陳 峰,,李 一,馬躍飛
(中國人民解放軍92493部隊,,遼寧 葫蘆島125000)