文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.190761
中文引用格式: 任李娟,,盧軍,,郭維. 公共元數(shù)據(jù)配置管理平臺設計[J].電子技術應用,2020,,46(1):100-103.
英文引用格式: Ren Lijuan,,Lu Jun,Guo Wei. Public metadata configuration management platform design[J]. Application of Electronic Technique,,2020,,46(1):100-103.
0 引言
隨著信息技術不斷發(fā)展,各領域數(shù)據(jù)資源不斷擴大,,數(shù)據(jù)量呈幾何增長,,數(shù)據(jù)呈現(xiàn)多樣性。不同平臺之間元數(shù)據(jù)資源分散,、資源反復存儲,,使得數(shù)據(jù)共享難的問題日益嚴重。元數(shù)據(jù)是實現(xiàn)科學數(shù)據(jù)共享的4種方式之一[1],,因此集中配置管理公共元數(shù)據(jù)為解決這一問題提供了有效途徑。元數(shù)據(jù)(Metadata)是“關于數(shù)據(jù)的數(shù)據(jù)”或“關于信息的信息”[2],。如年齡,、身高、性格等就是描述人的元數(shù)據(jù),,可根據(jù)其推測人的樣子,。元數(shù)據(jù)可以記錄數(shù)據(jù)的來龍去脈,,可以把整個業(yè)務的工作流、信息流有效地管理起來,,提高平臺的可擴展性[3],。而公共元數(shù)據(jù)是指在領域中可通用的并具有重要參照意義的元數(shù)據(jù),其需要滿足一定的行業(yè)標準,,標準中除要詳細列出實體與元素集以外,,還要說明元數(shù)據(jù)標準適用范圍、參考標準,、術語與定義,、元數(shù)據(jù)分級、元數(shù)據(jù)性質(zhì),、標識,、格式和類型以及元數(shù)據(jù)擴展原則等[4]。元數(shù)據(jù)在科學數(shù)據(jù)領域中的研究與應用取得了較大進展,,科學元數(shù)據(jù)標準的逐漸豐富和發(fā)展為元數(shù)據(jù)在科學數(shù)據(jù)不同領域的應用提供較為充分的工具和標準[5],。
目前,元數(shù)據(jù)存儲分散使各平臺中元數(shù)據(jù)難以共享,,元數(shù)據(jù)反復存儲浪費了存儲空間,。為解決此問題,本文提出將公共元數(shù)據(jù)集中管理,,通過Web Service技術提供對外的公共元數(shù)據(jù)配置服務與共享服務,,并利用Redis內(nèi)存數(shù)據(jù)庫來提高服務速度。實際上,,平臺不僅保證了元數(shù)據(jù)的統(tǒng)一管理和高速共享,,也簡化各平臺數(shù)據(jù)交換的流程,使平臺間只需開發(fā)簡單的接口調(diào)用和數(shù)據(jù)解析功能即可完成數(shù)據(jù)交互,。
1 元數(shù)據(jù)配置管理研究現(xiàn)狀
SUFI S等[6]認為元數(shù)據(jù)描述框架相比元數(shù)據(jù)內(nèi)容標準,,其承擔的指導性和框架性作用更強,不局限于特定領域的術語平臺限制,,強調(diào)了數(shù)據(jù)描述框架在領域中的重要性,,對元數(shù)據(jù)配置管理在領域中的指導性與框架性給予肯定。同時,,Jian Qin等[7]指出,,龐大的、復雜的標準和廣泛多樣的命名實踐是構建元數(shù)據(jù)基礎設施的主要障礙,,而可移植是元數(shù)據(jù)方案“基礎結(jié)構”的必要條件或先決條件,,因此在元數(shù)據(jù)配置管理上統(tǒng)一元數(shù)據(jù)標準是構建平臺的基礎。
元數(shù)據(jù)的應用不僅能提高平臺的靈活性與適應性,,強化其穩(wěn)定性,,也使平臺更易維護[8],,同時利用元數(shù)據(jù)的整合,可提高平臺靈活性與適應性,,提高數(shù)據(jù)質(zhì)量控制力度[9],。在元數(shù)據(jù)的配置管理上,王國復等[10]對元數(shù)據(jù)在科學數(shù)據(jù)共享平臺的作用,、元數(shù)據(jù)的分類,、元數(shù)據(jù)的管理、元數(shù)據(jù)平臺和元數(shù)據(jù)的應用模型進行了闡述,。隨后,,張英俊[11]提出利用元數(shù)據(jù)的標準化來統(tǒng)一管理分布式的數(shù)據(jù)資源,通過網(wǎng)絡實現(xiàn)數(shù)據(jù)共享與服務,,使得用戶能夠快速準確地獲取所需科學數(shù)據(jù),。進一步地,周寶平[12]提出元數(shù)據(jù)匯交,、數(shù)據(jù)發(fā)布,、元數(shù)據(jù)檢索以及多種方式的數(shù)據(jù)共享等功能。
總的來說,,國內(nèi)外學者都已十分重視元數(shù)據(jù)的應用,。目前,在統(tǒng)一元數(shù)據(jù)標準與跨平臺數(shù)據(jù)共享上的研究比較充分,,但在元數(shù)據(jù)跨平臺配置管理與高效服務上的研究仍然不足,。本文利用Web Service與Redis技術,設計了一種可跨平臺配置管理公共元數(shù)據(jù)并提供高效共享服務的平臺,,有助于組織和管理海量數(shù)據(jù)資源,,提高數(shù)據(jù)利用率。
2 元數(shù)據(jù)配置管理特點
元數(shù)據(jù)配置管理平臺應具有以下特點:
(1)數(shù)據(jù)適用性,。平臺數(shù)據(jù)應采用行業(yè)通用標準,,數(shù)據(jù)標準化可提高數(shù)據(jù)適用性,易與不同平臺進行數(shù)據(jù)交換,。如氣象大數(shù)據(jù)平臺中,,配置管理平臺采用國家氣象信息中心制定的我國氣象數(shù)據(jù)集元數(shù)據(jù)格式標準(草案)將元數(shù)據(jù)標準化,以適用于氣象大數(shù)據(jù)平臺建設和數(shù)據(jù)集的編目,、歸檔,、發(fā)布和交換等。
(2)跨平臺性,。平臺應具有跨平臺的特性,,為數(shù)據(jù)匯交、數(shù)據(jù)共享提供可行性。元數(shù)據(jù)配置管理平臺作為平臺的基礎部分,,元數(shù)據(jù)匯交與元數(shù)據(jù)的共享都依賴平臺跨平臺性。
(3)高效性,。平臺應具有高速響應并發(fā)訪問的能力,,為不同平臺提供高效的在線元數(shù)據(jù)支持。元數(shù)據(jù)配置管理的目的是集中元數(shù)據(jù)資源,,實現(xiàn)公共元數(shù)據(jù)的共享,,提高元數(shù)據(jù)利用率。平臺的高效性提高了元數(shù)據(jù)共享效率,,是平臺穩(wěn)定運行的保障,。
3 元數(shù)據(jù)配置管理平臺設計
元數(shù)據(jù)是數(shù)據(jù)的基本信息,有助于數(shù)據(jù)的分類標注[13],。元數(shù)據(jù)的配置管理不僅能集中資源與節(jié)省存儲,,還能幫助組織和管理平臺數(shù)據(jù)資源。公共元數(shù)據(jù)的配置管理是一個動態(tài)過程,,既需要滿足公共元數(shù)據(jù)跨平臺的匯交,,同時需要對配置信息進行審核,審核成功后的元數(shù)據(jù)需要通過接口為其他平臺提供數(shù)據(jù)共享服務,。
3.1 平臺架構
平臺是針對元數(shù)據(jù)集中化配置管理與共享而設計的,,主要功能包括個人信息管理、配置管理,、審核管理,、接口管理、用戶管理,。平臺架構圖如圖1所示,。
管理員根據(jù)平臺中人員的安排,在用戶管理功能中對用戶信息進行維護,,可以增加,、刪除、修改和查詢用戶,。當平臺人員離職后,,管理員需要將該用戶狀態(tài)修改為離職,限制其登錄平臺以保證平臺數(shù)據(jù)的安全性,。當平臺人員權限有所變化時,,管理員需要及時修改信息,以便用戶正常使用平臺,。
審核員主要負責對配置后的公共元數(shù)據(jù)進行審核,,也可以查看整個審核流程。審核員可分為多個級別,應具有一定的專業(yè)知識,,以保證公共元數(shù)據(jù)的正確性,。
操作員可增加、刪除,、修改,、查看公共元數(shù)據(jù),對元數(shù)據(jù)配置后,,操作員可查看審核進度,。操作員可以在接口管理中查看、配置,、監(jiān)測公共元數(shù)據(jù)采集接口與共享接口,,也可以修改接口的發(fā)布狀態(tài)。其中,,接口狀態(tài)為打開時其他平臺可以調(diào)用,,狀態(tài)為關閉時其他平臺不可調(diào)用。
3.2 主要功能
3.2.1 配置管理
配置管理分為配置元數(shù)據(jù)與查看審核功能,。配置元數(shù)據(jù)功能中,,配置方式分為新增、變更,、廢止,。由平臺人員根據(jù)業(yè)務需求在數(shù)據(jù)配置頁面對元數(shù)據(jù)進行配置,配置成功可查詢流程信息,。新增時,,平臺生成流程單并將新增的元數(shù)據(jù)存入臨時表中,直到流程審批成功才會存入正式表,。變更與廢止時,,平臺會生成流程單并拷貝正式表中被配置的元數(shù)據(jù)到臨時表中,直到流程審批成功后,,才會修改正式表中的數(shù)據(jù),。查看審核功能用于操作員查看審核狀態(tài),以便實時跟蹤元數(shù)據(jù)審核情況,。
配置成功后的待審批元數(shù)據(jù)將存入到臨時表中,,等待流程審批人員審核通過后再將其存入正式表中。平臺使用臨時表存儲,,既能實現(xiàn)對元數(shù)據(jù)配置進行監(jiān)控,,也能減少數(shù)據(jù)誤配置造成的數(shù)據(jù)污染。配置管理流程圖如圖2所示,。
3.2.2 審核管理
審核管理分為審核申請與查看審核流程功能,。審核申請功能是具有相應權限的審核員對配置元數(shù)據(jù)后生成的申請進行審核,。其中,元數(shù)據(jù)配置成功后便會對此配置信息生成對應的流程信息,,每一級的審核員審核完成都會產(chǎn)生一條流程信息,。查看審批流程功能用于跟蹤配置信息的審核過程,便于追溯配置過程,。
審核管理是元數(shù)據(jù)質(zhì)量的保證,,需要十分熟悉業(yè)務的人員才能進行審核,不正確的數(shù)據(jù)易造成參照錯誤,,產(chǎn)生不可逆的影響。審核管理流程圖如圖3所示,。
3.2.3 接口管理
接口管理分為配置接口,、狀態(tài)管理與監(jiān)測接口功能。配置接口功能主要用于管理接口的增加,、刪除,、修改、查詢操作,。狀態(tài)管理功能是用于管理接口的狀態(tài),,狀態(tài)分為打開狀態(tài)與關閉狀態(tài)。監(jiān)測接口用于操作員監(jiān)測接口調(diào)用情況,,打開的狀態(tài)下可以進行實時監(jiān)控,,關閉的情況下只能查看歷史監(jiān)控信息,一般有調(diào)用頻度,、數(shù)據(jù)狀況等,。
平臺中接口主要分為數(shù)據(jù)采集接口與數(shù)據(jù)共享接口兩類。具體地,,兩類接口由平臺操作人員配置并發(fā)布,,使用Web Service技術實現(xiàn),使其他業(yè)務平臺通過網(wǎng)絡訪問,,根據(jù)業(yè)務不同傳遞不同的參數(shù),。平臺發(fā)布接口后根據(jù)WSDL文檔,加入描述信息生成接口文檔,,便于其他業(yè)務平臺使用,。其中,WSDL文檔是用來描述Web 服務及Web服務通信過程的XML語言[14],。
數(shù)據(jù)采集接口提供公共元數(shù)據(jù)配置服務,,主要是供其他平臺調(diào)用以實現(xiàn)公共元數(shù)據(jù)的跨平臺配置。具體地,,其他平臺根據(jù)接口文檔將需要配置的公共元數(shù)據(jù)信息拼接為XML格式并發(fā)送到Web服務器,,Web服務器接收后根據(jù)請求參數(shù)后通過SOAP(Simple Object Access Protocol)發(fā)送數(shù)據(jù)包,,并在分布式的服務器上調(diào)用相應Web Service。配置管理平臺服務器接收數(shù)據(jù)到請求數(shù)據(jù)后進行信息校驗,,校驗成功后將配置的公共元數(shù)據(jù)存入臨時表中,,并生成審核申請與流程信息,然后將結(jié)果集生成XML文檔返回[15],。
數(shù)據(jù)共享接口提供公共元數(shù)據(jù)共享服務,,主要是供不同平臺調(diào)用以實現(xiàn)公共元數(shù)據(jù)的跨平臺高效共享。具體地,,其調(diào)用過程與數(shù)據(jù)采集接口相似,,不同之處在于請求參數(shù)與數(shù)據(jù)處理過程上。在數(shù)據(jù)共享接口中,,請求參數(shù)是用于定位共享的公共元數(shù)據(jù),,一般是數(shù)據(jù)分類等。同時,,為提供高效共享服務,,數(shù)據(jù)共享接口中的數(shù)據(jù)處理是先從Redis內(nèi)存數(shù)據(jù)庫中查詢數(shù)據(jù),不滿足時再讀取數(shù)據(jù)庫將數(shù)據(jù)取出并生成XML格式的查詢結(jié)果集返回,,并將數(shù)據(jù)存入內(nèi)存數(shù)據(jù)庫中,。接口管理流程圖如圖4所示。
3.3 平臺主要支撐技術
配置管理平臺主要采用Web Service技術實現(xiàn)跨平臺接口發(fā)布,,利用Redis內(nèi)存數(shù)據(jù)庫來提高數(shù)據(jù)響應速度,。
Web Service是一種通過Web部署提供對業(yè)務功能訪問的技術,具有跨平臺,、簡單和高度可集成能力等特點[16],。通常被定義為一組模塊化的API,可通過網(wǎng)絡進行調(diào)用,,執(zhí)行遠程平臺的請求服務,。同時,Web Service為多層分布式應用平臺的構建創(chuàng)造了條件,,使開發(fā)人員可以將來自不同地方的Web Service組裝起來, 并在應用程序中使用[17],。依據(jù)Web Service規(guī)范實施的平臺之間即使開發(fā)語言、平臺或內(nèi)部協(xié)議不一致也可相互交換數(shù)據(jù),。Web Service的發(fā)現(xiàn),、訪問、集成和調(diào)用需要通過UDDI,、WSDL,、SOAP來完成[18]。具體地,,Web服務客戶端應用程序通過名字,、分類,、標識符等從UDDI 注冊中心查詢所需的服務,一旦找到,,客戶便從UDDI注冊中心獲取WSDL 文檔的位置信息,,并按照WSDL 中發(fā)現(xiàn)的XML 模式生成一個SOAP 消息,發(fā)送給服務端,。
Redis是高性能的key-value數(shù)據(jù)庫,,支持存儲類型有字符串、鏈表,、集合,、有序集合和哈希類型,為保證效率將數(shù)據(jù)緩存在內(nèi)存中[19],。Redis數(shù)據(jù)庫具有持久化,、多數(shù)據(jù)結(jié)構的支持、支持主從復制,、Virtual Memory功能等特征[20]。Redis數(shù)據(jù)庫的數(shù)據(jù)模型是建立在外層,,類似于其他結(jié)構化存儲平臺,。不同于其他結(jié)構化存儲平臺的是,其支持在多種數(shù)據(jù)類型上做多種原子性操作,,這也是Redis數(shù)據(jù)庫高效性的原因之一[21],。Redis基于內(nèi)存的特性使其具有高速讀的優(yōu)點,查詢響應時間為納秒級,。
平臺使用Web Service技術,,提供數(shù)據(jù)采集接口、數(shù)據(jù)共享接口,,使網(wǎng)絡連接的不同平臺可通過接口進行數(shù)據(jù)交互,,實現(xiàn)了公共元數(shù)據(jù)的統(tǒng)一配置管理。同時,,利用Redis內(nèi)存數(shù)據(jù)庫的回收策略將超過設置的過期時間的數(shù)據(jù)淘汰,,利用其基于內(nèi)存的特性實現(xiàn)高速共享元數(shù)據(jù),利用其持久化的特性也能提高數(shù)據(jù)的安全性,。
4 結(jié)論
公共元數(shù)據(jù)配置管理平臺使用Web Service技術解決跨平臺配置數(shù)據(jù)與共享數(shù)據(jù),,利用Redis內(nèi)存數(shù)據(jù)庫提高公共元數(shù)據(jù)共享效率。平臺將公共元數(shù)據(jù)統(tǒng)一配置管理,,提供統(tǒng)一參照,,提供高效數(shù)據(jù)共享服務,解決元數(shù)據(jù)重復存儲難以共享的問題,,節(jié)省硬件資源,,節(jié)約人力,。同時,平臺的設計有助于了解組織和管理平臺數(shù)據(jù)資源,、提供數(shù)據(jù)發(fā)現(xiàn),、檢索服務。實際上,,平臺的設計滿足跨平臺,、可擴展性的要求,對其他類似的基于元數(shù)據(jù)的數(shù)據(jù)共享平臺具有一定參考意義,。
參考文獻
[1] 王培正,,張志強,吳一民.科學數(shù)據(jù)共享方式研究[J].科技管理研究,,2010(17):201-204.
[2] 吳增祥,,臧海佳,王國復.氣象科學數(shù)據(jù)與氣象數(shù)據(jù)集元數(shù)據(jù)[C]科學數(shù)據(jù)管理與共享.北京:中國科學技術出版社,,2002.
[3] 謝益武,,何宇峰,曹志英.基于模式的CWM元數(shù)據(jù)交換方法的研究[J].電子技術應用,,2007,,33(11):114-116,120.
[4] 王國復,,徐楓,,吳增祥.氣象元數(shù)據(jù)標準與信息發(fā)布技術研究[J].應用氣象學報,2005,,16(1):115-121.
[5] 黃如花,,邱春艷.國內(nèi)外科學數(shù)據(jù)元數(shù)據(jù)研究進展[J].圖書與情報,2014(6):102-108.
[6] SUFI S,,MATTHEWS B.A metadata model for the discovery and exploitation of scientific studies[M].Knowledge and Data Management in GRIDs.Springer US,,2007.
[7] Jian Qin,Li Kal.How portable are the metadata standards for scientific data? A proposal for a metadata infrastructure[EB/OL].[2014-08-09].http://jianqin.metadataetc.org/wp-content/uploads/2013/08/DC2013-metadatad-portability.pdf.
[8] 王小奇,,王英.分析電信資源管理的主要問題及元數(shù)據(jù)的應用策略[J].數(shù)據(jù)庫技術,,2017(20):187-188.
[9] 余葉蘭.基于銀行數(shù)據(jù)倉庫的元數(shù)據(jù)管理體系研究[J].湖北第二師范學院學報,2017,,34(2):38-40.
[10] 王國復,,涂勇,王卷樂,,等.科學數(shù)據(jù)共享中的元數(shù)據(jù)技術研究[J].中國科技資源導刊,,2008,40(1):30-36.
[11] 張英俊.基于元數(shù)據(jù)技術的科學數(shù)據(jù)共享平臺設計與實現(xiàn)[J].太原科技,,2008,,177(10):9-11.
[12] 周寶平.論科學數(shù)據(jù)共享平臺的設計與實現(xiàn)[J].山西科技,,2010,25(2):48-49.
[13] 趙卓寧,,李湘,,舒紅平,等.氣象大數(shù)據(jù)資源匯交可視化分析研究[J].氣象科技進展,,2018,,8(1):203-207,263.
[14] 于洪波,,劉鴻飛,,方麗英,等.基于Web服務的物聯(lián)接入系統(tǒng)設計[J].電子技術應用,,2015,,41(7):33-36,43.
[15] 焦圣明,,嚴明良,,郭靜,等.基于WebService的分布式交通氣象信息共享技術研究[J].計算機工程與科學,,2012,,24(3):196-200.
[16] 胡澤,廖聞劍,,彭艷兵.WebService技術研究及應用[J].硅谷,2009(5):48.
[17] 龔小勇,,羅軍.Web Service技術在開發(fā)多層分布式數(shù)據(jù)庫系統(tǒng)中的應用研究[J].計算機應用研究,,2004,21(8):55-57.
[18] 甄少鵬.淺談WebService與主流實現(xiàn)技術框架[J].湖南農(nóng)機,,2012,,39(1):62,64.
[19] 曾超宇,,李金香.Redis在高速緩存系統(tǒng)中的應用[J].微型機與應用,,2013,32(12):11-13.
[20] 楊曉軍,,臧飛,,李春雷.云計算在軍事領域中的應用分析[J].電子技術應用,2018,,44(6):129-132,,137.
[21] 馬豫星.Redis數(shù)據(jù)庫特性分析[J].物聯(lián)網(wǎng)技術,2015(3):105-106.
作者信息:
任李娟,,盧 軍,,郭 維
(成都信息工程大學 軟件工程學院,,四川 成都610225)