大聯(lián)網(wǎng)的趨勢,、越來越高的監(jiān)控碼流要求以及日益豐富的應用,對監(jiān)控系統(tǒng)的存儲功能提出了新的挑戰(zhàn),。不僅需要有大容量,,而且必須具備良好的擴展性和穩(wěn)定性。如何面對這些挑戰(zhàn),?我們需要從多媒體數(shù)據(jù)的特點出發(fā)進行針對性的設計,。
存儲是視頻監(jiān)控系統(tǒng)中最為核心的功能之一,視頻監(jiān)控IP化,、大聯(lián)網(wǎng)的趨勢對存儲系統(tǒng)提出了新的要求,。
一路出2MD1碼流的視頻監(jiān)控攝像頭,一天產(chǎn)生的數(shù)據(jù)量是21GBytes,。而一個大型監(jiān)控系統(tǒng)中的攝像頭數(shù)量往往數(shù)以千計,,如此海量的數(shù)據(jù)通過什么格式保存攝像頭的錄像數(shù)據(jù),才能提升后續(xù)回放和查找的效率,?如何能為數(shù)以千計的攝像頭同時提供服務器,,在大量并發(fā)請求的情況下保持存儲系統(tǒng)的穩(wěn)定性,支撐7×24小時服務,?
在海量的數(shù)據(jù)面前,,單靠人進行多媒體數(shù)據(jù)的檢索、挖掘明顯力不從心——效率低,、成本高,。隨著智能視頻技術的逐漸發(fā)展和成熟,視頻監(jiān)控系統(tǒng)中也開始出現(xiàn)智能化的需求,。然而目前智能系統(tǒng)和多媒體監(jiān)控系統(tǒng)大多為相互獨立的兩個系統(tǒng),,數(shù)據(jù)沒有進行整合。成為數(shù)據(jù)共享以及效率提升的障礙,。整合多媒體視頻生產(chǎn)系統(tǒng)和智能視頻技術,,對視頻監(jiān)控的存儲系統(tǒng)也提出了很高的要求,要求智能信息和視頻監(jiān)控系統(tǒng)生產(chǎn)的音視頻信息要進行有效整合,。這種情況下,,MAS應運而生。
MAS(MultimediaAttachedStorage),,多媒體附屬存儲,。是H3CIMOS(IP Multimedia Operation
System)多媒體操作系統(tǒng)平臺的核心組件之一。MAS是多媒體數(shù)據(jù)存儲的基礎架構,,其不同于現(xiàn)有的文件系統(tǒng)以及普通塊存儲方式,。它使用了創(chuàng)新的設計思路,以H3C多媒體存儲專利技術為設計基礎,,具備高可靠性和高擴展能力,。
一,、 MAS設計思想
MAS的基本設計出發(fā)點是“針對視頻監(jiān)控的專業(yè)多媒體存儲系統(tǒng)”,它以H3C在監(jiān)控領域成熟應用的塊存儲技術為基礎,,并對原有塊存儲技術進行革新,,吸取文件系統(tǒng)中的空間共享可動態(tài)調整等特點。吸取文件系統(tǒng)和塊存儲的優(yōu)點,,又規(guī)避了其缺點,,并實施針對性視頻監(jiān)控應用的多種可靠性保證設計。
作為適合視頻監(jiān)控的多媒體存儲基礎架構,,MAS設計時詳細分析了多媒體的數(shù)據(jù)特點以及在不同場景下多媒體系統(tǒng)的應用特點,,在塊存儲的基礎上進行深層設計。MAS兼具文件系統(tǒng)的空間共享,、彈性以及塊存儲的高效、穩(wěn)定的特點,,對存儲核心的元數(shù)據(jù)區(qū)進行了嚴密的保護和訪問限制,。針對視頻監(jiān)控應用做了存儲空間訪問的優(yōu)化和擴展,具備多媒體數(shù)據(jù)存儲的靈活管理和高可擴展性,、高可靠性的特點,。
1. 存儲資源全局訪問 —— IP可達即存儲可達
MAS具備存儲資源的本地和網(wǎng)絡化訪問方式,對存儲資源的生產(chǎn)者和使用者提供了統(tǒng)一的訪問接口,。生產(chǎn)者和使用者無需了解存儲資源的位置,,組網(wǎng)中存儲資源可全局訪問,所有的存儲資源都由MAS接管,,并提供全局的存儲服務,。這種歸一化的訪問方式可減小后續(xù)應用的開發(fā)工作量。
對于小型組網(wǎng)中常見的DVR/DVS等方式,,MAS可安裝在DVR/DVS內提供本地存儲服務,。
大型組網(wǎng)中分散的數(shù)據(jù)難以管理,又有信息安全的風險,,勢必帶來數(shù)據(jù)集中的要求,。存儲空間的網(wǎng)絡化訪問是必然的方式,MAS使用的iSCSI協(xié)議基于TCP/IP之上,,當前IP網(wǎng)絡的普及和成熟性為MAS的部署提供了基礎保障,。通過iSCSI協(xié)議無論是媒體數(shù)據(jù)的生產(chǎn)者還是媒體數(shù)據(jù)的訪問者(如:VODServer、第三方系統(tǒng))都可以方便快捷的寫入或獲取數(shù)據(jù),,真正可做到IP可達即存儲可達,。
圖1 MAS網(wǎng)絡化訪問模型
2. 多重可靠性設計 —— “穩(wěn)定壓倒一切”
MAS的設計目標是提供7×24小時服務,因此穩(wěn)定和健壯是關鍵指標,,MAS在多個層次采用多種手段提升系統(tǒng)的穩(wěn)定和健壯:
底層使用Raid冗余技術
底層使用Raid5技術,,保證存儲空間的冗余保護,。在發(fā)生單個磁盤損壞時可利用Raid5技術對數(shù)據(jù)進行恢復,避免MAS的元數(shù)據(jù)和多媒體數(shù)據(jù)遭到損壞,。
數(shù)據(jù)區(qū)和元數(shù)據(jù)區(qū)操作分離
在視頻監(jiān)控攝像頭產(chǎn)生的海量數(shù)據(jù)面前,,普通的桌面級文件系統(tǒng)無論在穩(wěn)定性還是性能上都將面臨極大的問題,頻繁,、異徑且大量并發(fā)的文件系統(tǒng)元數(shù)據(jù)區(qū)的訪問將會導致其難以承受,。MAS系統(tǒng)對多媒體數(shù)據(jù)的訪問和元數(shù)據(jù)的訪問作出了嚴格的控制,元數(shù)據(jù)只能由MAS的管理者——MASManagerServer操作,,多媒體數(shù)據(jù)的生產(chǎn)者和使用者被嚴格禁止操作元數(shù)據(jù),。多媒體數(shù)據(jù)和元數(shù)據(jù)區(qū)的操作分離可以保證MASManager Server萬一發(fā)生故障或宕機,不會影響多媒體數(shù)據(jù)的正常訪問,,媒體數(shù)據(jù)的生產(chǎn)者還可以繼續(xù)存入數(shù)據(jù),,媒體數(shù)據(jù)的訪問者還可以繼續(xù)讀取數(shù)據(jù)。
對元數(shù)據(jù)區(qū)進行冗余保護
MAS同時對元數(shù)據(jù)區(qū)進行了冗余設計,,當發(fā)生不可預料的異常時,,系統(tǒng)可根據(jù)MAS元數(shù)據(jù)區(qū)的冗余信息找到正確的元數(shù)據(jù)。例如,,由于某種原因MASManagerServer發(fā)生了掉電,,其對元數(shù)據(jù)區(qū)的操作可能只是部分完成,此時元數(shù)據(jù)區(qū)中的數(shù)據(jù)出現(xiàn)了錯誤,,MASManager Server重新上電后會自動根據(jù)冗余信息找出正確的狀態(tài),,保證MAS系統(tǒng)的正常運行。
3. 共享塊存儲 —— 揚長避短
MAS對H3C原有塊存儲技術進行了擴展設計,,使得一個MAS卷可同時為多個媒體資源的生產(chǎn)者使用,,空間共享并可按需要擴展或縮小。為了減少對元數(shù)據(jù)的訪問,,MAS將基本存儲塊擴展到適合視頻數(shù)據(jù)的256MBytes(文件系統(tǒng)通常為幾十K~幾M),,256M的基本存儲塊可進一步細分為適合圖片數(shù)據(jù)的16MBytes。媒體數(shù)據(jù)的生產(chǎn)者和使用者在數(shù)據(jù)操作時無需訪問元數(shù)據(jù)區(qū),,只在存儲空間需要擴大或縮小的時候通過MASManager Server訪問元數(shù)據(jù)區(qū),,極大的降低了對元數(shù)據(jù)區(qū)的訪問。
4. 數(shù)據(jù)關系矩陣 —— 智能應用整合
數(shù)據(jù)關系矩陣解決的核心問題是多媒體數(shù)據(jù)本身與其他系統(tǒng)產(chǎn)生的針對多媒體數(shù)據(jù)的表述信息建立對映關系,。比如基于IMOS的監(jiān)控系統(tǒng)所產(chǎn)生的關于車流的視頻和車牌識別系統(tǒng)識別的車牌號,。MAS系統(tǒng)中這種對映關系可精確到幀組級別,后續(xù)可根據(jù)表述信息快速定位到多媒體數(shù)據(jù)的具體位置,,也可以根據(jù)多媒體數(shù)據(jù)快速獲取相應的表述信息,。
圖2 MAS應用整合模型
應用舉例1 —— 視頻標簽:
城市重要道路的視頻監(jiān)控中,對于重要路口通常會有民警實時查看,,民警可以通過實時監(jiān)控界面隨時為視頻添加標簽,,例如:民警可以描述此路口的交通實時擁堵情況,,紅綠燈放行情況。事后民警可根據(jù)標簽信息調取相應視頻進行分析,,優(yōu)化車道設置,、紅綠燈放行時間設置以達到優(yōu)化交通的目的。
應用舉例2 —— 智能整合應用:
目前視頻智能分析工具雖然很多,,但是這些工具基本都是針對某種場景,,通過MAS可以將多種智能分析工具整合起來。比如:智能分析工具A為車牌識別系統(tǒng),,智能分析工具B為周界檢測系統(tǒng),,如果要在一段視頻中找出紅色小汽車進入某個周界的視頻,目前的智能分析工具是相互獨立的,,對此無能為力,。如果使用MAS系統(tǒng),可先使用智能分析工具A分析視頻中包含紅色小汽車的視頻,,然后使用智能分析工具B分析包含紅色小汽車的視頻,,從而得到準確符合用戶需求的視頻。MAS也可以在已經(jīng)經(jīng)過多種智能分析工具分析的視頻中用組合邏輯查找相應的視頻信息,,例如:可以查找汽車進入某個周界或/且有紅色小汽車的視頻。
二,、 MAS架構
MAS設計秉承IMOS的抽象,、開放、分層的設計原則,。
抽象:MAS抽象出各種物理存儲資源(如:磁盤,、CF卡)的共性特征,并將其封裝為統(tǒng)一的讀,、寫,、查接口。例如:資源的使用者(如:編碼器)無需感知物理存儲資源,,也無需感知是本地還是遠程物理存儲設備,,使用統(tǒng)一的接口即能訪問所有類型的物理存儲資源。
開放:MAS無論對系統(tǒng)內網(wǎng)元還是系統(tǒng)外網(wǎng)元都提供標準的訪問方式,,對內為讀,、寫、查接口,,對外為標準的RTSP/RTP等訪問接口,。可以很容易的通過開放接口開發(fā)IMOS應用以及和外系統(tǒng)聯(lián)動擴展,。
分層:MAS內部架構的分層設計降低了內部模塊之間耦合度,,提升了MAS系統(tǒng)的穩(wěn)定性,,以及可移植性?;谶@些分層的設計可以便捷的開發(fā)基于MAS的應用,,以及擴展MAS內部的功能。
MAS架構如下圖所示:
圖3 MAS架構
流媒體應用層
實現(xiàn)標準流媒體協(xié)議,,如:RTSP/RTP等,,對外展現(xiàn)為標準流媒體接口。提供標準流媒體服務,,外部系統(tǒng)可通過標準流媒體方式訪問MAS系統(tǒng)內的多媒體數(shù)據(jù),。
生命周期管理
MAS統(tǒng)一管理系統(tǒng)中的所有多媒體數(shù)據(jù),可根據(jù)用戶靈活配置的策略進行生命周期管理,,如:留存期管理,、抽幀備份、歸檔等,。通過對多媒體數(shù)據(jù)的生命周期管理,,最大限度的利用存儲空間以及保留重要信息,為用戶有效降低對存儲空間的投資,。
媒體數(shù)據(jù)直接訪問接口層
MAS系統(tǒng)提供多媒體數(shù)據(jù)的直接訪問接口,,主要是在多媒體系統(tǒng)中其他網(wǎng)元訪問存儲資源時使用,多媒體數(shù)據(jù)對應的特征數(shù)據(jù)都在此接口進行封裝,。接口對存儲資源的使用者抽象成讀,、寫、查三類接口,,簡單易用,。使用者無需關心存儲資源的類型、訪問差異及數(shù)據(jù)組織方式,。
數(shù)據(jù)組織層
數(shù)據(jù)組織層負責多媒體存儲格式,、維護多媒體數(shù)據(jù)和智能特征數(shù)據(jù)之間的關系。關系組織結構如下圖所示:
圖4 數(shù)據(jù)組織關系模型
為適應圖4所示的數(shù)據(jù)關系矩陣,,MAS對多媒體數(shù)據(jù)的存儲格式進行了針對性設計,,多媒體數(shù)據(jù)區(qū)可動態(tài)建立擴展索引關系,利用擴展索引可關聯(lián)到相應的多媒體特征或相關表述信息,。MAS中設計的擴展索引非常靈活,,通過擴展索引可以關聯(lián)到數(shù)據(jù)表格、數(shù)據(jù)庫,、URL,、文件系統(tǒng)中的文件、甚至是物理地址。
存儲資源屏蔽層
存儲資源屏蔽層的作用是抽象存儲資源的訪問,,屏蔽存儲資源的差異,。無論真正的存儲資源是本地磁盤、CF卡,、IPSAN,、還是FCSAN存儲資源的使用者都不需關心。通過“媒體數(shù)據(jù)直接訪問接口層”為用戶提供統(tǒng)一的訪問接口,。
物理資源層
真正的物理資源,,如磁盤、CF卡,、IPSAN等物理存儲資源,。
MAS管理
整個MAS系統(tǒng)的管理者,也是系統(tǒng)中的存儲資源和多媒體數(shù)據(jù)的管理者,,負責元數(shù)據(jù)區(qū)的維護,。為存儲資源的管理員提供各種管理手段,如:動態(tài)擴展,、縮小存儲資源,,存儲資源的上下線等。
三,、 結束語
對于視頻監(jiān)控系統(tǒng)而言,,存儲非常關鍵。隨著視頻監(jiān)控的網(wǎng)絡化不斷深入,,規(guī)模不斷擴大,,智能應用的逐漸實施,傳統(tǒng)的普適性文件系統(tǒng)將會越來越力不從心,。針對視頻監(jiān)控特點開發(fā)專業(yè)存儲系統(tǒng)是視頻監(jiān)控大聯(lián)網(wǎng)時代的必然趨勢。