大聯(lián)網(wǎng)的趨勢(shì)、越來越高的監(jiān)控碼流要求以及日益豐富的應(yīng)用,,對(duì)監(jiān)控系統(tǒng)的存儲(chǔ)功能提出了新的挑戰(zhàn),。不僅需要有大容量,而且必須具備良好的擴(kuò)展性和穩(wěn)定性,。如何面對(duì)這些挑戰(zhàn),?我們需要從多媒體數(shù)據(jù)的特點(diǎn)出發(fā)進(jìn)行針對(duì)性的設(shè)計(jì)。
存儲(chǔ)是視頻監(jiān)控系統(tǒng)中最為核心的功能之一,,視頻監(jiān)控IP化,、大聯(lián)網(wǎng)的趨勢(shì)對(duì)存儲(chǔ)系統(tǒng)提出了新的要求。
一路出2MD1碼流的視頻監(jiān)控?cái)z像頭,,一天產(chǎn)生的數(shù)據(jù)量是21GBytes。而一個(gè)大型監(jiān)控系統(tǒng)中的攝像頭數(shù)量往往數(shù)以千計(jì),,如此海量的數(shù)據(jù)通過什么格式保存攝像頭的錄像數(shù)據(jù),,才能提升后續(xù)回放和查找的效率?如何能為數(shù)以千計(jì)的攝像頭同時(shí)提供服務(wù)器,在大量并發(fā)請(qǐng)求的情況下保持存儲(chǔ)系統(tǒng)的穩(wěn)定性,,支撐7×24小時(shí)服務(wù),?
在海量的數(shù)據(jù)面前,單靠人進(jìn)行多媒體數(shù)據(jù)的檢索,、挖掘明顯力不從心——效率低,、成本高。隨著智能視頻技術(shù)的逐漸發(fā)展和成熟,,視頻監(jiān)控系統(tǒng)中也開始出現(xiàn)智能化的需求,。然而目前智能系統(tǒng)和多媒體監(jiān)控系統(tǒng)大多為相互獨(dú)立的兩個(gè)系統(tǒng),數(shù)據(jù)沒有進(jìn)行整合,。成為數(shù)據(jù)共享以及效率提升的障礙,。整合多媒體視頻生產(chǎn)系統(tǒng)和智能視頻技術(shù),對(duì)視頻監(jiān)控的存儲(chǔ)系統(tǒng)也提出了很高的要求,,要求智能信息和視頻監(jiān)控系統(tǒng)生產(chǎn)的音視頻信息要進(jìn)行有效整合,。這種情況下,MAS應(yīng)運(yùn)而生,。
MAS(MultimediaAttachedStorage),,多媒體附屬存儲(chǔ)。是H3CIMOS(IP Multimedia Operation
System)多媒體操作系統(tǒng)平臺(tái)的核心組件之一,。MAS是多媒體數(shù)據(jù)存儲(chǔ)的基礎(chǔ)架構(gòu),,其不同于現(xiàn)有的文件系統(tǒng)以及普通塊存儲(chǔ)方式。它使用了創(chuàng)新的設(shè)計(jì)思路,,以H3C多媒體存儲(chǔ)專利技術(shù)為設(shè)計(jì)基礎(chǔ),,具備高可靠性和高擴(kuò)展能力。
一,、 MAS設(shè)計(jì)思想
MAS的基本設(shè)計(jì)出發(fā)點(diǎn)是“針對(duì)視頻監(jiān)控的專業(yè)多媒體存儲(chǔ)系統(tǒng)”,,它以H3C在監(jiān)控領(lǐng)域成熟應(yīng)用的塊存儲(chǔ)技術(shù)為基礎(chǔ),并對(duì)原有塊存儲(chǔ)技術(shù)進(jìn)行革新,,吸取文件系統(tǒng)中的空間共享可動(dòng)態(tài)調(diào)整等特點(diǎn),。吸取文件系統(tǒng)和塊存儲(chǔ)的優(yōu)點(diǎn),又規(guī)避了其缺點(diǎn),,并實(shí)施針對(duì)性視頻監(jiān)控應(yīng)用的多種可靠性保證設(shè)計(jì),。
作為適合視頻監(jiān)控的多媒體存儲(chǔ)基礎(chǔ)架構(gòu),MAS設(shè)計(jì)時(shí)詳細(xì)分析了多媒體的數(shù)據(jù)特點(diǎn)以及在不同場(chǎng)景下多媒體系統(tǒng)的應(yīng)用特點(diǎn),,在塊存儲(chǔ)的基礎(chǔ)上進(jìn)行深層設(shè)計(jì),。MAS兼具文件系統(tǒng)的空間共享、彈性以及塊存儲(chǔ)的高效,、穩(wěn)定的特點(diǎn),,對(duì)存儲(chǔ)核心的元數(shù)據(jù)區(qū)進(jìn)行了嚴(yán)密的保護(hù)和訪問限制,。針對(duì)視頻監(jiān)控應(yīng)用做了存儲(chǔ)空間訪問的優(yōu)化和擴(kuò)展,具備多媒體數(shù)據(jù)存儲(chǔ)的靈活管理和高可擴(kuò)展性,、高可靠性的特點(diǎn),。
1. 存儲(chǔ)資源全局訪問 —— IP可達(dá)即存儲(chǔ)可達(dá)
MAS具備存儲(chǔ)資源的本地和網(wǎng)絡(luò)化訪問方式,對(duì)存儲(chǔ)資源的生產(chǎn)者和使用者提供了統(tǒng)一的訪問接口,。生產(chǎn)者和使用者無需了解存儲(chǔ)資源的位置,,組網(wǎng)中存儲(chǔ)資源可全局訪問,所有的存儲(chǔ)資源都由MAS接管,,并提供全局的存儲(chǔ)服務(wù),。這種歸一化的訪問方式可減小后續(xù)應(yīng)用的開發(fā)工作量。
對(duì)于小型組網(wǎng)中常見的DVR/DVS等方式,,MAS可安裝在DVR/DVS內(nèi)提供本地存儲(chǔ)服務(wù),。
大型組網(wǎng)中分散的數(shù)據(jù)難以管理,又有信息安全的風(fēng)險(xiǎn),,勢(shì)必帶來數(shù)據(jù)集中的要求,。存儲(chǔ)空間的網(wǎng)絡(luò)化訪問是必然的方式,MAS使用的iSCSI協(xié)議基于TCP/IP之上,,當(dāng)前IP網(wǎng)絡(luò)的普及和成熟性為MAS的部署提供了基礎(chǔ)保障,。通過iSCSI協(xié)議無論是媒體數(shù)據(jù)的生產(chǎn)者還是媒體數(shù)據(jù)的訪問者(如:VODServer、第三方系統(tǒng))都可以方便快捷的寫入或獲取數(shù)據(jù),,真正可做到IP可達(dá)即存儲(chǔ)可達(dá),。
圖1 MAS網(wǎng)絡(luò)化訪問模型
2. 多重可靠性設(shè)計(jì) —— “穩(wěn)定壓倒一切”
MAS的設(shè)計(jì)目標(biāo)是提供7×24小時(shí)服務(wù),因此穩(wěn)定和健壯是關(guān)鍵指標(biāo),,MAS在多個(gè)層次采用多種手段提升系統(tǒng)的穩(wěn)定和健壯:
底層使用Raid冗余技術(shù)
底層使用Raid5技術(shù),,保證存儲(chǔ)空間的冗余保護(hù)。在發(fā)生單個(gè)磁盤損壞時(shí)可利用Raid5技術(shù)對(duì)數(shù)據(jù)進(jìn)行恢復(fù),,避免MAS的元數(shù)據(jù)和多媒體數(shù)據(jù)遭到損壞,。
數(shù)據(jù)區(qū)和元數(shù)據(jù)區(qū)操作分離
在視頻監(jiān)控?cái)z像頭產(chǎn)生的海量數(shù)據(jù)面前,普通的桌面級(jí)文件系統(tǒng)無論在穩(wěn)定性還是性能上都將面臨極大的問題,,頻繁,、異徑且大量并發(fā)的文件系統(tǒng)元數(shù)據(jù)區(qū)的訪問將會(huì)導(dǎo)致其難以承受。MAS系統(tǒng)對(duì)多媒體數(shù)據(jù)的訪問和元數(shù)據(jù)的訪問作出了嚴(yán)格的控制,,元數(shù)據(jù)只能由MAS的管理者——MASManagerServer操作,,多媒體數(shù)據(jù)的生產(chǎn)者和使用者被嚴(yán)格禁止操作元數(shù)據(jù)。多媒體數(shù)據(jù)和元數(shù)據(jù)區(qū)的操作分離可以保證MASManager Server萬一發(fā)生故障或宕機(jī),,不會(huì)影響多媒體數(shù)據(jù)的正常訪問,,媒體數(shù)據(jù)的生產(chǎn)者還可以繼續(xù)存入數(shù)據(jù),媒體數(shù)據(jù)的訪問者還可以繼續(xù)讀取數(shù)據(jù),。
對(duì)元數(shù)據(jù)區(qū)進(jìn)行冗余保護(hù)
MAS同時(shí)對(duì)元數(shù)據(jù)區(qū)進(jìn)行了冗余設(shè)計(jì),,當(dāng)發(fā)生不可預(yù)料的異常時(shí),,系統(tǒng)可根據(jù)MAS元數(shù)據(jù)區(qū)的冗余信息找到正確的元數(shù)據(jù)。例如,,由于某種原因MASManagerServer發(fā)生了掉電,其對(duì)元數(shù)據(jù)區(qū)的操作可能只是部分完成,,此時(shí)元數(shù)據(jù)區(qū)中的數(shù)據(jù)出現(xiàn)了錯(cuò)誤,,MASManager Server重新上電后會(huì)自動(dòng)根據(jù)冗余信息找出正確的狀態(tài),保證MAS系統(tǒng)的正常運(yùn)行,。
3. 共享塊存儲(chǔ) —— 揚(yáng)長避短
MAS對(duì)H3C原有塊存儲(chǔ)技術(shù)進(jìn)行了擴(kuò)展設(shè)計(jì),,使得一個(gè)MAS卷可同時(shí)為多個(gè)媒體資源的生產(chǎn)者使用,空間共享并可按需要擴(kuò)展或縮小,。為了減少對(duì)元數(shù)據(jù)的訪問,,MAS將基本存儲(chǔ)塊擴(kuò)展到適合視頻數(shù)據(jù)的256MBytes(文件系統(tǒng)通常為幾十K~幾M),256M的基本存儲(chǔ)塊可進(jìn)一步細(xì)分為適合圖片數(shù)據(jù)的16MBytes,。媒體數(shù)據(jù)的生產(chǎn)者和使用者在數(shù)據(jù)操作時(shí)無需訪問元數(shù)據(jù)區(qū),,只在存儲(chǔ)空間需要擴(kuò)大或縮小的時(shí)候通過MASManager Server訪問元數(shù)據(jù)區(qū),極大的降低了對(duì)元數(shù)據(jù)區(qū)的訪問,。
4. 數(shù)據(jù)關(guān)系矩陣 —— 智能應(yīng)用整合
數(shù)據(jù)關(guān)系矩陣解決的核心問題是多媒體數(shù)據(jù)本身與其他系統(tǒng)產(chǎn)生的針對(duì)多媒體數(shù)據(jù)的表述信息建立對(duì)映關(guān)系,。比如基于IMOS的監(jiān)控系統(tǒng)所產(chǎn)生的關(guān)于車流的視頻和車牌識(shí)別系統(tǒng)識(shí)別的車牌號(hào)。MAS系統(tǒng)中這種對(duì)映關(guān)系可精確到幀組級(jí)別,,后續(xù)可根據(jù)表述信息快速定位到多媒體數(shù)據(jù)的具體位置,,也可以根據(jù)多媒體數(shù)據(jù)快速獲取相應(yīng)的表述信息。
圖2 MAS應(yīng)用整合模型
應(yīng)用舉例1 —— 視頻標(biāo)簽:
城市重要道路的視頻監(jiān)控中,,對(duì)于重要路口通常會(huì)有民警實(shí)時(shí)查看,,民警可以通過實(shí)時(shí)監(jiān)控界面隨時(shí)為視頻添加標(biāo)簽,例如:民警可以描述此路口的交通實(shí)時(shí)擁堵情況,,紅綠燈放行情況,。事后民警可根據(jù)標(biāo)簽信息調(diào)取相應(yīng)視頻進(jìn)行分析,優(yōu)化車道設(shè)置,、紅綠燈放行時(shí)間設(shè)置以達(dá)到優(yōu)化交通的目的,。
應(yīng)用舉例2 —— 智能整合應(yīng)用:
目前視頻智能分析工具雖然很多,但是這些工具基本都是針對(duì)某種場(chǎng)景,,通過MAS可以將多種智能分析工具整合起來,。比如:智能分析工具A為車牌識(shí)別系統(tǒng),智能分析工具B為周界檢測(cè)系統(tǒng),,如果要在一段視頻中找出紅色小汽車進(jìn)入某個(gè)周界的視頻,,目前的智能分析工具是相互獨(dú)立的,對(duì)此無能為力,。如果使用MAS系統(tǒng),,可先使用智能分析工具A分析視頻中包含紅色小汽車的視頻,,然后使用智能分析工具B分析包含紅色小汽車的視頻,從而得到準(zhǔn)確符合用戶需求的視頻,。MAS也可以在已經(jīng)經(jīng)過多種智能分析工具分析的視頻中用組合邏輯查找相應(yīng)的視頻信息,,例如:可以查找汽車進(jìn)入某個(gè)周界或/且有紅色小汽車的視頻。
二,、 MAS架構(gòu)
MAS設(shè)計(jì)秉承IMOS的抽象,、開放、分層的設(shè)計(jì)原則,。
抽象:MAS抽象出各種物理存儲(chǔ)資源(如:磁盤,、CF卡)的共性特征,并將其封裝為統(tǒng)一的讀,、寫,、查接口。例如:資源的使用者(如:編碼器)無需感知物理存儲(chǔ)資源,,也無需感知是本地還是遠(yuǎn)程物理存儲(chǔ)設(shè)備,,使用統(tǒng)一的接口即能訪問所有類型的物理存儲(chǔ)資源。
開放:MAS無論對(duì)系統(tǒng)內(nèi)網(wǎng)元還是系統(tǒng)外網(wǎng)元都提供標(biāo)準(zhǔn)的訪問方式,,對(duì)內(nèi)為讀,、寫、查接口,,對(duì)外為標(biāo)準(zhǔn)的RTSP/RTP等訪問接口,。可以很容易的通過開放接口開發(fā)IMOS應(yīng)用以及和外系統(tǒng)聯(lián)動(dòng)擴(kuò)展,。
分層:MAS內(nèi)部架構(gòu)的分層設(shè)計(jì)降低了內(nèi)部模塊之間耦合度,,提升了MAS系統(tǒng)的穩(wěn)定性,以及可移植性,?;谶@些分層的設(shè)計(jì)可以便捷的開發(fā)基于MAS的應(yīng)用,以及擴(kuò)展MAS內(nèi)部的功能,。
MAS架構(gòu)如下圖所示:
圖3 MAS架構(gòu)
流媒體應(yīng)用層
實(shí)現(xiàn)標(biāo)準(zhǔn)流媒體協(xié)議,,如:RTSP/RTP等,對(duì)外展現(xiàn)為標(biāo)準(zhǔn)流媒體接口,。提供標(biāo)準(zhǔn)流媒體服務(wù),,外部系統(tǒng)可通過標(biāo)準(zhǔn)流媒體方式訪問MAS系統(tǒng)內(nèi)的多媒體數(shù)據(jù)。
生命周期管理
MAS統(tǒng)一管理系統(tǒng)中的所有多媒體數(shù)據(jù),,可根據(jù)用戶靈活配置的策略進(jìn)行生命周期管理,,如:留存期管理、抽幀備份、歸檔等,。通過對(duì)多媒體數(shù)據(jù)的生命周期管理,,最大限度的利用存儲(chǔ)空間以及保留重要信息,為用戶有效降低對(duì)存儲(chǔ)空間的投資,。
媒體數(shù)據(jù)直接訪問接口層
MAS系統(tǒng)提供多媒體數(shù)據(jù)的直接訪問接口,,主要是在多媒體系統(tǒng)中其他網(wǎng)元訪問存儲(chǔ)資源時(shí)使用,多媒體數(shù)據(jù)對(duì)應(yīng)的特征數(shù)據(jù)都在此接口進(jìn)行封裝,。接口對(duì)存儲(chǔ)資源的使用者抽象成讀,、寫、查三類接口,,簡單易用。使用者無需關(guān)心存儲(chǔ)資源的類型,、訪問差異及數(shù)據(jù)組織方式,。
數(shù)據(jù)組織層
數(shù)據(jù)組織層負(fù)責(zé)多媒體存儲(chǔ)格式、維護(hù)多媒體數(shù)據(jù)和智能特征數(shù)據(jù)之間的關(guān)系,。關(guān)系組織結(jié)構(gòu)如下圖所示:
圖4 數(shù)據(jù)組織關(guān)系模型
為適應(yīng)圖4所示的數(shù)據(jù)關(guān)系矩陣,,MAS對(duì)多媒體數(shù)據(jù)的存儲(chǔ)格式進(jìn)行了針對(duì)性設(shè)計(jì),多媒體數(shù)據(jù)區(qū)可動(dòng)態(tài)建立擴(kuò)展索引關(guān)系,,利用擴(kuò)展索引可關(guān)聯(lián)到相應(yīng)的多媒體特征或相關(guān)表述信息,。MAS中設(shè)計(jì)的擴(kuò)展索引非常靈活,通過擴(kuò)展索引可以關(guān)聯(lián)到數(shù)據(jù)表格,、數(shù)據(jù)庫,、URL、文件系統(tǒng)中的文件,、甚至是物理地址,。
存儲(chǔ)資源屏蔽層
存儲(chǔ)資源屏蔽層的作用是抽象存儲(chǔ)資源的訪問,屏蔽存儲(chǔ)資源的差異,。無論真正的存儲(chǔ)資源是本地磁盤,、CF卡、IPSAN,、還是FCSAN存儲(chǔ)資源的使用者都不需關(guān)心,。通過“媒體數(shù)據(jù)直接訪問接口層”為用戶提供統(tǒng)一的訪問接口。
物理資源層
真正的物理資源,,如磁盤,、CF卡、IPSAN等物理存儲(chǔ)資源,。
MAS管理
整個(gè)MAS系統(tǒng)的管理者,,也是系統(tǒng)中的存儲(chǔ)資源和多媒體數(shù)據(jù)的管理者,負(fù)責(zé)元數(shù)據(jù)區(qū)的維護(hù)。為存儲(chǔ)資源的管理員提供各種管理手段,,如:動(dòng)態(tài)擴(kuò)展,、縮小存儲(chǔ)資源,存儲(chǔ)資源的上下線等,。
三,、 結(jié)束語
對(duì)于視頻監(jiān)控系統(tǒng)而言,存儲(chǔ)非常關(guān)鍵,。隨著視頻監(jiān)控的網(wǎng)絡(luò)化不斷深入,,規(guī)模不斷擴(kuò)大,智能應(yīng)用的逐漸實(shí)施,,傳統(tǒng)的普適性文件系統(tǒng)將會(huì)越來越力不從心,。針對(duì)視頻監(jiān)控特點(diǎn)開發(fā)專業(yè)存儲(chǔ)系統(tǒng)是視頻監(jiān)控大聯(lián)網(wǎng)時(shí)代的必然趨勢(shì)。