關(guān)鍵字:DVR 監(jiān)控 存儲(chǔ) 高清視頻 視頻監(jiān)控
應(yīng)該說,網(wǎng)絡(luò)監(jiān)控的誕生解決了傳統(tǒng)監(jiān)控效果的難題,,改變了傳統(tǒng)的連接方式,,更簡(jiǎn)單更便捷,但同時(shí)衍生了更龐大的存儲(chǔ)需求和更高的帶寬滿足,。對(duì)于視頻監(jiān)控的數(shù)據(jù)來說,,由于網(wǎng)絡(luò)視頻監(jiān)控是基于網(wǎng)絡(luò)的音視頻流傳輸,在大量音視頻流傳輸?shù)那闆r下會(huì)對(duì)視頻監(jiān)控管理服務(wù)器的性能產(chǎn)生很大影響,,數(shù)據(jù)越多,,視頻監(jiān)控管理服務(wù)器對(duì)I/O操作的調(diào)度和緩存的管理就變得越復(fù)雜,往往會(huì)出現(xiàn)多臺(tái)攝像頭對(duì)單臺(tái)服務(wù)器,,多臺(tái)服務(wù)器對(duì)一臺(tái)后端存儲(chǔ)設(shè)備的情況,,對(duì)存儲(chǔ)設(shè)備的頻繁訪問以及多個(gè)攝像頭多個(gè)服務(wù)器的存儲(chǔ)需求,需要占用大量的資源,,影響了其處理能力,。
據(jù)安防業(yè)界一項(xiàng)調(diào)查顯示,曾占據(jù)安防主流市場(chǎng)的DVR硬盤存儲(chǔ)目前的市場(chǎng)份額已退減至45%,,傳統(tǒng)的IT存儲(chǔ)方式(包括DAS存儲(chǔ),、NAS存儲(chǔ)、SAN存儲(chǔ))與其平分天下,,也占據(jù)了市場(chǎng)份額的45%,。
高清監(jiān)控對(duì)數(shù)據(jù)存儲(chǔ)的要求
然而,隨著高清監(jiān)控的發(fā)展,,前端圖像質(zhì)量的大幅度提升也導(dǎo)致了后端存儲(chǔ)的監(jiān)控?cái)?shù)據(jù)有了突飛猛進(jìn)的增長(zhǎng),。以720P高清攝像機(jī)為例,其每小時(shí)視頻錄像數(shù)據(jù)可壓縮到3GB左右容量,,一般的監(jiān)控系統(tǒng)路上都是幾十路甚至上百路,,按照有關(guān)規(guī)定,監(jiān)控錄像需保存一個(gè)月(30天),,假設(shè)某監(jiān)控系統(tǒng)為100路,,則可計(jì)算得知:
3GB/小時(shí)*24小時(shí)*30天*100路= 216,000GB
也就是說,,一個(gè)上百路的高清視頻監(jiān)控系統(tǒng)所需的最少容量為216TB,考慮到全局?jǐn)?shù)據(jù)冗余度,、未來數(shù)據(jù)膨脹,以及數(shù)據(jù)自動(dòng)恢復(fù)等,,系統(tǒng)設(shè)計(jì)至少需要220TB的存儲(chǔ)空間,。
除了大容量之外,視頻監(jiān)控存儲(chǔ)系統(tǒng)還有著以下的要求:
視頻采集過程中,視頻文件格式一般都不會(huì)發(fā)生變化,,且碼率保持恒定,,視頻圖像的幀率一般為25幀/S,也就是說在存儲(chǔ)的讀寫操作中,,必須保證存儲(chǔ)的高帶寬,,否則圖像采集或回放就會(huì)出現(xiàn)丟幀現(xiàn)象,因此視頻監(jiān)控系統(tǒng)對(duì)存儲(chǔ)系統(tǒng)在高并發(fā)IO的情況下不僅要求在高并發(fā)IO的情況下帶寬大,,還要求帶寬穩(wěn)定,。
數(shù)據(jù)讀寫操作的持續(xù)時(shí)間長(zhǎng)。由于攝像頭一般都是7*24小時(shí)工作的,,所以數(shù)據(jù)寫入操作的持續(xù)時(shí)間也是7*24小時(shí)不間斷的,,后期回放時(shí)也需要在7*24小時(shí)內(nèi)都能夠及時(shí)獲取數(shù)據(jù)。因此要求存儲(chǔ)系統(tǒng)在硬盤損壞,,甚至存儲(chǔ)某些節(jié)點(diǎn)宕機(jī)的情況下,,能夠保持7*24小時(shí)不間斷穩(wěn)定運(yùn)行。
視頻監(jiān)控系統(tǒng)一般具有攝像頭路數(shù)多,,視頻圖像存儲(chǔ)時(shí)間長(zhǎng),,因此存儲(chǔ)容量需求巨大,且隨著圖像存儲(chǔ)時(shí)間的增加,,存儲(chǔ)容量需求呈線性的、爆炸性的增長(zhǎng),。因此視頻監(jiān)控系統(tǒng)存儲(chǔ)必須支持大容量,,且容量具有高擴(kuò)展性,滿足長(zhǎng)時(shí)間大容量視頻圖像存儲(chǔ)的需求,。
傳統(tǒng)IT存儲(chǔ)架構(gòu)的不足和缺陷
高清視頻監(jiān)控存儲(chǔ)系統(tǒng)需要具有海量數(shù)據(jù)高效管理,、高效檢索、高可靠性等一系列的要求,,不過傳統(tǒng)的IT存儲(chǔ)方式(包括DAS存儲(chǔ),、NAS存儲(chǔ)、SAN存儲(chǔ))在這些方面似乎有著各項(xiàng)不能勝任的理由:
DAS:該方案利用HBA卡直接連接應(yīng)用服務(wù)器和光纖盤陣,,不提供數(shù)據(jù)共享能力,。如果多個(gè)應(yīng)用需要共用同一份數(shù)據(jù),往往要花費(fèi)大量的時(shí)間進(jìn)行數(shù)據(jù)遷移,,結(jié)果導(dǎo)致環(huán)境中存在多份相同的數(shù)據(jù),,并且多份數(shù)據(jù)之間的同步困難,浪費(fèi)了大量的人力物力,。
SAN:該方案利用存儲(chǔ)光纖網(wǎng)絡(luò)連接應(yīng)用服務(wù)器和光纖盤陣,,相比DAS 更具靈活性和可擴(kuò)展性。但是SAN仍然不具備數(shù)據(jù)共享能力,而且由于SAN系統(tǒng)高昂的價(jià)格,,以及不同廠商之間的設(shè)備兼容性問題,,限制了在HPC領(lǐng)域的使用。
NAS:提供NFS或者CIFS 協(xié)議訪問的NAS 系統(tǒng)能夠給應(yīng)用服務(wù)器提供統(tǒng)一的文件系統(tǒng)映象,,滿足多臺(tái)應(yīng)用服務(wù)器之間共享數(shù)據(jù)的需求,。但是由于傳統(tǒng)NAS 往往通過單臺(tái)服務(wù)器的形式提供文件級(jí)的存儲(chǔ)空間,其有限的IO帶寬和可擴(kuò)展性都難以滿足HPC 系統(tǒng)大量的并發(fā)讀寫需求,。而且NAS對(duì)文件系統(tǒng)鎖的支持較差,,多臺(tái)客戶端不能同時(shí)讀寫同一文件,導(dǎo)致客戶端之間不能夠很好的協(xié)同工作,。
SAN+NAS:該方案一定程度上具備了SAN 的可擴(kuò)展能力和NAS的數(shù)據(jù)共享能力,,但仍然存在明顯的缺陷。應(yīng)用所有的數(shù)據(jù)I/O都必須通過單個(gè)NAS服務(wù)器進(jìn)行,,使得整套系統(tǒng)的I/O 帶寬受限于NAS服務(wù)器的帶寬,,仍舊難以滿足HPC環(huán)境的需求。
集群存儲(chǔ)——高清監(jiān)控存儲(chǔ)的曙光?
面對(duì)如此情況,,盡管眾人把希望寄托在云存儲(chǔ)身上,,然而,云計(jì)算落地時(shí)間尚早,,云存儲(chǔ)的應(yīng)用到戶時(shí)間還有待商榷,,視頻監(jiān)控用戶該如何實(shí)現(xiàn)大數(shù)據(jù)量的高清監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)呢?集群存儲(chǔ)似乎成為存儲(chǔ)廠商解決視頻監(jiān)控系統(tǒng)大容量、高穩(wěn)定性的答案,。
先來解釋一下集群存儲(chǔ)的概念,。所謂集群存儲(chǔ)是指將多臺(tái)存儲(chǔ)設(shè)備中的存儲(chǔ)空間聚合成一個(gè)能夠給應(yīng)用服務(wù)器提供統(tǒng)一訪問接口和管理界面的存儲(chǔ)池,應(yīng)用可以通過該訪問接口透明地訪問和利用所有存儲(chǔ)設(shè)備上的磁盤,,可以充分發(fā)揮存儲(chǔ)設(shè)備的性能和磁盤利用率,。數(shù)據(jù)將會(huì)按照一定的規(guī)則從多臺(tái)存儲(chǔ)設(shè)備上存儲(chǔ)和讀取,以獲得更高的并發(fā)訪問性能,。
集群存儲(chǔ)的優(yōu)勢(shì)主要體現(xiàn)在提高并行或分區(qū)I/O的整體性能,,特別是工作流、讀密集型以及大型文件的訪問,,通過采用更低成本的服務(wù)器來降低整體成本,。
2008年10月,某企業(yè)在中影集團(tuán)機(jī)房?jī)?nèi)利用相同的硬件環(huán)境對(duì)集群存儲(chǔ)架構(gòu)與傳統(tǒng)存儲(chǔ)架構(gòu)分別做了性能測(cè)試,,用iozone工具測(cè)試存儲(chǔ)架構(gòu)的并發(fā)IO性能,。
結(jié)果顯示,集群存儲(chǔ)架構(gòu)與傳統(tǒng)存儲(chǔ)架構(gòu)相比較,,并發(fā)寫性能高約30%,,并發(fā)讀性能高約10%,。
傳統(tǒng)類型的存儲(chǔ)架構(gòu),每1TB硬盤的I/O平均讀寫速度最高能達(dá)到15-20MB/s,,以60TB為例,,整個(gè)存儲(chǔ)架構(gòu)的I/0并發(fā)讀寫速度僅能達(dá)到0.9-1.5GB/s,無法滿足高并發(fā)性的要求;而CZSS存儲(chǔ)系統(tǒng)打破了傳統(tǒng)意義上的以硬盤為單位的I/O讀寫速度的瓶頸,,采用了高效的文件管理機(jī)制,,以節(jié)點(diǎn)為整個(gè)系統(tǒng)I/O讀寫的計(jì)算單位,同樣60TB,,CZSS系統(tǒng)大約需要10個(gè)節(jié)點(diǎn)(10臺(tái)存儲(chǔ)單元),,每個(gè)節(jié)點(diǎn)的讀寫速度為300MB/s以上,故并發(fā)讀寫速度可達(dá)到3GB/s以上,,極大地滿足了用戶對(duì)于系統(tǒng)高并發(fā)性的要求,。
而且在傳統(tǒng)存儲(chǔ)測(cè)試過程中在做并發(fā)讀寫的時(shí)候,在客戶端無法對(duì)傳統(tǒng)存儲(chǔ)系統(tǒng)掛載目錄進(jìn)行l(wèi)s(查看目錄中的文件)操作,,即傳統(tǒng)存儲(chǔ)系統(tǒng)在有負(fù)載的情況下無法查看其中的數(shù)據(jù),,這樣使得在系統(tǒng)在有任務(wù)時(shí),就無法取出存儲(chǔ)在傳統(tǒng)存儲(chǔ)架構(gòu)中的結(jié)果數(shù)據(jù),。這種現(xiàn)象說明傳統(tǒng)存儲(chǔ)架構(gòu)的元數(shù)據(jù)處理能力很低,,在有大量文件的情況下會(huì)導(dǎo)致系統(tǒng)無法提供服務(wù)。
傳統(tǒng)存儲(chǔ)架構(gòu)的軟件在客戶端請(qǐng)求數(shù)較多時(shí),,元數(shù)據(jù)類操作將失去響應(yīng),。此時(shí)所有的客戶端將無法執(zhí)行打開文件夾、查詢文件類的操作,,這樣,,所有的桌面客戶端都將失去響應(yīng),制作工作將完全無法進(jìn)行,。而CZSS的存儲(chǔ)軟件沒有這個(gè)問題。在同等硬件條件下,,集群系統(tǒng)軟件的IO帶寬比傳統(tǒng)存儲(chǔ)架構(gòu)軟件要高出30%,。投資成本降低了40%以上。
結(jié)語
目前來說,,國(guó)內(nèi)安防市場(chǎng)的發(fā)展主要是由一些政府主導(dǎo)的項(xiàng)目在推動(dòng),,比如平安城市建設(shè),交通監(jiān)控系統(tǒng)建設(shè)等,,這些安防系統(tǒng)都有著多路數(shù),、高圖像質(zhì)量的要求,同時(shí)要求系統(tǒng)具有實(shí)時(shí)處理信息的能力,,由此帶來的大數(shù)據(jù)量存儲(chǔ)的問題不可避免,。
安防行業(yè)從模擬時(shí)代過渡到數(shù)字時(shí)代,,監(jiān)控存儲(chǔ)架構(gòu)從DVR到NAS和SAN的過渡,應(yīng)該說這是一個(gè)時(shí)代的進(jìn)步,。隨著高清監(jiān)控的到來,,當(dāng)傳統(tǒng)IT存儲(chǔ)架構(gòu)也無法滿足高清監(jiān)控存儲(chǔ)的要求時(shí),集群存儲(chǔ)——對(duì)安防行業(yè)來說,,這一新的存儲(chǔ)方式能否被我們接受呢?真金不怕火煉,,我們只能說,對(duì)于任何新事物,,用戶接受都需要一定的時(shí)間和過渡期,。