《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 通信與網(wǎng)絡(luò) > 業(yè)界動(dòng)態(tài) > 大數(shù)據(jù)時(shí)代下的三種存儲(chǔ)架構(gòu)

大數(shù)據(jù)時(shí)代下的三種存儲(chǔ)架構(gòu)

2015-04-20

      大數(shù)據(jù)時(shí)代,移動(dòng)互聯(lián),、社交網(wǎng)絡(luò),、數(shù)據(jù)分析、云服務(wù)等應(yīng)用的迅速普及,,對(duì)數(shù)據(jù)中心提出革命性的需求,,存儲(chǔ)基礎(chǔ)架構(gòu)已經(jīng)成為IT核心之一。政府,、軍隊(duì)軍工,、科研院所、航空航天,、大型商業(yè)連鎖,、醫(yī)療、金融,、新媒體,、廣電等各個(gè)領(lǐng)域新興應(yīng)用層出不窮。數(shù)據(jù)的價(jià)值日益凸顯,,數(shù)據(jù)已經(jīng)成為不可或缺的資產(chǎn),。作為數(shù)據(jù)載體和驅(qū)動(dòng)力量,存儲(chǔ)系統(tǒng)成為大數(shù)據(jù)基礎(chǔ)架構(gòu)中最為關(guān)鍵的核心,。

  傳統(tǒng)的數(shù)據(jù)中心無論是在性能,、效率,還是在投資收益,、安全,,已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足新興應(yīng)用的需求,數(shù)據(jù)中心業(yè)務(wù)急需新型大數(shù)據(jù)處理中心來支撐,。除了傳統(tǒng)的高可靠,、高冗余、綠色節(jié)能之外,,新型的大數(shù)據(jù)中心還需具備虛擬化,、模塊化、彈性擴(kuò)展,、自動(dòng)化等一系列特征,,才能滿足具備大數(shù)據(jù)特征的應(yīng)用需求。這些史無前例的需求,,讓存儲(chǔ)系統(tǒng)的架構(gòu)和功能都發(fā)生了前所未有的變化,。

  基于大數(shù)據(jù)應(yīng)用需求,,“應(yīng)用定義存儲(chǔ)”概念被提出。存儲(chǔ)系統(tǒng)作為數(shù)據(jù)中心最核心的數(shù)據(jù)基礎(chǔ),,不再僅是傳統(tǒng)分散的,、單一的底層設(shè)備。除了要具備高性能,、高安全,、高可靠等特征之外,還要有虛擬化,、并行分布,、自動(dòng)分層、彈性擴(kuò)展,、異構(gòu)資源整合,、全局緩存加速等多方面的特點(diǎn),才能滿足具備大數(shù)據(jù)特征的業(yè)務(wù)應(yīng)用需求,。

  尤其在云安防概念被熱炒的時(shí)代,,隨著高清技術(shù)的普及,720P,、1080P隨處可見,,智能和高清的雙向需求、動(dòng)輒500W,、800W甚至上千萬更高分辨率的攝像機(jī)面市,,大數(shù)據(jù)對(duì)存儲(chǔ)設(shè)備的容量、讀寫性能,、可靠性,、擴(kuò)展性等都提出了更高的要求,需要充分考慮功能集成度,、數(shù)據(jù)安全性,、數(shù)據(jù)穩(wěn)定性,系統(tǒng)可擴(kuò)展性,、性能及成本各方面因素,。

  目前市場(chǎng)上的存儲(chǔ)架構(gòu)如下:

  (1)基于嵌入式架構(gòu)的存儲(chǔ)系統(tǒng)

  節(jié)點(diǎn)NVR架構(gòu)主要面向小型高清監(jiān)控系統(tǒng),,高清前端數(shù)量一般在幾十路以內(nèi)。系統(tǒng)建設(shè)中沒有大型的存儲(chǔ)監(jiān)控中心機(jī)房,,存儲(chǔ)容量相對(duì)較小,,用戶體驗(yàn)度、系統(tǒng)功能集成度要求較高,。在市場(chǎng)應(yīng)用層面,,超市、店鋪、小型企業(yè),、政法行業(yè)中基本管理單元等應(yīng)用較為廣泛,。

  (2)基于X86架構(gòu)的存儲(chǔ)系統(tǒng)

  平臺(tái)SAN架構(gòu)主要面向中大型高清監(jiān)控系統(tǒng),,前端路數(shù)成百上千甚至上萬,。一般多采用IPSAN或FCSAN搭建高清視頻存儲(chǔ)系統(tǒng)。作為監(jiān)控平臺(tái)的重要組成部分,,前端監(jiān)控?cái)?shù)據(jù)通過錄像存儲(chǔ)管理模塊存儲(chǔ)到SAN中,。

  此種架構(gòu)接入高清前端路數(shù)相對(duì)節(jié)點(diǎn)NVR有了較高提升,具備快捷便利的可擴(kuò)展性,,技術(shù)成熟,。對(duì)于IPSAN而言,雖然在ISCSI環(huán)節(jié)數(shù)據(jù)并發(fā)讀寫傳輸速率有所消耗,,但其憑借擴(kuò)展性良好,、硬件平臺(tái)通用、海量數(shù)據(jù)可充分共享等優(yōu)點(diǎn),,仍然得到很多客戶的青睞,。FCSAN在行業(yè)用戶、封閉存儲(chǔ)系統(tǒng)中應(yīng)用較多,,比如縣級(jí)或地級(jí)市高清監(jiān)控項(xiàng)目,,大數(shù)據(jù)量的并發(fā)讀寫對(duì)千兆網(wǎng)絡(luò)交換提出了較大的挑戰(zhàn),但應(yīng)用FCSAN構(gòu)建相對(duì)獨(dú)立的存儲(chǔ)子系統(tǒng),,可以有效解決上述問題,。

  面對(duì)視頻監(jiān)控系統(tǒng)大文件、隨機(jī)讀寫的特點(diǎn),,平臺(tái)SAN架構(gòu)系統(tǒng)不同存儲(chǔ)單元之間的數(shù)據(jù)共享冗余方面還有待提高;從高性能服務(wù)器轉(zhuǎn)發(fā)視頻數(shù)據(jù)到存儲(chǔ)空間的策略,,從系統(tǒng)架構(gòu)而言也增加了隱患故障點(diǎn)、ISCSI帶寬瓶頸導(dǎo)致無法充分利用硬件數(shù)據(jù)并發(fā)性能,、接入前端數(shù)據(jù)較少,。上述問題催生了平臺(tái)NVR架構(gòu)解決方案。

  該方案在系統(tǒng)架構(gòu)上省去了存儲(chǔ)服務(wù)器,,消除了上文提到的性能瓶頸和單點(diǎn)故障隱患,。大幅度提高存儲(chǔ)系統(tǒng)的寫入和檢索速度;同時(shí)也徹底消除了傳統(tǒng)文件系統(tǒng)由于供電和網(wǎng)絡(luò)的不穩(wěn)定帶來的文件系統(tǒng)損壞等問題。

  平臺(tái)NVR中存儲(chǔ)的數(shù)據(jù)可同時(shí)供多個(gè)客戶端隨時(shí)查詢,,點(diǎn)播,,當(dāng)用戶需要查看多個(gè)已保存的視頻監(jiān)控?cái)?shù)據(jù)時(shí),可通過授權(quán)的視頻監(jiān)控客戶端直接查詢并點(diǎn)播相應(yīng)位置的視頻監(jiān)控?cái)?shù)據(jù)進(jìn)行歷史圖像的查看,。由于數(shù)據(jù)管理服務(wù)器具有監(jiān)控系統(tǒng)所有監(jiān)控點(diǎn)的錄像文件的索引,,因此通過平臺(tái)CMS授權(quán),,視頻監(jiān)控客戶端可以查詢并點(diǎn)播整個(gè)監(jiān)控系統(tǒng)上所有監(jiān)控點(diǎn)的數(shù)據(jù),這個(gè)過程對(duì)用戶而言也是透明的,。

?。?)基于云技術(shù)的存儲(chǔ)方案

  當(dāng)前,安防行業(yè)可謂“云”山“物”罩,。隨著視頻監(jiān)控的高清化和網(wǎng)絡(luò)化,,存儲(chǔ)和管理的視頻數(shù)據(jù)量已有海量之勢(shì),云存儲(chǔ)技術(shù)是突破IP高清監(jiān)控存儲(chǔ)瓶頸的重要手段,。云存儲(chǔ)作為一種服務(wù),,在未來安防監(jiān)控行業(yè)有著客觀的應(yīng)用前景。

  與傳統(tǒng)存儲(chǔ)設(shè)備不同,,云存儲(chǔ)不僅是一個(gè)硬件,,而是一個(gè)由網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備,、服務(wù)器,、軟件、接入網(wǎng)絡(luò),、用戶訪問接口以及客戶端程序等多個(gè)部分構(gòu)成的復(fù)雜系統(tǒng),。該系統(tǒng)以存儲(chǔ)設(shè)備為核心,通過應(yīng)用層軟件對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)服務(wù),。

  一般分為存儲(chǔ)層,、基礎(chǔ)管理層、應(yīng)用接口層以及訪問層,。存儲(chǔ)層是云存儲(chǔ)系統(tǒng)的基礎(chǔ),,由存儲(chǔ)設(shè)備(滿足FC協(xié)議、iSCSI協(xié)議,、NAS協(xié)議等)構(gòu)成,。基礎(chǔ)管理層是云存儲(chǔ)系統(tǒng)的核心,,其擔(dān)負(fù)著存儲(chǔ)設(shè)備間協(xié)同工作,,數(shù)據(jù)加密,分發(fā)以及容災(zāi)備份等工作,。應(yīng)用接口層是系統(tǒng)中根據(jù)用戶需求來開發(fā)的部分,,根據(jù)不同的業(yè)務(wù)類型,可以開發(fā)出不同的應(yīng)用服務(wù)接口,。訪問層指授權(quán)用戶通過應(yīng)用接口來登錄,、享受云服務(wù)。其主要優(yōu)勢(shì)在于:硬件冗余,、節(jié)能環(huán)保,、系統(tǒng)升級(jí)不會(huì)影響存儲(chǔ)服務(wù)、海量并行擴(kuò)容,、強(qiáng)大的負(fù)載均衡功能,、統(tǒng)一管理、統(tǒng)一向外提供服務(wù),,管理效率高,,云存儲(chǔ)系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu),、高速緩存等方面入手,,針對(duì)監(jiān)控應(yīng)用進(jìn)行了優(yōu)化設(shè)計(jì)。數(shù)據(jù)傳輸可采用流方式,,底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu),,大幅提高了系統(tǒng)性能。

  高清監(jiān)控存儲(chǔ)是一種大碼流多并發(fā)寫為主的存儲(chǔ)應(yīng)用,,對(duì)性能,、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲(chǔ)解決方案采用獨(dú)特的大緩存順序化算法,,把多路隨機(jī)并發(fā)訪問變?yōu)轫樞蛟L問,,解決了硬盤磁頭因頻繁尋道而導(dǎo)致的性能迅速下降和硬盤壽命縮短的問題。

  針對(duì)系統(tǒng)中會(huì)產(chǎn)生PB級(jí)海量監(jiān)控?cái)?shù)據(jù),,存儲(chǔ)設(shè)備的數(shù)量達(dá)數(shù)十臺(tái)上百臺(tái),,因此管理方式的科學(xué)高效顯得十分重要。云存儲(chǔ)可提供基于集群管理技術(shù)的多設(shè)備集中管理工具,,具有設(shè)備集中監(jiān)控,、集群管理、系統(tǒng)軟硬件運(yùn)行狀態(tài)的監(jiān)控,、主動(dòng)報(bào)警,,圖像化系統(tǒng)檢測(cè)等功能。在海量視頻存儲(chǔ)檢索應(yīng)用中,,檢索性能尤為重要,。傳統(tǒng)文件系統(tǒng)中,文件檢索采用的是“目錄-》子目錄-》文件-》定位”的檢索步驟,,在海量數(shù)據(jù)的高清視頻監(jiān)控,,目錄和文件數(shù)量十分可觀,這種檢索模式的效率就會(huì)大打折扣,。采用序號(hào)文件定位可以有效解決該問題,。

  云存儲(chǔ)可以提供非常高的的系統(tǒng)冗余和安全性。當(dāng)在線存儲(chǔ)系統(tǒng)出現(xiàn)故障后,,熱備機(jī)可以立即接替服務(wù),,當(dāng)故障恢復(fù)時(shí),,服務(wù)和數(shù)據(jù)回遷;若故障機(jī)數(shù)據(jù)需要調(diào)用,可以將故障機(jī)的磁盤插入到冷備機(jī)中,,實(shí)現(xiàn)所有數(shù)據(jù)的立即可用,。

  對(duì)于高清監(jiān)控系統(tǒng),隨著監(jiān)控前端的增加和存儲(chǔ)時(shí)間的延長(zhǎng),,擴(kuò)展能力十分重要,。市場(chǎng)中已有友商可提供單純針對(duì)容量的擴(kuò)展柜擴(kuò)展模式和性能容量同步線性擴(kuò)展的堆疊擴(kuò)展模式。

  云存儲(chǔ)系統(tǒng)除上述優(yōu)點(diǎn)之外,,在平臺(tái)對(duì)接整合,、業(yè)務(wù)流程梳理、視頻數(shù)據(jù)智能分析深度挖掘及成本方面都將面臨挑戰(zhàn),。承建大型系統(tǒng),、構(gòu)建云存儲(chǔ)的商業(yè)模式也亟待創(chuàng)新。受限于寬帶網(wǎng)絡(luò),、web2.0技術(shù),、應(yīng)用存儲(chǔ)技術(shù)、文件系統(tǒng),、P2P,、數(shù)據(jù)壓縮、CDN技術(shù),、虛擬化技術(shù)等的發(fā)展,,未來云存儲(chǔ)還有很長(zhǎng)的路要走。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問題,請(qǐng)及時(shí)通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118,;郵箱:[email protected],。