《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應(yīng)用 > 走向成熟的智能數(shù)字視頻監(jiān)控
走向成熟的智能數(shù)字視頻監(jiān)控
摘要: 對于每個人而言,,平安是幸福生活最基本的要素之一,,而如何保障平安生活,無疑需要時刻有一雙慧眼的保護。無論是生活安全的監(jiān)控,、突發(fā)事件的預(yù)警、交通違章情況和流量監(jiān)控還是重點場所的安全保障,甚至山林火險監(jiān)控
Abstract:
Key words :

對于每個人而言,平安是幸福生活最基本的要素之一,,而如何保障平安生活,無疑需要時刻有一雙慧眼的保護,。無論是生活安全的監(jiān)控,、突發(fā)事件的預(yù)警、交通違章情況和流量監(jiān)控還是重點場所的安全保障,,甚至山林火險監(jiān)控,、邊界和領(lǐng)海各種情況的監(jiān)控等,都需要先進的智能數(shù)字視頻監(jiān)控系統(tǒng)做保障,。

具體到中國,,人口眾多地域遼闊的特點僅僅依靠人力很難滿足保障國土安全,、人民安居樂業(yè)的需求,。因此,無論近年來全球經(jīng)濟如何動蕩,,中國的公共安防市場卻總是保持旺盛增長的勢頭,。“平安中國”計劃的推廣,特別是隨著2008年北京成功舉辦奧運會過程中,,國產(chǎn)的監(jiān)控產(chǎn)品廣泛被采用,,表現(xiàn)不凡,進一步引發(fā)了國內(nèi)數(shù)字化視頻監(jiān)控產(chǎn)業(yè)的發(fā)展,。

數(shù)字視頻監(jiān)控系統(tǒng)是以數(shù)字視頻處理技術(shù)為核心,,綜合利用光電傳感器、計算機網(wǎng)絡(luò),、自動控制和人工智能等技術(shù)的一種新型監(jiān)控系統(tǒng),。數(shù)字視頻監(jiān)控系統(tǒng)除了具有傳統(tǒng)閉路電視監(jiān)視系統(tǒng)的所有功能外,還具有遠程視頻傳輸與回放,、自動異常檢測與報警,、結(jié)構(gòu)化的視頻數(shù)據(jù)存儲等功能,。與數(shù)字視頻監(jiān)控系統(tǒng)相關(guān)的主要技術(shù)有視頻數(shù)據(jù)壓縮,視頻的分析與理解,,視頻流的傳輸與回放和視頻數(shù)據(jù)的存儲,。

技術(shù)發(fā)展趨勢

TI DSP業(yè)務(wù)發(fā)展經(jīng)理鄭曉龍認為,數(shù)字視頻監(jiān)控的核心技術(shù)主要有四種,,即視頻壓縮,、影像處理、視頻顯示和視頻分析,,如圖1所示,。回顧數(shù)字視頻監(jiān)控的發(fā)展歷程,,數(shù)字音視壓縮技術(shù)的發(fā)展導(dǎo)致了壓縮標準的制定,,數(shù)字音視壓縮技術(shù)包含視頻編碼和解碼,在視頻監(jiān)控應(yīng)用中已由MPEG4過渡到H.264而成為主流,,而SVC作為一個效率更多的標準也將接受市場的考驗,。在各種寬帶和無線數(shù)字監(jiān)控系統(tǒng)中,既有多通道處理的需求,,也有多格式,、多碼率及多視頻流的支持。

富士通半導(dǎo)體(上海)有限公司市場部產(chǎn)品經(jīng)理沈弘人則將監(jiān)控產(chǎn)品的技術(shù)及市場需求概況為五大發(fā)展趨勢,。

網(wǎng)絡(luò)化

市場需求:消費型客戶的需求量較大對高清需求不多,,售價低,以公眾互聯(lián)網(wǎng)布線為主,;而項目客戶則需求量較少,,對高清需求較多,但售價高,,且多半以內(nèi)網(wǎng)/專網(wǎng)布線為主,。

技術(shù)發(fā)展:向高清視頻(HD/Full HD)方向發(fā)展,可進行實時壓縮(H.264),,并經(jīng)由IP網(wǎng)絡(luò)實時傳送(Real-TimeStreaming,,一般網(wǎng)絡(luò)的傳送遞延時間最好不超過一秒。

智能化

市場需求:除傳統(tǒng)云臺控制攝像頭轉(zhuǎn)向/縮放功能外,,智能影音分析(前端及后端)的應(yīng)用需求將越來越多,。

技術(shù)發(fā)展:智能影音分析軟件,如移動動物/人臉追蹤,、危險物(靜態(tài)物體)監(jiān)測,、火災(zāi)監(jiān)測、門禁人員/車輛計數(shù)等,。大部分智能影音分析都在后端實施,,如中控系統(tǒng)(CMS),,或是軟件離線分析,但也有一些智能影音分析功能逐漸開始內(nèi)置在頭端(攝像頭)進行重要事件監(jiān)測及數(shù)據(jù)分析,。

高清化

市場需求:目前市場需求的起始規(guī)格為720P 30,,進階規(guī)格則為720P 60或1080P 30。而有些應(yīng)用,,如車牌辨識(LPR),,甚至需要1080P60或是更高的規(guī)格。

技術(shù)發(fā)展:為了滿足高清化需求,,傳感器技術(shù)也逐漸走向高階CMOS(1.3M,,2M,5M等),,而CMOS在高動態(tài)(HDR)和低照度(low lux)方面也已經(jīng)趕上CCD的水平,。另外,高階影像處理器(ISP),、高階編碼技術(shù)(H.264)及高分辨率鏡頭(HDLens)也是重要的技術(shù)發(fā)展方向,。

安全化

市場需求:數(shù)字視頻錄像(DVR)、網(wǎng)絡(luò)數(shù)字視頻錄像(NVR),、高容量硬盤(HDD),、磁盤陣列(DiskArray)的市場需求大增,也因而讓數(shù)據(jù)存儲更容易,、更安全,。

技術(shù)發(fā)展:擴充DVR/NVR到集中式網(wǎng)絡(luò)儲存技術(shù)(NAS)或是主從式儲存設(shè)備網(wǎng)絡(luò)技術(shù)(SAN)以及加強網(wǎng)絡(luò)防火墻(Fire Wall),讓數(shù)據(jù)儲存更安全,,且具備容錯能力,,災(zāi)難備援,以及快速回復(fù)數(shù)據(jù)之能力,。

分工化

市場需求:高端監(jiān)控市場的特性包括應(yīng)用多元化,、規(guī)格定制化和少量多樣化,,且要求存儲時間長,,因此對質(zhì)量的要求比一般消費性產(chǎn)品高很多,所以每個組件都應(yīng)具有最高規(guī)格和性能,,這也使高端監(jiān)控的產(chǎn)業(yè)鏈必須達到專業(yè)分工,。

技術(shù)發(fā)展:傳感器(CCD或CMOS)、高階影像處理器(ISP),、影像壓縮編解碼器(CODEC),、網(wǎng)絡(luò)傳輸(IP Video Streaming)和高清閉路電視(HDCCTV)等各自發(fā)展或部分整合。換句話說,,沒有一顆單芯片(SoC)能完全滿足高端監(jiān)控的需求,,當然對于入門級的家用監(jiān)控系統(tǒng)則可能用一顆單芯片就可以完成,。

萊迪斯半導(dǎo)體市場營銷副總裁Douglas Hunter則直言未來視頻監(jiān)控兩個最重要的趨勢是:百萬像素攝像機和高動態(tài)范圍(HDR)照相機。對于半導(dǎo)體制造商,,這意味著需要向市場提供器件,,提供更高的處理能力,以便處理由兆像素圖像傳感器和HDR處理需求結(jié)合所引起的大量數(shù)據(jù)的增加,。Maxim業(yè)務(wù)總監(jiān)JimFox則認為,,視頻監(jiān)控市場的整體增長率將保持在5%-10%左右,而IP攝像機這樣的具體產(chǎn)品增長率可以達到30%以上,。最重要的技術(shù)發(fā)展趨勢除了高清和百萬像素攝像外,,智能視頻分析和成像也非常重要。

當然,,趨勢總是由市場的需求所推動的,。視頻監(jiān)控市場正要求更高的分辨率和更精準的圖像內(nèi)容,包括場景內(nèi)容和活動的“智能”識別(如車牌號碼識別,,清點人數(shù)的能力,,檢測侵入者)??梢杂帽环Q為視頻分析(VA)的自動化軟件夾處理越來越多的復(fù)雜視頻監(jiān)控,。為了能夠有效、避免產(chǎn)生“誤報“,,VA軟件需要較高的分辨率和HDR處理,。這就是對攝像機制造商的要求,以高幀率來處理大量的數(shù)據(jù),。

攝像頭高清,、3D一個都不能少

高清技術(shù)將使數(shù)字視頻監(jiān)控系統(tǒng)徹底淘汰傳統(tǒng)模擬系統(tǒng),于是在CIF/D1分辨率的基礎(chǔ)之上,,720p和1080p的呼聲很高,,視頻壓縮技術(shù)在新的潮流下得到了進一步的提升。Aptina Imaging公司資深業(yè)務(wù)發(fā)展/市場經(jīng)理Cliff Cheng認為,,監(jiān)控攝像頭領(lǐng)域最普遍的發(fā)展趨勢是轉(zhuǎn)向分辨率為720P和1080P兩種格式的高清(HD)攝像頭,,而所提供的接口選項的數(shù)量增加了,包括子兆位以太網(wǎng),、閉路高清(HDCCTV)以及IP over Coaxial(電纜),,這些都正逐漸成為HD視頻的首選接口。多媒體2D/3D圖像加速技術(shù)已開始引入,,HDMI高清接口將成為必需,,顯示加密技術(shù)也許不可或缺。

隨著CMOS視頻傳感器技術(shù)的成熟和推廣,,數(shù)字一體化攝像機將融合更多的影像處理技術(shù),,其中包括自動曝光(AE),、自動白平衡(AWB)和自動聚焦(AF)技術(shù)將有可能被掌握。隨著繼承有視頻前端的單片系統(tǒng)(SoC)的推出,,不僅支持上述的弘功能,,還有可以支持3D噪聲濾波、人臉檢測,、LDC鏡頭校正和WDR寬動態(tài)等功能,。與CCD圖像傳感器相比,由于CMOS圖像傳感器具備同等甚至更好的成像性能,、更低的成本,、更高的集成度、更低的功耗以及更高的速度,,因此在網(wǎng)絡(luò)攝像頭領(lǐng)域的應(yīng)用也日益增多,。高速HD視頻攝像頭轉(zhuǎn)向CMOS圖像傳感器的原因之一是CMOS器件固有低功耗的特性。功耗較低的CMOS圖像傳感器還結(jié)合了數(shù)項節(jié)能功能,,如門控時鐘(gated clock)設(shè)計,、可變幀率,以及低待機電流,,這些功能均可通過CMOS工藝技術(shù)來實現(xiàn),。

萊迪斯半導(dǎo)體的Douglas Hunter認為,視頻監(jiān)控需要圖像傳感器有更多的像素以得到更好的場景定義,,更好的微光性能,,并能夠為HDR功能提供足夠的數(shù)據(jù)。關(guān)于市場趨勢,,圖像傳感器將繼續(xù)從CCD轉(zhuǎn)變到CMOS技術(shù),。更高的兆像素傳感器將變得司空見慣。為了增強微光性能,,更大格式的傳感器可能更為常見,。像那些菜迪思伙伴的傳感器制造商將對傳感器從提供并行接口轉(zhuǎn)向串行接口,以便每秒從圖像傳感器送出更多的像素數(shù)據(jù),。

一個新興的發(fā)展趨勢是加入寬動態(tài)范圍(Wide Dynamic Range,,WDR)功能,借助WDR功能,,視頻監(jiān)控攝像頭的放置就不再受到限制,,幾乎可以放置在任何環(huán)境中,包括嚴苛的高對比度光照環(huán)境,。Aptina用于監(jiān)控市場的最新HD和全HD圖像傳感器解決方案都加入了統(tǒng)計引擎、3D立體攝像頭支持,、感興趣區(qū)域(region of interest)和WDR功能,,將更多的計算工作量從視頻分析引擎中卸載,,讓攝像頭的算法可以提供更高的準確度和智能化水平更高的功能性。

媒體處理器百花齊放

回顧數(shù)字視頻監(jiān)控的發(fā)展歷程,,數(shù)字音視壓縮技術(shù)的發(fā)展導(dǎo)致了壓縮標準的制定,,于是在高速數(shù)字信號處理器(DSP)上得以實現(xiàn)和應(yīng)用。DSP得天獨厚的高性能和低功耗的軟件可編程的特性使之成為嵌入式數(shù)字音視頻壓縮的理想處理平臺,,而在高速通用DSP芯片上集成多個視頻接口以及豐富的外圍接口,,就成為數(shù)字媒體處理器。數(shù)字視頻監(jiān)控產(chǎn)品的推陳出新得益于核心處理平臺的升級換代,,其中數(shù)字媒體處理器發(fā)揮了重要的作用,。單片的通用DSP可以很好地實現(xiàn)視頻數(shù)字壓縮或智能視頻數(shù)字分析處理工作,但還需要在外圍接視頻接口和前端或后端處理設(shè)備,,因此系統(tǒng)比較復(fù)雜,。

TI推出的第一顆數(shù)字媒體SoC對于數(shù)字視頻監(jiān)控行業(yè)的影響極其深遠,從而開創(chuàng)了以創(chuàng)新大師達芬奇冠名一個系列媒體處理平臺,。如圖2為數(shù)字視頻SoC集成結(jié)構(gòu),,其中包含有ARM和DSP核心系統(tǒng),還有視頻協(xié)處理器(VICP),,以及視頻處理子系統(tǒng)(VPSS),。

隨著監(jiān)控行業(yè)對高清需求的增加,DSP一統(tǒng)天下的格局在變化,。賽靈思公司亞太區(qū)市場及應(yīng)用總監(jiān)張宇清介紹,,傳統(tǒng)的視頻監(jiān)控由于對運算的要求不高,只需要DSP芯片即可,。隨著智能分析和高清視頻監(jiān)控成為主流,,FPGA的優(yōu)勢逐漸顯現(xiàn)。

智能分析的關(guān)鍵在于算法,,需要大量的矩陣運算以及乘法器,。通常有兩種方式來實現(xiàn)智能分析。一是,,DSP+FPGA,,F(xiàn)PGA作為協(xié)處理器,來彌補DSP在運算方面的不足,。然而,,雖然DSP在信號處理、監(jiān)控方面具有優(yōu)勢,,但其通過執(zhí)行串行指令進行處理運算,、智能分析,一個時鐘只能執(zhí)行一個指令。而FPGA是并行指令架構(gòu),,可以在一個時鐘內(nèi)執(zhí)行幾百個指令,。以運算速度來看,即使DSP的運算達到1G以上,,F(xiàn)PGA的速度700M,,但顯然,F(xiàn)PGA的并行處理仍然要遠高于DSP的串行處理,。同時,,F(xiàn)PGA帶有硬件乘法器和DSP核,具有高度靈活的擴展性,,目前很多高端視頻監(jiān)控設(shè)備已采用這一架構(gòu),。二是,在DSP中嵌入硬核,,用硬核做硬件加速器,,但其彈性小,沒有擴展性,,導(dǎo)致產(chǎn)品差異化低,。

FPGA可以在復(fù)雜的像素處理方面替代DSP,如高性能視頻分析,,各種圖像傳感器寬動態(tài)范圍壓縮,,以及高精度圖像處理。對于高清視頻監(jiān)控來說,,F(xiàn)PGA的作用更是不可小覷,。高清監(jiān)控,數(shù)據(jù)流量非常大,,需要更高的處理能力,,并且還要提供自動曝光、高效的自動白平衡和高動態(tài)范圍等功能,,傳統(tǒng)DSP已經(jīng)難以應(yīng)付,,需要FPGA共同完成。

對FPGA在視頻監(jiān)控領(lǐng)域應(yīng)用非??春玫倪€有萊迪斯半導(dǎo)體,。DouRlasHunter認為一個顯而易見的方法是從順序處理轉(zhuǎn)變?yōu)椴⑿刑幚怼@?,F(xiàn)PGA是并行處理器件,,可以在每個時鐘周期比傳統(tǒng)DSP處理更多的數(shù)據(jù)。由于在每個時鐘周期能夠處理更多的數(shù)據(jù),,比如LatticeECP3系列FPGA可以使用較低的時鐘速度,,因此消耗的功耗更少,,而順序處理的器件需要更快的時鐘速度;因此消耗大量的功率,。

視頻分析

視頻分析技術(shù)業(yè)已在數(shù)字視頻監(jiān)控領(lǐng)域逐步顯露鋒芒,,從而使得監(jiān)控真正向智能化的視覺方向發(fā)展,。視頻分析所包含的內(nèi)容相當廣泛,,其中有物體檢測統(tǒng)計、目標物體識別和監(jiān)控目標跟蹤,,還可以設(shè)立警戒區(qū)進行檢測或行為分析,。對于攝像機自身的智能化處理,已有視頻穩(wěn)定和鏡頭受襲告警實用技術(shù),。人臉識別技術(shù)目前已經(jīng)開始實現(xiàn)市場化,,并已有不少成功的應(yīng)用,例如北京奧運會和上海世博會,。

在談到數(shù)字視頻監(jiān)控新的增長點時,,智能視頻分析一定是一個熱門話題。視頻分析從計算機后端分析到前端嵌入式分析,,使得其應(yīng)用范圍大大增加,,目前已開始啟動市場化的進程。TI鄭小龍認為,,在這過程中通用可編程的DSP扮演了極其重要的角色,,從DM642到DM6437或DM6435,許多智能視頻分析廠商推出了出色的算法并進入實用,?;诂F(xiàn)在的達芬奇的C64+核心,已可實現(xiàn)單片的智能視頻應(yīng)用,。未來DM8168的C674x將可提供更加強大的高級智能視頻分析性能,。

在視頻監(jiān)控中的軟件算法可以用于兩個方面。首先是圖像處理引擎中執(zhí)行一套算法,。第二個是幫助人們完成任務(wù)的VA軟件,,如內(nèi)容和事件的識別。在圖像信號處理(ISP)領(lǐng)域,,萊迪思從合作伙伴HelionGmbH那里得到了算法,,它提供了業(yè)界最快的自動曝光,支持傳感器高達16兆像素的分辨率,,ISP流水線的HDR(高動態(tài)范圍)可達192分貝,。

MAXIM業(yè)務(wù)總監(jiān)Jim Fox介紹,該公司的Mobilygen專利技術(shù)大大降低了系統(tǒng)計算的復(fù)雜度,,在保持低功耗的同時提供最高畫質(zhì),。預(yù)先定義的配置和固件API允許開發(fā)人員設(shè)置比特率、幀速率等參數(shù)以及GOP結(jié)構(gòu)、H.264工具等,。MAXIM器件支持完整的高畫質(zhì)H.264工具套件,,包括8x8轉(zhuǎn)換、矩陣比例縮放,、CABAC和任意分割尺寸的宏模塊自適應(yīng)幀/場(MBAFF),。先進的固件算法提供圖像自適應(yīng)幀/場(PAFF)編碼、加權(quán)預(yù)測,、定制矩陣比例縮放和影視圖像反轉(zhuǎn)處理,,以達到最佳圖像質(zhì)量。視頻輸出處理器能夠組合實時圖像和/或存儲圖像,,其圖像覆蓋功能可以創(chuàng)建單路輸出,。該輸出可以放大或縮小,通過雙向端口發(fā)送到另外一個器件或輸出,,以8位YUV4:2:0格式或18位RGB格式驅(qū)動本地顯示器,。

行業(yè)應(yīng)用的特殊需求

雖然在所有的應(yīng)用之中,數(shù)字視頻監(jiān)控的基本圖像處理相似,,不過某些應(yīng)用確有具體的特殊需求,。例如,在工業(yè)應(yīng)用中,,高速度和高幀率是捕捉圖像細節(jié)的必備條件,,需要傳感器具有全局快門,而不是滾動快門,;在醫(yī)療市場中,,出色的低光照性能和極低的功耗是必不可少的,要求非常低的延時和無損圖像壓縮,;對于交通運輸攝像頭,,需要增強的HDR性能和快速的自動曝光,需要使用帶有全局快門的捕捉速度極高的攝像頭,,以便在夜間光線較暗時讀取車牌號碼,,當有迎面而來的車輛前車燈時,他們也許突然變得明亮,。因此需要對不同產(chǎn)業(yè)類別的應(yīng)用根據(jù)FW做特殊的應(yīng)用,,以配合特殊產(chǎn)業(yè)與廠商的需求。例如工業(yè)應(yīng)用要求高速視頻(120-240fps),,但是對分辨率的需求并不是很高(QVGA—VGA),,醫(yī)療應(yīng)用則需要可拋式攝像頭,這些特殊功能都需要圖像感應(yīng)器廠商與鏡頭廠商配合,。

這些需求構(gòu)成了對半導(dǎo)體制造商相同的基本挑戰(zhàn):即提高了數(shù)據(jù)處理負載,。萊迪思Douglas Hunter坦言,,半導(dǎo)體制造商必須提供低成本、低功耗并行處理器件,,如各種配置的FPGA,,針對大的和小的應(yīng)用提供處理邏輯。他們還必須提供IP,,支持不同種類的圖像傳感器,,以及提供低延遲和HDR處理的ISP流水線。

對于交通行業(yè)而言,,需求又有所不同,。如何利用車載攝像機降低交通事故數(shù),,減少人員傷亡,,控制直接財產(chǎn)損失,是中國汽車電子行業(yè)不容無視的重大研究課題和商機,,本文通過概要介紹若干系統(tǒng),,為中國汽車電子行業(yè)拋磚引玉。值得一提的是,,開發(fā)針對汽車安全的車載攝像機系統(tǒng)需要汽車電子與汽車生產(chǎn)廠家開展密切合作,,從攝像頭、視頻數(shù)據(jù)采集,、視頻傳輸,、實時監(jiān)視和播放平臺等多個方面進行研究,才有利于車廠最終使其產(chǎn)品化,。

特別的,,車載攝像頭需要的高速總線,MOST(面向媒體的系統(tǒng)傳輸總線)技術(shù)目前已經(jīng)被50多種車型采用它由MOST組織來主持標準化與規(guī)格化工作,。截至目前,,已經(jīng)有15家國際性汽車廠商和70余家主要零配件生產(chǎn)廠商加盟該組織。

目前已經(jīng)實現(xiàn)產(chǎn)品化的MOST技術(shù)有MOST25,、MOST50,,第3代MOST 150Mbps技術(shù)一150MOST正在開發(fā)中。150Mbps可以達到與MOST25塑料光纖同等的傳輸速度,,不用增加物理層成本就可以提高通信速度,。采用MOST150后,視頻傳輸變得更容易,,不僅可以用在休閑娛樂方面,,還可以用在車載攝像頭等行車系統(tǒng)上。

MOST在制訂上完全合乎ISO/OSI的7層數(shù)據(jù)通訊協(xié)議參考模型,,而在網(wǎng)線連接上MOST采行環(huán)狀拓樸,,允許改采星狀(亦稱放射狀)或雙環(huán)狀的連接組態(tài),,每套MOST傳控網(wǎng)絡(luò)允許最多達64個裝置(節(jié)點)建立連接。

目前,,在MOST的應(yīng)用中,,美國車種僅占9%,歐洲車種占比達58%,,亞太車系則占比大約為33%,。

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載,。