提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng)構(gòu)架方案,,該方案由視頻分析單元、視頻服務(wù)器、一級客戶端,、二級客戶端組成,;系統(tǒng)地分析了各個部分的關(guān)鍵技術(shù)并給出了具體設(shè)計和實現(xiàn)方案。多級客戶端的結(jié)構(gòu)可以提供對多個嵌入式智能視頻監(jiān)控器的系統(tǒng)管理,,可以實現(xiàn)對多個監(jiān)控場景的全面,、無縫監(jiān)控。系統(tǒng)基于Davicn TMS320DM6446芯片實現(xiàn),。實驗表明,,該系統(tǒng)安全可靠,可擴充性強,,應(yīng)用靈活,。
關(guān)鍵詞:智能視頻監(jiān)控系統(tǒng);嵌入式系統(tǒng),;網(wǎng)絡(luò)監(jiān)控,;Davicn TMS320DM6446;智能視頻分析
類別:嵌入式聯(lián)網(wǎng)技術(shù)頭條
0 引言
視頻監(jiān)控技術(shù)經(jīng)歷了3個主要的發(fā)展階段:第1代是以磁帶存儲為主要特征的本地模擬視頻監(jiān)控系統(tǒng)(VTR時代),;第2代是以ISDN網(wǎng)絡(luò)為基礎(chǔ),、并綜合應(yīng)用數(shù)字壓縮、時隙交換和數(shù)字硬盤錄像機的數(shù)字視頻監(jiān)控系統(tǒng)(DVR時代),;第3代是基于IP網(wǎng)絡(luò)的視頻監(jiān)控系統(tǒng),。伴隨網(wǎng)絡(luò)技術(shù)數(shù)字視頻技術(shù)和圖像技術(shù)的飛速發(fā)展,視頻監(jiān)控正向智能化的方向發(fā)展,,即智能視頻監(jiān)控,。與非智能化得視頻監(jiān)控相比,智能視覺監(jiān)控能實現(xiàn)主動監(jiān)控,,采用智能算法對監(jiān)控到的畫面進行智能分析,,進而進行相應(yīng)的動作。
智能視頻監(jiān)控有基于PC機的智能視頻監(jiān)控系統(tǒng)和嵌入式的智能視頻監(jiān)控系統(tǒng),。兩者相比,,嵌入式的智能視頻監(jiān)控系統(tǒng)具有便攜、低功耗,、應(yīng)用領(lǐng)域廣泛等優(yōu)勢,,隨著嵌入式智能視頻監(jiān)控系統(tǒng)的大量應(yīng)用、批量生產(chǎn),,其成本優(yōu)勢也將得到體現(xiàn),。嵌入式智能監(jiān)控產(chǎn)品已是監(jiān)控市場發(fā)展趨勢。
本文設(shè)計并實現(xiàn)了一種基于達芬奇DM6446平臺的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng),,提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng)構(gòu)架方案,,該方案由視頻分析單元,、視頻服務(wù)器、一級客戶端,、二級客戶端組成的,,文中系統(tǒng)地分析了各個部分的關(guān)鍵技術(shù)并給出了具體的設(shè)計、實現(xiàn)方案,。多級客戶端的結(jié)構(gòu)可以提供對多個嵌入式智能視頻監(jiān)控器的系統(tǒng)管理,,并可以實現(xiàn)對多個監(jiān)控場景的全面、無縫監(jiān)控,。本系統(tǒng)基于davicnTMS320DM6446芯片實現(xiàn),,實驗表明該系統(tǒng)安全可靠,可擴充性強,,應(yīng)用靈活,。
1 系統(tǒng)體系結(jié)構(gòu)
如圖1所示,整個系統(tǒng)由視頻采集,、視頻服務(wù),、智能視頻分析、智能客戶端,、網(wǎng)絡(luò)存儲,、電視墻等組成。視頻服務(wù)器負責整個系統(tǒng)的控制與協(xié)調(diào),;智能視頻分析單元負責實現(xiàn)視頻數(shù)據(jù)的智能分析,;智能客戶端作為一級客戶端主要是實現(xiàn)流媒體的實時播放,與監(jiān)控管理相關(guān)的各種控制操作,,與智能視頻分析相關(guān)的規(guī)則設(shè)置,、分析軟件的更新等;網(wǎng)絡(luò)存儲和電視墻作為二級客戶端分別用于視頻回放,,實時視頻監(jiān)視,。
2 軟硬件實現(xiàn)
本系統(tǒng)基于TMS320DM6446的實現(xiàn)。TMS320DM6446是TIC6000系列中速度達到4 800 MIPS的雙核處理器,,集成了高速C64x+DSP處理器和ARM926EJ2S處理器,。針對DSP核具有高速的數(shù)據(jù)處理能力和ARM核優(yōu)于對外設(shè)進行控制的特點,該系統(tǒng)中ARM主要負責內(nèi)部數(shù)據(jù)傳輸控制,、外設(shè)控制,,即ARM作為視頻服務(wù)器,DSP作為智能視頻分析單元,。
本系統(tǒng)的軟件分為3個部分:視頻服務(wù)器部分采用monta vista linux嵌入式操作系統(tǒng),;智能視頻分析單元運行匯編語言編寫的視頻分析算法,無單獨操作系統(tǒng),,由視頻服務(wù)器Linux來調(diào)度執(zhí)行,;智能客戶端在PC上VC++實現(xiàn),,智能客戶端和視頻服務(wù)器間的通信通過Socket實現(xiàn),。
3 功能模塊實現(xiàn)方案
3.1 視頻采集
系統(tǒng)采用TI公司的視頻解碼芯片TVP5146實現(xiàn)A/D轉(zhuǎn)換,,由DM6446的I2C對其控制,數(shù)字信號經(jīng)過電平轉(zhuǎn)換后送至DM6446的VPFE模塊,。
3.2 視頻服務(wù)器
視頻服務(wù)器由ARM子系統(tǒng),、控制子系統(tǒng)、VPSS,、視頻自動環(huán)出,、外圍設(shè)置及控制電路組成,負責系統(tǒng)的控制與協(xié)調(diào),,視頻處理等,。
視頻處理模塊VPSS(VPEE和VPBE)包括視頻的編解碼、視頻輸入輸出,、視頻放大,。DM6446中集成了VPSS。視頻信號輸入到視頻處理前端(VPEE)后直接通過EDMA方式送至DDR中指定的空間存儲,。當VP5146轉(zhuǎn)換完一幀圖像,,產(chǎn)生EDMA中斷信號,并在EDMA中斷服務(wù)程序中由DSP子系統(tǒng)完成智能視頻分析的任務(wù),。視頻數(shù)字信號經(jīng)處理后通過視頻后端(VPBE)放大經(jīng)網(wǎng)絡(luò)傳出,,或者轉(zhuǎn)換成NTSL/PAL制式的電視信號傳輸?shù)诫娨晧Α?br />
為了保證系統(tǒng)的魯棒性,本系統(tǒng)設(shè)計了視頻自動環(huán)出功能,。在視頻服務(wù)器或智能視頻分析單元出現(xiàn)故障的情況下,,視頻自動環(huán)出能控制視頻雙通道切換,直接輸出前端的復合視頻信號,。在故障的情況下不影響視頻信號的傳輸,,保證信號的連續(xù)性,保證系統(tǒng)的魯棒性,。
另外視頻服務(wù)器中還包含網(wǎng)絡(luò)接口模塊,、存儲模塊、電源管理與復位模塊,、串口模塊等,。
3.3 智能視頻分析單元
智能視頻分析單元負責對視頻圖像進行編解碼、分析,,得到對監(jiān)控場景的理解,,智能視頻分析系統(tǒng)的性能很大程度上依賴于其中智能視頻分析算法的精度和效率,所以算法的合理設(shè)計至關(guān)重要,。目前智能視頻分析算法有很多種,,但各自有其局限性,,為某一應(yīng)用選擇合適的算法,往往從速度,、精度還有應(yīng)用范圍等方面做綜合權(quán)衡,。本系統(tǒng)主要針對禁區(qū)入侵智能監(jiān)控的應(yīng)用,為該應(yīng)用設(shè)計了一套快速實用的智能視頻分析算法,,其視頻分析過程如圖2所示,。
本系統(tǒng)中的智能視頻分析單元由DM6446的DSP內(nèi)核運行智能視頻分析算法來實現(xiàn)。
3.4 智能客戶端
智能客戶端作為監(jiān)控者與視頻服務(wù)器的人機交互在智能監(jiān)控系統(tǒng)中扮演著重要作用,,本系統(tǒng)在PC機Windows VC++6.0環(huán)境下實現(xiàn),,智能客戶端與視頻服務(wù)器之間采用C-S的模式構(gòu)建,客戶端程序采用了2個類對象分別來實現(xiàn)人機界面功能,、網(wǎng)絡(luò)通信功能,,其與視頻服務(wù)器之間的數(shù)據(jù)流圖如圖3所示。
智能客戶端能自動搜索局域網(wǎng)中所有的設(shè)備(嵌入式智能視頻監(jiān)控器),,并對搜索到的設(shè)備提供身份驗證,、實時視頻場景監(jiān)控,用戶權(quán)限管理,、日期時間管理,、設(shè)備信息管理、報警規(guī)則設(shè)置,、報警任務(wù)設(shè)置,,報警信息查詢、固件升級等服務(wù),。
智能客戶端本身不存在有數(shù)據(jù)的存取,,其每一個操作都必須與視頻服務(wù)器通信,多個操作可能會同時發(fā)生(例如:固件升級和報警產(chǎn)生同時發(fā)生),,本系統(tǒng)中采用多線程的方式來實現(xiàn)多個任務(wù)的并行或串行,,分別為自動搜索設(shè)備線程、配置數(shù)據(jù)通信線程,、視頻場景監(jiān)控線程,、固件升級線程,其流程圖如圖4所示,。
客戶端系統(tǒng)啟動后,,進入到自動搜索界面,創(chuàng)建自動搜索設(shè)備線程,,在該線程中與視頻服務(wù)器通信,,采用TCP/IP協(xié)議,確認對方設(shè)備在工作狀態(tài)后,,顯示所有正常工作的設(shè)備,,創(chuàng)建配置數(shù)據(jù)通信線程,、視頻場景監(jiān)控線程,并銷毀自動搜索設(shè)備線程,。
配置數(shù)據(jù)通信線程負責顯示視頻服務(wù)器端發(fā)送過來的數(shù)據(jù),,發(fā)送用戶的配置數(shù)據(jù)給視頻服務(wù)器,網(wǎng)絡(luò)通信采用TCP/IP協(xié)議,。
視頻場景監(jiān)控線程實現(xiàn)解碼視頻圖像并顯示,,網(wǎng)絡(luò)通信采用UDP協(xié)議,在該線程中使用了CXIMAGE類對象來解碼和顯示視頻圖像,。配置數(shù)據(jù)通訊線程和視頻場景監(jiān)控線程在客戶端程序運行時一直存在。
固件升級線程只有在用戶進行了“版本升級”操作時才啟用,,其中的網(wǎng)絡(luò)通信采用FTP協(xié)議,,當固件升級完畢,銷毀該線程,。
3.5 二級容尸端
二級客戶端包括網(wǎng)絡(luò)存儲單元和電視墻,。
網(wǎng)絡(luò)監(jiān)控存儲單元通過DM6446的ATA接口,存儲經(jīng)過智能視頻分析后的視頻數(shù)據(jù),,以供監(jiān)控視頻回放,。由于存放的是處理后的視頻數(shù)據(jù),可以實現(xiàn)智能搜索,,從海量的視頻數(shù)據(jù)中迅速定位,,大大提高系統(tǒng)的使用效率。智能客戶端(一級客戶端)本身沒有存儲功能,,只提供實時監(jiān)控功能,,網(wǎng)絡(luò)監(jiān)控存儲單元作為智能記憶單元,為一級客戶端提供時間上的補充,。
智能客戶端主要的功能在于配置管理視頻服務(wù)器,,在監(jiān)控功能上只能提供一個場景點的監(jiān)控。電視墻可同時監(jiān)控多個場景,,給系統(tǒng)提供更加全面完善的監(jiān)控,,為一級客戶端提供空間上的補充。
4 系統(tǒng)測試
本文提出的構(gòu)架方案和實現(xiàn)方案已通過測試,。圖5~圖7為某場景禁區(qū)入侵測試報警效果截圖,。其中圖5為某室內(nèi)場景圖,圖6中為該場景設(shè)置了禁區(qū)規(guī)則,,圖中的黑色粗實線就是通過客戶端設(shè)置的禁區(qū)絆線,,從線上通過則會觸發(fā)報警,圖7為規(guī)則觸犯后報警圖,,線框部分為檢測到的入侵目標,。
5 結(jié)語
提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控的構(gòu)架方案,,并給出了具體的實現(xiàn)方案,該方案實現(xiàn)的系統(tǒng)采用集中式統(tǒng)一管理,,多點分布式布控,,可以應(yīng)用于多場景、多點監(jiān)控,。系統(tǒng)采用多級客戶端結(jié)構(gòu),,一級客戶端提供集中式統(tǒng)一管理,二級客戶端提供對多個監(jiān)控場景的全面,、無縫監(jiān)控,。可擴展性強,,系統(tǒng)中可以隨時加入新的布控點,,智能客戶端通過重新搜索功能就可實現(xiàn)對新布控點的控制和管理。智能視頻分析算法可以通過網(wǎng)絡(luò)更新,;針對不同的場景,、監(jiān)控的不同要求,可以采用不同的智能視頻分析算法,,提供個性化的視頻智能分析服務(wù),,這些都給系統(tǒng)的應(yīng)用帶來極大的靈活性。