提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng)構(gòu)架方案,,該方案由視頻分析單元、視頻服務(wù)器,、一級客戶端,、二級客戶端組成;系統(tǒng)地分析了各個部分的關(guān)鍵技術(shù)并給出了具體設(shè)計和實(shí)現(xiàn)方案,。多級客戶端的結(jié)構(gòu)可以提供對多個嵌入式智能視頻監(jiān)控器的系統(tǒng)管理,,可以實(shí)現(xiàn)對多個監(jiān)控場景的全面,、無縫監(jiān)控,。系統(tǒng)基于Davicn TMS320DM6446芯片實(shí)現(xiàn)。實(shí)驗(yàn)表明,,該系統(tǒng)安全可靠,,可擴(kuò)充性強(qiáng),應(yīng)用靈活,。
關(guān)鍵詞:智能視頻監(jiān)控系統(tǒng),;嵌入式系統(tǒng),;網(wǎng)絡(luò)監(jiān)控;Davicn TMS320DM6446,;智能視頻分析
類別:嵌入式聯(lián)網(wǎng)技術(shù)頭條
0 引言
視頻監(jiān)控技術(shù)經(jīng)歷了3個主要的發(fā)展階段:第1代是以磁帶存儲為主要特征的本地模擬視頻監(jiān)控系統(tǒng)(VTR時代),;第2代是以ISDN網(wǎng)絡(luò)為基礎(chǔ)、并綜合應(yīng)用數(shù)字壓縮,、時隙交換和數(shù)字硬盤錄像機(jī)的數(shù)字視頻監(jiān)控系統(tǒng)(DVR時代),;第3代是基于IP網(wǎng)絡(luò)的視頻監(jiān)控系統(tǒng)。伴隨網(wǎng)絡(luò)技術(shù)數(shù)字視頻技術(shù)和圖像技術(shù)的飛速發(fā)展,,視頻監(jiān)控正向智能化的方向發(fā)展,,即智能視頻監(jiān)控。與非智能化得視頻監(jiān)控相比,,智能視覺監(jiān)控能實(shí)現(xiàn)主動監(jiān)控,,采用智能算法對監(jiān)控到的畫面進(jìn)行智能分析,進(jìn)而進(jìn)行相應(yīng)的動作,。
智能視頻監(jiān)控有基于PC機(jī)的智能視頻監(jiān)控系統(tǒng)和嵌入式的智能視頻監(jiān)控系統(tǒng),。兩者相比,嵌入式的智能視頻監(jiān)控系統(tǒng)具有便攜,、低功耗,、應(yīng)用領(lǐng)域廣泛等優(yōu)勢,隨著嵌入式智能視頻監(jiān)控系統(tǒng)的大量應(yīng)用,、批量生產(chǎn),,其成本優(yōu)勢也將得到體現(xiàn)。嵌入式智能監(jiān)控產(chǎn)品已是監(jiān)控市場發(fā)展趨勢,。
本文設(shè)計并實(shí)現(xiàn)了一種基于達(dá)芬奇DM6446平臺的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng),,提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng)構(gòu)架方案,該方案由視頻分析單元,、視頻服務(wù)器,、一級客戶端、二級客戶端組成的,,文中系統(tǒng)地分析了各個部分的關(guān)鍵技術(shù)并給出了具體的設(shè)計,、實(shí)現(xiàn)方案。多級客戶端的結(jié)構(gòu)可以提供對多個嵌入式智能視頻監(jiān)控器的系統(tǒng)管理,,并可以實(shí)現(xiàn)對多個監(jiān)控場景的全面,、無縫監(jiān)控。本系統(tǒng)基于davicnTMS320DM6446芯片實(shí)現(xiàn),,實(shí)驗(yàn)表明該系統(tǒng)安全可靠,,可擴(kuò)充性強(qiáng),應(yīng)用靈活,。
1 系統(tǒng)體系結(jié)構(gòu)
如圖1所示,,整個系統(tǒng)由視頻采集,、視頻服務(wù)、智能視頻分析,、智能客戶端,、網(wǎng)絡(luò)存儲、電視墻等組成,。視頻服務(wù)器負(fù)責(zé)整個系統(tǒng)的控制與協(xié)調(diào),;智能視頻分析單元負(fù)責(zé)實(shí)現(xiàn)視頻數(shù)據(jù)的智能分析;智能客戶端作為一級客戶端主要是實(shí)現(xiàn)流媒體的實(shí)時播放,,與監(jiān)控管理相關(guān)的各種控制操作,,與智能視頻分析相關(guān)的規(guī)則設(shè)置、分析軟件的更新等,;網(wǎng)絡(luò)存儲和電視墻作為二級客戶端分別用于視頻回放,,實(shí)時視頻監(jiān)視。
2 軟硬件實(shí)現(xiàn)
本系統(tǒng)基于TMS320DM6446的實(shí)現(xiàn),。TMS320DM6446是TIC6000系列中速度達(dá)到4 800 MIPS的雙核處理器,,集成了高速C64x+DSP處理器和ARM926EJ2S處理器。針對DSP核具有高速的數(shù)據(jù)處理能力和ARM核優(yōu)于對外設(shè)進(jìn)行控制的特點(diǎn),,該系統(tǒng)中ARM主要負(fù)責(zé)內(nèi)部數(shù)據(jù)傳輸控制,、外設(shè)控制,即ARM作為視頻服務(wù)器,,DSP作為智能視頻分析單元,。
本系統(tǒng)的軟件分為3個部分:視頻服務(wù)器部分采用monta vista linux嵌入式操作系統(tǒng);智能視頻分析單元運(yùn)行匯編語言編寫的視頻分析算法,,無單獨(dú)操作系統(tǒng),,由視頻服務(wù)器Linux來調(diào)度執(zhí)行;智能客戶端在PC上VC++實(shí)現(xiàn),,智能客戶端和視頻服務(wù)器間的通信通過Socket實(shí)現(xiàn),。
3 功能模塊實(shí)現(xiàn)方案
3.1 視頻采集
系統(tǒng)采用TI公司的視頻解碼芯片TVP5146實(shí)現(xiàn)A/D轉(zhuǎn)換,由DM6446的I2C對其控制,,數(shù)字信號經(jīng)過電平轉(zhuǎn)換后送至DM6446的VPFE模塊,。
3.2 視頻服務(wù)器
視頻服務(wù)器由ARM子系統(tǒng)、控制子系統(tǒng),、VPSS,、視頻自動環(huán)出、外圍設(shè)置及控制電路組成,,負(fù)責(zé)系統(tǒng)的控制與協(xié)調(diào),,視頻處理等,。
視頻處理模塊VPSS(VPEE和VPBE)包括視頻的編解碼,、視頻輸入輸出,、視頻放大。DM6446中集成了VPSS,。視頻信號輸入到視頻處理前端(VPEE)后直接通過EDMA方式送至DDR中指定的空間存儲,。當(dāng)VP5146轉(zhuǎn)換完一幀圖像,產(chǎn)生EDMA中斷信號,,并在EDMA中斷服務(wù)程序中由DSP子系統(tǒng)完成智能視頻分析的任務(wù),。視頻數(shù)字信號經(jīng)處理后通過視頻后端(VPBE)放大經(jīng)網(wǎng)絡(luò)傳出,或者轉(zhuǎn)換成NTSL/PAL制式的電視信號傳輸?shù)诫娨晧Α?br />
為了保證系統(tǒng)的魯棒性,,本系統(tǒng)設(shè)計了視頻自動環(huán)出功能,。在視頻服務(wù)器或智能視頻分析單元出現(xiàn)故障的情況下,視頻自動環(huán)出能控制視頻雙通道切換,,直接輸出前端的復(fù)合視頻信號,。在故障的情況下不影響視頻信號的傳輸,保證信號的連續(xù)性,,保證系統(tǒng)的魯棒性,。
另外視頻服務(wù)器中還包含網(wǎng)絡(luò)接口模塊、存儲模塊,、電源管理與復(fù)位模塊,、串口模塊等。
3.3 智能視頻分析單元
智能視頻分析單元負(fù)責(zé)對視頻圖像進(jìn)行編解碼,、分析,,得到對監(jiān)控場景的理解,智能視頻分析系統(tǒng)的性能很大程度上依賴于其中智能視頻分析算法的精度和效率,,所以算法的合理設(shè)計至關(guān)重要,。目前智能視頻分析算法有很多種,但各自有其局限性,,為某一應(yīng)用選擇合適的算法,,往往從速度、精度還有應(yīng)用范圍等方面做綜合權(quán)衡,。本系統(tǒng)主要針對禁區(qū)入侵智能監(jiān)控的應(yīng)用,,為該應(yīng)用設(shè)計了一套快速實(shí)用的智能視頻分析算法,其視頻分析過程如圖2所示,。
本系統(tǒng)中的智能視頻分析單元由DM6446的DSP內(nèi)核運(yùn)行智能視頻分析算法來實(shí)現(xiàn),。
3.4 智能客戶端
智能客戶端作為監(jiān)控者與視頻服務(wù)器的人機(jī)交互在智能監(jiān)控系統(tǒng)中扮演著重要作用,本系統(tǒng)在PC機(jī)Windows VC++6.0環(huán)境下實(shí)現(xiàn),,智能客戶端與視頻服務(wù)器之間采用C-S的模式構(gòu)建,,客戶端程序采用了2個類對象分別來實(shí)現(xiàn)人機(jī)界面功能、網(wǎng)絡(luò)通信功能,,其與視頻服務(wù)器之間的數(shù)據(jù)流圖如圖3所示,。
智能客戶端能自動搜索局域網(wǎng)中所有的設(shè)備(嵌入式智能視頻監(jiān)控器),,并對搜索到的設(shè)備提供身份驗(yàn)證、實(shí)時視頻場景監(jiān)控,,用戶權(quán)限管理,、日期時間管理、設(shè)備信息管理,、報警規(guī)則設(shè)置,、報警任務(wù)設(shè)置,報警信息查詢,、固件升級等服務(wù),。
智能客戶端本身不存在有數(shù)據(jù)的存取,其每一個操作都必須與視頻服務(wù)器通信,,多個操作可能會同時發(fā)生(例如:固件升級和報警產(chǎn)生同時發(fā)生),,本系統(tǒng)中采用多線程的方式來實(shí)現(xiàn)多個任務(wù)的并行或串行,分別為自動搜索設(shè)備線程,、配置數(shù)據(jù)通信線程,、視頻場景監(jiān)控線程、固件升級線程,,其流程圖如圖4所示,。
客戶端系統(tǒng)啟動后,進(jìn)入到自動搜索界面,,創(chuàng)建自動搜索設(shè)備線程,,在該線程中與視頻服務(wù)器通信,采用TCP/IP協(xié)議,,確認(rèn)對方設(shè)備在工作狀態(tài)后,,顯示所有正常工作的設(shè)備,創(chuàng)建配置數(shù)據(jù)通信線程,、視頻場景監(jiān)控線程,,并銷毀自動搜索設(shè)備線程。
配置數(shù)據(jù)通信線程負(fù)責(zé)顯示視頻服務(wù)器端發(fā)送過來的數(shù)據(jù),,發(fā)送用戶的配置數(shù)據(jù)給視頻服務(wù)器,,網(wǎng)絡(luò)通信采用TCP/IP協(xié)議。
視頻場景監(jiān)控線程實(shí)現(xiàn)解碼視頻圖像并顯示,,網(wǎng)絡(luò)通信采用UDP協(xié)議,,在該線程中使用了CXIMAGE類對象來解碼和顯示視頻圖像。配置數(shù)據(jù)通訊線程和視頻場景監(jiān)控線程在客戶端程序運(yùn)行時一直存在,。
固件升級線程只有在用戶進(jìn)行了“版本升級”操作時才啟用,,其中的網(wǎng)絡(luò)通信采用FTP協(xié)議,當(dāng)固件升級完畢,銷毀該線程,。
3.5 二級容尸端
二級客戶端包括網(wǎng)絡(luò)存儲單元和電視墻,。
網(wǎng)絡(luò)監(jiān)控存儲單元通過DM6446的ATA接口,存儲經(jīng)過智能視頻分析后的視頻數(shù)據(jù),,以供監(jiān)控視頻回放。由于存放的是處理后的視頻數(shù)據(jù),,可以實(shí)現(xiàn)智能搜索,,從海量的視頻數(shù)據(jù)中迅速定位,大大提高系統(tǒng)的使用效率,。智能客戶端(一級客戶端)本身沒有存儲功能,,只提供實(shí)時監(jiān)控功能,網(wǎng)絡(luò)監(jiān)控存儲單元作為智能記憶單元,,為一級客戶端提供時間上的補(bǔ)充,。
智能客戶端主要的功能在于配置管理視頻服務(wù)器,在監(jiān)控功能上只能提供一個場景點(diǎn)的監(jiān)控,。電視墻可同時監(jiān)控多個場景,,給系統(tǒng)提供更加全面完善的監(jiān)控,為一級客戶端提供空間上的補(bǔ)充,。
4 系統(tǒng)測試
本文提出的構(gòu)架方案和實(shí)現(xiàn)方案已通過測試,。圖5~圖7為某場景禁區(qū)入侵測試報警效果截圖。其中圖5為某室內(nèi)場景圖,,圖6中為該場景設(shè)置了禁區(qū)規(guī)則,,圖中的黑色粗實(shí)線就是通過客戶端設(shè)置的禁區(qū)絆線,從線上通過則會觸發(fā)報警,,圖7為規(guī)則觸犯后報警圖,,線框部分為檢測到的入侵目標(biāo)。
5 結(jié)語
提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控的構(gòu)架方案,,并給出了具體的實(shí)現(xiàn)方案,,該方案實(shí)現(xiàn)的系統(tǒng)采用集中式統(tǒng)一管理,多點(diǎn)分布式布控,,可以應(yīng)用于多場景,、多點(diǎn)監(jiān)控。系統(tǒng)采用多級客戶端結(jié)構(gòu),,一級客戶端提供集中式統(tǒng)一管理,,二級客戶端提供對多個監(jiān)控場景的全面、無縫監(jiān)控,??蓴U(kuò)展性強(qiáng),系統(tǒng)中可以隨時加入新的布控點(diǎn),智能客戶端通過重新搜索功能就可實(shí)現(xiàn)對新布控點(diǎn)的控制和管理,。智能視頻分析算法可以通過網(wǎng)絡(luò)更新,;針對不同的場景、監(jiān)控的不同要求,,可以采用不同的智能視頻分析算法,,提供個性化的視頻智能分析服務(wù),這些都給系統(tǒng)的應(yīng)用帶來極大的靈活性,。