智能化視頻監(jiān)控技術(shù)的進(jìn)一步發(fā)展,,仍然是仿生學(xué)引導(dǎo)的結(jié)果
智能化是視頻監(jiān)控的亮點(diǎn),但又是視頻監(jiān)控技術(shù)的關(guān)鍵和難點(diǎn)
智能視頻監(jiān)控產(chǎn)業(yè)的發(fā)展需要采用新的符合智能監(jiān)控要求的體系結(jié)構(gòu)
基金項(xiàng)目:國(guó)家自然科學(xué)基金(60672134,、61071091)
視頻監(jiān)控是視頻工程中重要的技術(shù)和應(yīng)用領(lǐng)域,,支撐其發(fā)展的視頻技術(shù)在不到一個(gè)世紀(jì)的發(fā)展過(guò)程中,大致經(jīng)歷了3個(gè)跨越式的發(fā)展階段,。20世紀(jì)30年代,,以電視廣播為代表的視頻技術(shù)走出了實(shí)驗(yàn)室,進(jìn)入廣播電視臺(tái)和千萬(wàn)家庭,,實(shí)現(xiàn)了從靜止圖像傳輸?shù)交顒?dòng)圖像傳輸?shù)目缭剑?0世紀(jì)80年代末,,以會(huì)議電視、視頻監(jiān)控等為代表的視頻技術(shù)走出了實(shí)驗(yàn)室,,進(jìn)入眾多的電視會(huì)議室,、安防系統(tǒng),實(shí)現(xiàn)了從模擬視頻通信到數(shù)字視頻通信的跨越,;如今,,以智能視頻監(jiān)控(IVS)為代表的視頻技術(shù),正處在走出實(shí)驗(yàn)室,、進(jìn)入到各行各業(yè)的應(yīng)用階段,,將要實(shí)現(xiàn)從“機(jī)械”的視頻信息處理向智能化視頻信息處理的跨越。當(dāng)前中國(guó)正處在這一跨越的關(guān)鍵時(shí)段,。智能視頻監(jiān)控只是智能視頻技術(shù)的一個(gè)部分,,一個(gè)將視頻技術(shù)引入智能時(shí)代的部分,。
1 IVS的發(fā)展歷程
和人類許多技術(shù)一樣,視頻技術(shù)也是仿生學(xué)引導(dǎo)的結(jié)果,。視頻技術(shù)模仿人類眼睛的功能,,把眼睛“拉”到實(shí)際難以到達(dá)的時(shí)空。電視廣播提供了大量有聲有色的娛樂(lè)節(jié)目,,豐富了人們的文化生活,;而視頻監(jiān)控的出現(xiàn),不僅提供了栩栩如生的現(xiàn)場(chǎng)信息,,更解決了安全和生產(chǎn)方面的問(wèn)題,,使人們深切感受到視頻技術(shù)的應(yīng)用范圍之廣和所起的重要作用。
視頻監(jiān)控已有三四十年的發(fā)展,,最早安裝在銀行營(yíng)業(yè)廳的模擬視頻監(jiān)控設(shè)備,,采用的是攝像頭加磁帶錄像機(jī);后來(lái)發(fā)展為數(shù)字監(jiān)控,,實(shí)際上是數(shù)字視頻記錄(DVR),采用的是攝像頭,、采集卡加計(jì)算機(jī)(主要用于壓縮,、存儲(chǔ));近幾年的網(wǎng)絡(luò)視頻監(jiān)控裝置,,主要是由嵌入式攝像機(jī),、傳輸網(wǎng)絡(luò)和計(jì)算機(jī)構(gòu)成。
智能視頻監(jiān)控經(jīng)過(guò)近四,、五年的發(fā)展,,已由簡(jiǎn)單的視頻監(jiān)控發(fā)展到具有人工智能的視頻監(jiān)控。視頻監(jiān)控的由來(lái)很簡(jiǎn)單,,從需求層面來(lái)看:人們一直需要擴(kuò)大眼睛的功能,,希望在必要的地方“掛上”一只“眼睛”進(jìn)行不間斷的監(jiān)控;從技術(shù)可行性的層面來(lái)看:傳感器技術(shù)從單點(diǎn)傳感器發(fā)展到多點(diǎn),,從一維傳感器,,發(fā)展到二維、三維傳感器(圖像,、視頻傳感器),,快速的發(fā)展為實(shí)現(xiàn)以看為主的監(jiān)控提供了可能。實(shí)際上這一過(guò)程再次體現(xiàn)了仿生學(xué)對(duì)技術(shù)發(fā)展的巨大影響力:監(jiān)控技術(shù)即智能化視頻監(jiān)控技術(shù)的進(jìn)一步發(fā)展,,仍然是仿生學(xué)引導(dǎo)的結(jié)果,。從仿生學(xué)的角度出發(fā),各種傳感器的出現(xiàn)均模仿人類的各種感覺的結(jié)果,,從觸覺,、嗅覺到聽覺,、視覺,如模仿人耳的麥克風(fēng)和模仿人眼的攝像機(jī),。最近,,如何在模仿視覺的基礎(chǔ)上模仿人腦功能,使現(xiàn)有的監(jiān)控設(shè)備具有一定的智能并,、成為研究的焦點(diǎn),。智能的匯入使傳感的內(nèi)容、含義具有了主觀“感覺”,,能夠給出分析,、判斷和結(jié)論,而并非只對(duì)傳感對(duì)象的物理量作忠實(shí)的記錄,。
早期的傳感器往往比較簡(jiǎn)單,,傳感的是一維、單義的物理量,,且易于分析,、便于結(jié)論,如溫度傳感器,,當(dāng)所獲得溫度超過(guò)某一閾值時(shí),,說(shuō)明發(fā)生了異常情況。以攝像機(jī)為代表的視覺傳感器是一種多維,、多義的傳感器:面對(duì)記錄的圖像難以判斷其內(nèi)容的含義,,如難以判斷攝像機(jī)所面對(duì)的場(chǎng)景到底“發(fā)生”了什么事。現(xiàn)階段該問(wèn)題的解決主要靠人工完成:值班人員用眼睛對(duì)成百上千的攝像機(jī)信息進(jìn)行屏幕“監(jiān)視”,,對(duì)存儲(chǔ)的海量信息進(jìn)行回放“檢索”,,對(duì)可疑信息進(jìn)行人工對(duì)比、分析,。但人(尤其是人的眼睛和大腦)是很容易疲勞的,,有數(shù)據(jù)表明:如值班人員緊盯屏幕十幾分鐘后將會(huì)不自覺丟掉大部份信息。再如在倫敦地鐵案中,,安保人員為找到一點(diǎn)有價(jià)值的信息,,往往要花幾十小時(shí)查看大量的存儲(chǔ)磁帶。尋找不會(huì)疲勞的眼睛和大腦,,分析所監(jiān)控的內(nèi)容,,減輕負(fù)擔(dān),提高監(jiān)控效率,,這就是視頻監(jiān)控智能化的目標(biāo),。
監(jiān)控智能化并不僅僅可以幫助我們緊盯屏幕,提高效率,還可以通過(guò)“智能”承擔(dān)并實(shí)現(xiàn)更多工作,。目前最典型的“智能”主要集中在以下4個(gè)方面:
(1) 攝像機(jī)保護(hù),。這是首要任務(wù),如果攝像機(jī)得不到保護(hù),,其它的一切都免談,。因此對(duì)攝像機(jī)被遮擋、被移動(dòng),、模糊等情況能及時(shí)自動(dòng)轉(zhuǎn)移,、報(bào)警并通知維護(hù)人員。
(2) 入侵檢測(cè)和運(yùn)動(dòng)目標(biāo)跟蹤,。對(duì)非正常進(jìn)入監(jiān)視區(qū)域的可疑目標(biāo)及時(shí)檢測(cè),,能夠識(shí)別單個(gè)或多個(gè)目標(biāo)的運(yùn)動(dòng)情況(如運(yùn)動(dòng)方向、運(yùn)動(dòng)速度等),。在檢測(cè)到可疑目標(biāo)后,,發(fā)送控制指令使攝像機(jī)自動(dòng)跟蹤目標(biāo),在物體超出該攝像機(jī)監(jiān)控范圍之后,,自動(dòng)通知鄰近的攝像機(jī)協(xié)同工作,,繼續(xù)進(jìn)行跟蹤并發(fā)出報(bào)警信號(hào)。
(3) 滯留物和搬移物報(bào)警,。當(dāng)場(chǎng)景中(如候機(jī)室,、會(huì)議室等)某一物體(如包裹、手提箱等)在敏感區(qū)域停留的時(shí)間過(guò)長(zhǎng),,或原場(chǎng)景中存在的物體(如手提電腦、貴重儀表)被無(wú)故搬移時(shí),,系統(tǒng)就發(fā)出報(bào)警信號(hào),,同時(shí)自動(dòng)在前面的視頻畫面中查找放置滯留物或搬走原有物品的可疑人。
(4) 群體行為分析,。包含對(duì)人群,、車流等目標(biāo)的正常行為和異常行為分析。能夠?qū)?chǎng)景中群體的正常行為進(jìn)行分析,,如統(tǒng)計(jì)穿越出入口或指定區(qū)域的人或車的數(shù)量,、高速公路交通流量,識(shí)別人群的整體運(yùn)動(dòng)特征,,包括速度,、方向等。也能夠?qū)?chǎng)景中群體的異常行為進(jìn)行分析和判斷,,如檢測(cè),、分類、跟蹤和記錄過(guò)往行人,、車輛及其他可疑物體,,判斷公路上是否有車輛非法??俊⑹欠裼泄收宪囕v,,是否有行人及車輛在禁區(qū)內(nèi)發(fā)生長(zhǎng)時(shí)間徘徊,、停留、逆行等行為,,檢測(cè)公共場(chǎng)所是否有人員的集聚,、奔跑、斗毆等異常行為,。
當(dāng)然,,智能視頻監(jiān)控能夠做到的事不只如此。今后它可以幫我們做更多的事,,但前提是我們要有足夠的智能來(lái)設(shè)計(jì)并實(shí)現(xiàn)這樣的智能視頻監(jiān)控系統(tǒng),。
2 IVS的技術(shù)難點(diǎn)
IVS的前景十分美好,但仍面臨漫長(zhǎng)的探索路程,。智能視頻監(jiān)控和普通視頻監(jiān)控本質(zhì)的區(qū)別在于:普通監(jiān)控視頻只是幫助我們“看”,;而智能視頻監(jiān)控不僅要“看”,而且能“看見”,、能“理解”,,能夠搜尋目標(biāo),分析視頻內(nèi)容,,處理視頻監(jiān)控的結(jié)果,。
這樣的目標(biāo)在技術(shù)實(shí)現(xiàn)上有很大難度,首先面臨的問(wèn)題是圖像分割:把關(guān)注的目標(biāo)從圖像中分離出來(lái),。這是一個(gè)基本和圖像處理同時(shí)誕生的老問(wèn)題,,但至今仍得不到很好的解決。在圖像分割領(lǐng)域,,各種方法層出不窮,,基本是一個(gè)問(wèn)題一種方法,或多種方法,,但結(jié)果仍差強(qiáng)人意,。
除圖像分割外仍有接踵而至的難題,如特征提取,、目標(biāo)匹配,、目標(biāo)描述、目標(biāo)跟蹤,、多攝像機(jī)協(xié)同等,。這些問(wèn)題正是當(dāng)前圖像處理、視頻分析的熱點(diǎn)問(wèn)題,雖然已取得一些成果,,但距離人們的期望還相當(dāng)遙遠(yuǎn),。總體上說(shuō),,智能化是視頻監(jiān)控的亮點(diǎn),,但同時(shí)又是視頻監(jiān)控技術(shù)的關(guān)鍵和難點(diǎn)。智能視頻監(jiān)控技術(shù)的研究和應(yīng)用仍處在萌芽狀態(tài),,剛剛步入初級(jí)階段[1-4],。
3 IVS產(chǎn)業(yè)的發(fā)展
經(jīng)過(guò)幾十年的發(fā)展,視頻監(jiān)控已成長(zhǎng)為一個(gè)新興的IT產(chǎn)業(yè),,以6 000萬(wàn)人口的英國(guó)為例,,已在全國(guó)范圍內(nèi)設(shè)置約420萬(wàn)個(gè)攝像機(jī)監(jiān)控點(diǎn)。據(jù)統(tǒng)計(jì)和預(yù)測(cè),,全球安全市場(chǎng)2011年的產(chǎn)值,,將從2001年的802億美元,增長(zhǎng)到2 658億美元,,成為全球重要產(chǎn)業(yè)之一[5],。
作為一個(gè)產(chǎn)業(yè),或者一類產(chǎn)品,,必須滿足人類所需或?yàn)槿祟愒黾有б娌趴赡艿玫窖杆俚陌l(fā)展,,如提供物品、文化或服務(wù),,替代人的工作,,提高工作效率等。移動(dòng)通信正是滿足這樣條件的產(chǎn)業(yè),,由視頻通信和移動(dòng)通信的發(fā)展情況可以看出:視頻通信起步早,,但發(fā)展較慢,而移動(dòng)通信發(fā)展速度快,、普及廣。因?yàn)橐苿?dòng)通信提供的是一種方便的通信方式,,解除了通信終端對(duì)固定位置電線的束縛,,不僅為人們提供了隨處通信的自由,還增加了可觀的經(jīng)濟(jì)效益和社會(huì)效益,。因此,,它的飛速發(fā)展在情理之中。相比之下,,圖像通信主要提供的是不同的通信內(nèi)容,,且至今還沒有解決圖像傳送的暢通問(wèn)題,在很大程度上仍屬于“錦上添花”的應(yīng)用,其發(fā)展的內(nèi)在動(dòng)力遠(yuǎn)遠(yuǎn)不足,,因此發(fā)展速度滯后,。如果視頻傳輸能夠暢通,且系統(tǒng)能夠?yàn)槿颂峁┳銐虻闹悄芊?wù),,視頻監(jiān)控產(chǎn)業(yè)也會(huì)得到迅速的發(fā)展[6],。
作為一個(gè)產(chǎn)業(yè),視頻監(jiān)控屬于視頻通信的一部分,。要加快視頻監(jiān)控的發(fā)展速度,,首先需要了解并分析目前視頻監(jiān)控產(chǎn)業(yè)的特點(diǎn)和問(wèn)題:
(1) 個(gè)性大于共性。不同的用戶對(duì)視頻監(jiān)控有不同的需求,,如個(gè)人和企業(yè),、室內(nèi)和室外、公開與隱蔽,、大場(chǎng)景和小范圍,、移動(dòng)和固定等,導(dǎo)致產(chǎn)品品種繁多難以擴(kuò)大規(guī)模,,大批量生產(chǎn)難以統(tǒng)一標(biāo)準(zhǔn),。
(2) “運(yùn)營(yíng)”重于“生產(chǎn)”。監(jiān)控產(chǎn)品的服務(wù)成分很大,,并非只限于幫用戶安裝完成(如消費(fèi)電子類產(chǎn)品)的環(huán)節(jié),。至少還應(yīng)像通信運(yùn)營(yíng)商那樣經(jīng)營(yíng)、維護(hù),、更新,,為用戶提供持續(xù)的服務(wù),服務(wù)的復(fù)雜程度甚至要超運(yùn)營(yíng)商,。例如,,由于通信運(yùn)營(yíng)商建立面向社會(huì)的通用視頻監(jiān)控系統(tǒng),建立面向特定部門的專用監(jiān)控平臺(tái),,開展運(yùn)營(yíng)級(jí)視頻監(jiān)控服務(wù),,就是一個(gè)很好的產(chǎn)業(yè)化發(fā)展模式。有數(shù)據(jù)統(tǒng)計(jì),,受運(yùn)營(yíng)級(jí)視頻監(jiān)控市場(chǎng)影響,,從2006年開始,全球網(wǎng)絡(luò)攝像終端市場(chǎng)的年增長(zhǎng)速度達(dá)到70%以上,。
(3) 有效服務(wù)時(shí)間短,。絕大部分的視頻監(jiān)控所感興趣的是小概率事件,獲得的有效數(shù)據(jù)占總數(shù)據(jù)的比例小,,“備用”時(shí)間長(zhǎng),。因此,,需要具備海量數(shù)據(jù)存儲(chǔ)能力、對(duì)無(wú)效數(shù)據(jù)的判斷和丟棄能力,,并同時(shí)在有效服務(wù)時(shí)間內(nèi)確保有效服務(wù),,不允許輕易失誤(如民用通信中用戶信息有時(shí)會(huì)被無(wú)故中斷)。
(4) 涉及范圍廣,。一是潛在用戶涉及范圍廣,,幾乎沒有單位和家庭不需要視頻監(jiān)控,只是需求的程度有所不同,,以及現(xiàn)有的視頻監(jiān)控功能能否滿足客戶需要,;二是配合單位涉及范圍廣,某一場(chǎng)景的監(jiān)控常常涉及報(bào)警,,報(bào)警又必然要涉及公安部門,;監(jiān)控大多涉及傳輸,傳輸必然涉及通信部門,;環(huán)境監(jiān)控必然涉及環(huán)保部門,;交通監(jiān)控當(dāng)然要涉及公安和保險(xiǎn)等部門等。沒有多部門的配合,,監(jiān)控的作用將會(huì)大大縮減,。
智能視頻監(jiān)控產(chǎn)業(yè)的發(fā)展,必須針對(duì)這些特點(diǎn)采用新的符合智能監(jiān)控要求的體系結(jié)構(gòu),,如采用新的經(jīng)營(yíng)方式和服務(wù)方式,,建立靈活的模塊化的硬件平臺(tái)和軟件平臺(tái),具有多重保護(hù)的信息安全機(jī)制等,。
4 IVS的發(fā)展前景
視頻監(jiān)控技術(shù)正值蓬勃發(fā)展階段,,主要有以下幾個(gè)發(fā)展趨勢(shì)[7-8]:
一是視頻質(zhì)量向高清化發(fā)展。這和整個(gè)數(shù)字視頻高清化發(fā)展趨勢(shì)是一致的,。隨著視頻的采集,、處理和顯示器件的快速發(fā)展,隨著傳輸帶寬的增加和視頻壓縮技術(shù)的進(jìn)步,,高清晰度的視頻監(jiān)控,,如720p、1080i,、1080p甚至更高分辨率的視頻質(zhì)量,,也將逐步實(shí)現(xiàn)。
二是傳輸方式向網(wǎng)絡(luò)化,、無(wú)線化發(fā)展,。這和整個(gè)通信網(wǎng)絡(luò)的IP,、無(wú)線,、寬帶化的發(fā)展趨勢(shì)相一致,。隨著網(wǎng)絡(luò)和通信技術(shù)的發(fā)展,為視頻監(jiān)控提供靈活的IP傳輸方式,、方便的無(wú)線連接和足夠的傳輸帶寬等問(wèn)題有望逐步得到解決,,如基于3G網(wǎng)絡(luò)、WiFi的視頻監(jiān)控系統(tǒng)等,。
三是視頻監(jiān)控技術(shù)向標(biāo)準(zhǔn)化發(fā)展,。盡管這項(xiàng)工作在視頻監(jiān)控領(lǐng)域有相當(dāng)大的困難,至今仍缺少統(tǒng)一的國(guó)際和國(guó)內(nèi)標(biāo)準(zhǔn),,但是視頻監(jiān)控的標(biāo)準(zhǔn)化工作目前已在艱難中啟動(dòng),。在中國(guó)國(guó)內(nèi)如中國(guó)電信“全球眼”和中國(guó)聯(lián)通“寬視界”監(jiān)控標(biāo)準(zhǔn),國(guó)際上如安訊士,、博世,、索尼等企業(yè)聯(lián)合推出的開放型網(wǎng)絡(luò)視頻接口論壇(ONVIF),思科,、IBM,、ObjectVideo、松下等企業(yè)推出的實(shí)體安防互通聯(lián)盟(PSIA)面向全球的標(biāo)準(zhǔn),。
從總體上說(shuō),,智能視頻監(jiān)控技術(shù)還處在發(fā)展的初級(jí)階段。隨著世界范圍內(nèi)對(duì)安全防范的重視,,隨著中國(guó)“國(guó)家應(yīng)急體系”,、“平安城市”、“科技強(qiáng)警”,、“全球眼”,、“寬視界”、“智慧小區(qū)”等重大工程項(xiàng)目的不斷推進(jìn),,以及亞運(yùn)會(huì),、世博會(huì)等重要國(guó)際活動(dòng)的開展,智能視頻監(jiān)控技術(shù)必然會(huì)加速發(fā)展,。只要智能化程度足夠高,、足夠可靠,其產(chǎn)品的市場(chǎng)前景會(huì)越來(lái)越好,。IVS是一個(gè)充滿技術(shù)瓶頸的產(chǎn)業(yè),,是一個(gè)充滿變數(shù)的產(chǎn)業(yè),但同時(shí)也是一個(gè)充滿憧憬的產(chǎn)業(yè),。
5 參考文獻(xiàn)
[1] TSAI???Luo Wei, HSIEH Jun Wei. Vehicle Detection Using Normalized Color and Edge Map[J]. IEEE Transactions on Image Processing, 2007, 16(3):850-864.
[2] AHMAD I, HE Z, LIAO M,et al. Special Issue on Video Surveillance[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2008, 18(8):1001-1005.
[3] NGHIEM A T, BREMOND F, THONNAT M, et al. ETISEO, Performance Evaluation for Video Surveillance Systems [C]// Proceedings of the IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS’07), Sep 5-7,2007,London,UK. 2007: 476-481.
[4] GELASCA E D, EBRAHIMI T. Application Dependent Video Segmentation Evaluation: A Case Study for Video Surveillance [C]// Proceeding of the 14th European Signal Processing Conference(EUSIPCO’06),Sep 4-8, 2006, Florence, Italy.2006.
[5] 李鵬飛, 陳朝武, 李曉峰. 智能視頻算法評(píng)估綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22 (2):352-360.
[6] 王素玉, 沈蘭蓀. 智能視覺監(jiān)控技術(shù)研究進(jìn)展[J]. 中國(guó)圖像圖形學(xué)報(bào), 2007, 9 (12):1506 -1510.
[7] LIN Weiyao,SUN Ming Ting, Poovendran r, et al. Group event detection for video surveillance[C]// Proceedings of International Symposium on Circuits and Systems (ISCAS’09), May 24-27, 2009, Taipei, China. New York,NY, USA:IEEE,2009: 2830-2833.
[8] MoSSgraber j, Reinert f, Vagts h. An Architecture for a Task-Oriented Surveillance System: A Service-and Event-Based Approach[C]// Proceedings of the 5th International Conference on Systems (ICONS’10),Apr 11-16,2010, Menuires, France. Piscataway, NJ,USA:IEEE,2010: 145-151.
朱秀昌,,南京郵電大學(xué)教授、博導(dǎo),、“圖像處理與圖像通信江蘇省重點(diǎn)實(shí)驗(yàn)室”主任,、電子學(xué)會(huì)廣播電視分會(huì)理事,、“中國(guó)多媒體通信”雜志編委;長(zhǎng)期從事圖像與多媒體通信方面的研究與教學(xué)工作,;曾獲國(guó)家政府特殊津貼,,國(guó)家科技進(jìn)步3等獎(jiǎng)和原郵電部科技進(jìn)步1等獎(jiǎng);編著出版了“數(shù)字圖像通信”等教材或著作9本,,發(fā)表專業(yè)技術(shù)論文60余篇,。