??? 視覺是人類最重要的感覺,也是人類獲取信息的主要來源,。據(jù)統(tǒng)計,,人類從外界獲取的信息中,,75%來自視覺,。與其他的信息形式相比,,視頻信息具有直觀,、具體,、生動等諸多顯著優(yōu)點,并且所包含的信息量很大,?!鞍俾劜蝗缫灰姟薄ⅰ耙粓D值千言”等成語都說明了這一特點,。因此,,各種視頻信號處理" title="信號處理">信號處理技術(shù)的研究和應(yīng)用一直吸引著國內(nèi)外廣大科技人員的關(guān)注。20世紀(jì)90年代,,計算機(jī)技術(shù),、信息技術(shù)、網(wǎng)絡(luò)技術(shù)以及其他各種相關(guān)技術(shù)的發(fā)展,,進(jìn)入了信息的數(shù)字化時代,。在這階段,,視頻信號處理技術(shù)得到了快速發(fā)展,特別是視頻,、音頻和多媒體通信等方面的國際標(biāo)準(zhǔn)不斷推出,,有力促進(jìn)了視頻信號處理技術(shù)逐步進(jìn)入實用化階段,如視頻會議,、可視電話,、數(shù)字電視等應(yīng)用的出現(xiàn)。以視頻信息處理為主的多媒體技術(shù)已經(jīng)成為21世紀(jì)最具有時代特征和最富有活力的研究和應(yīng)用領(lǐng)域之一,。
?
??? 視頻信號處理主要包括視頻信號的采集、處理,、編碼和傳輸,,近年來的研究熱點主要集中在視頻信號的高效壓縮編碼、智能視頻處理,、三維立體視頻信號的高效傳輸與重建等,。本文首先介紹視頻信號處理的相關(guān)概念和視頻信號處理技術(shù)面臨的挑戰(zhàn)等問題;然后介紹多媒體應(yīng)用中視頻信號處理的發(fā)展情況和各種視頻信號處理技術(shù)的實現(xiàn)思路,,并且進(jìn)行對比分析,;最后介紹嵌入式多媒體應(yīng)用技術(shù)中視頻信號處理的技術(shù)方案和應(yīng)用案例。
?
1. 視頻信號處理的相關(guān)概念
?
??? 視頻是一組在時間軸上有序排列的圖像,,是二維圖像在一維時間軸上構(gòu)成的圖像序列,,又稱為動態(tài)圖像。它不僅包含靜止圖像所包含的內(nèi)容,,還包含場景中目標(biāo)運動信息和客觀世界隨時間變化的信息,。早期的視頻主要是模擬的視頻信號,隨著各種電子技術(shù)的發(fā)展以及全球數(shù)字化進(jìn)程的推進(jìn),,數(shù)字化技術(shù)以其以存儲,、易傳輸、無誤碼積累等特點大大促進(jìn)了圖像和視頻的發(fā)展和應(yīng)用,。
?
??? 模擬視頻信號由視頻模擬數(shù)據(jù)和視頻同步數(shù)據(jù)構(gòu)成,,用于監(jiān)視器正確地顯示圖像,圖像的細(xì)節(jié)取決于應(yīng)用的視頻標(biāo)準(zhǔn)" title="視頻標(biāo)準(zhǔn)">視頻標(biāo)準(zhǔn)或制式,。模擬視頻主要有三種制式:NTSC(National Television Standards Committee),、PAL(Phase Alternation Line)和SECAM(Sequential Colour Avec Memoire )等,這三種制式皆屬兼容制,,其共同點是都采
用能與黑白電視兼容的亮度信號和兩個色差信號作為傳輸信號,,其不同點是兩個色差信號對副載波采用不同的調(diào)制方式。三種視頻制式的主要參數(shù)如表1所示,。
?
表1 三種模擬視頻制式的主要參數(shù)
模擬視頻制式 |
NTSC-M |
PAL-D |
SECAM |
頻率(Hz) |
30 |
25 |
25 |
行/幀 |
525 |
625 |
625 |
亮度帶寬(MHz) |
4.2 |
6.0 |
6.0 |
彩色副載波(MHz) |
3.58 |
4.43 |
4.25 |
色度帶寬(MHz) |
1.3(I),,0.6(Q) |
1.3(U),,1.3(V) |
>1.0(U),>1.0(V) |
聲音載波(MHz) |
4.5 |
6.5 |
6.5 |
?
??? 為了在不同的應(yīng)用和產(chǎn)品之間交換數(shù)字視頻,,就需要數(shù)字視頻格式標(biāo)準(zhǔn),。為了便于國際節(jié)目交換以及PAL制系統(tǒng)與NTSC制系統(tǒng)之間兼容,這就導(dǎo)致了通用數(shù)字視頻標(biāo)準(zhǔn)的出現(xiàn),。通用數(shù)字視頻標(biāo)準(zhǔn)主要包括國際無線電通信咨詢委員會(CCIR)所制定的數(shù)字分量視頻標(biāo)準(zhǔn)CCIR-601及CCIR-656,。CCIR-601定義了對應(yīng)于525行和625行電視系統(tǒng)的電視演播的數(shù)字視頻標(biāo)準(zhǔn),建立在帶有一個亮度(Y)和兩個色差(Cr和Cb)信號的分量視頻的基礎(chǔ)上,,在525行和625行系統(tǒng)中,,采樣頻率均選擇水平掃描頻率的整數(shù)倍。CCIR-656是在CCIR-601的基礎(chǔ)上發(fā)展的一種新數(shù)字視頻標(biāo)準(zhǔn),,使用27MH的時鐘對視頻信號進(jìn)行采樣,,其中亮度(Y)信號采樣頻率為13.5MHz,色差(U和V)采樣頻率為6.75MHz,,量化比特為8或10bit,。由于CCIR-656視頻數(shù)據(jù)" title="視頻數(shù)據(jù)">視頻數(shù)據(jù)流采用8根信號線(傳統(tǒng)方式需要19根信號線)就可以傳輸所有的圖像信息和行同步、場同步,、偶同步信息,,因此采用CCIR-656方式進(jìn)行接口設(shè)計時,便于實時數(shù)字圖像處理硬件平臺以功能單元為單位進(jìn)行模塊化設(shè)計,。
?
2. 嵌入式視頻信號處理技術(shù)面臨的挑戰(zhàn)
?
2.1 視頻信號傳輸?shù)膸捫枨?/B>
?
???? 視頻信號數(shù)字化后的數(shù)據(jù)量非常龐大,,如一路PAL制的數(shù)字電視的數(shù)據(jù)速率高達(dá)216Mbit/s,這無疑給存儲器的存儲容量,、通信線路的信道傳輸率以及計算機(jī)的計算速度都帶來了極大的壓力,。同時,這也是制約多媒體技術(shù)發(fā)展的一個瓶頸問題,。解決這一問題,,單純通過擴(kuò)大存儲器容量、增加通信線路的傳輸率是不現(xiàn)實的,,因此需要對視頻數(shù)據(jù)進(jìn)行壓縮編碼,,近年來,國際標(biāo)準(zhǔn)化組織ISO,、國際電工委員會IEC,、國際電信聯(lián)盟ITU-T以及中國音視頻編碼標(biāo)準(zhǔn)化工作組相繼制定了一系列數(shù)字視頻圖像編碼的國際標(biāo)準(zhǔn)。
?
2.2 視頻信號處理對計算能力的需求
?
??? 在嵌入式應(yīng)用中,,視頻信號處理主要包括視頻編碼應(yīng)用等,,新一代視頻編碼標(biāo)準(zhǔn)H.264以實現(xiàn)視頻的高壓縮比、高圖像質(zhì)量、良好的網(wǎng)絡(luò)適應(yīng)性等優(yōu)點,,被廣大視頻應(yīng)用產(chǎn)業(yè)接納,。相對于傳統(tǒng)視頻標(biāo)準(zhǔn)MPEG-2、MPEG-4而言,,其在碼率壓縮效率上具有無可比擬的優(yōu)勢,,在相同畫面質(zhì)量的情況下,H.264需要的帶寬只有MPEG-4的1/2,、MPEG-2的1/8,。但是,H.264 算法非常復(fù)雜,,其編解碼" title="編解碼">編解碼的實時性難以保證,,通常只能實現(xiàn)對中低分辯率視頻的實時編碼。
?
2.3 視頻信號處理對能量的需求
?
??? 作為便攜式系統(tǒng)的移動視頻終端,,通常使用電池進(jìn)行供電,,其供能系統(tǒng)的容量受到很大的限制。因為視頻業(yè)務(wù)的處理算法相對復(fù)雜,,并且用戶在享受業(yè)務(wù)時需要長時間開啟終端屏幕,,所以必然會消耗大量的能量,。這一矛盾大大制約了移動視頻通信業(yè)務(wù)的發(fā)展,,因而需要設(shè)計低能耗的視頻信號處理算法,減少視頻終端的能量消耗,。
?
2.4 視頻數(shù)據(jù)的傳輸質(zhì)量的要求
?
??? 隨著無線網(wǎng)絡(luò)的飛速發(fā)展,,無線視頻應(yīng)用越來越普及。但是由于無線信道受多徑影響,,具有誤碼率高,,時變性強(qiáng),而實時視頻在無線網(wǎng)絡(luò)傳輸中容易受誤碼,、抖動等影響,,直接導(dǎo)致終端數(shù)據(jù)流信息無法完整回放,因此如何保證視頻傳輸服務(wù)質(zhì)量顯得異常重要,。
?
3. 多媒體應(yīng)用中視頻信號處理技術(shù)的發(fā)展情況
?
3.1 視頻壓縮編碼技術(shù)
?
??? 視頻壓縮編碼技術(shù)作為視頻信號處理的核心技術(shù)之一,,理論和應(yīng)用領(lǐng)域都致力于該技術(shù)的研究,并且制定了一系列國際標(biāo)準(zhǔn),。目前影響最大并被廣泛應(yīng)用的是ISO的MPEG系列,、ITU-T的H.26x系列和中國自主制定的AVS系列標(biāo)準(zhǔn)(參見圖1)。
?
??? H.261是首個獲得廣泛應(yīng)用的視頻編碼標(biāo)準(zhǔn),,它是為在ISDN上開展可視電話,、視頻會議而制定的,速率為64kbit/s的整數(shù)倍(也稱p×64標(biāo)準(zhǔn))。MPEG-1在H.261編碼算法的基礎(chǔ)上改進(jìn),,主要增加了B幀(雙向預(yù)測幀)和GOP(圖組),,這些改進(jìn)取得了更高的壓縮比,MPEG-1標(biāo)準(zhǔn)是VCD工業(yè)標(biāo)準(zhǔn)的核心,。MPEG-2標(biāo)準(zhǔn)擴(kuò)展了MPEG-1標(biāo)準(zhǔn),,能夠支持高分辨率圖象,目標(biāo)碼率是在3~15Mb/s傳輸速率條件下提供廣播級的圖像,。MPEG-2是工業(yè)標(biāo)準(zhǔn)DVD的核心標(biāo)準(zhǔn),,是MPEG-1的一個超集。H.263是針對甚低碼率(低于64kbps)視頻會議和可視電話的窄帶信道視頻編碼建議,。MPEG-4標(biāo)準(zhǔn)是針對數(shù)字電視,、交互式繪圖應(yīng)用、交互式多媒體等整合及壓縮技術(shù)的需求而制定的國際標(biāo)準(zhǔn),,MPEG-4既能夠支持碼率低于64kbit/s的視頻應(yīng)用,,也能夠支持廣播級的視頻應(yīng)用。H.264/AVC標(biāo)準(zhǔn)是目前由ITU-T的視頻編碼專家組及ISO/IEC的活動圖像專家組共同大力發(fā)展研究的,、適應(yīng)于低碼率傳輸?shù)男乱淮鷫嚎s視頻標(biāo)準(zhǔn),。與原先的視頻編碼標(biāo)準(zhǔn)相比,H.264/AVC具有更高的編碼效率,,在相同的重建圖象質(zhì)量下,,能夠比H.263節(jié)約50%左右的碼率。
圖1 視頻編碼標(biāo)準(zhǔn)系列
?
??? AVS視頻編碼標(biāo)準(zhǔn)是由中國“數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組”自主制定的,,相比于第一代標(biāo)準(zhǔn)MPEG-2,,編碼效率提高2~3倍,并且實現(xiàn)方案簡潔,,AVS視頻標(biāo)準(zhǔn)可以廣泛的應(yīng)用于IPTV,、數(shù)字電視廣播等。AVS與MPEG-4/H.264采用的技術(shù)方案比較如下表2,。
?
表2 AVS與MPEG-4標(biāo)準(zhǔn)的對比
技術(shù)模塊 |
AVS |
MPEG4 AVC/H.264 |
復(fù)雜性分析 |
幀內(nèi)預(yù)測 |
基于8*8塊,,5種亮度預(yù)測模塊,4種色度預(yù)測模塊 |
基于4*4塊,,9種亮度預(yù)測模塊,,4種色度預(yù)測模塊 |
降低約50% |
多參考幀預(yù)測 |
最多2幀 |
最多16幀,緩沖區(qū)管理復(fù)雜 |
存儲節(jié)省50%以上 |
變塊大小運動補(bǔ)償 |
16*16,、16*8,、8*16、8*8塊運動搜索 |
16*16,、16*8,、8*16,、8*8、8*4,、4*8,、4*4塊運動搜索 |
節(jié)省30%-40% |
B幀宏塊堆成模式 |
只搜索前向運動矢量 |
雙向搜索 |
最大降低50% |
1/4像素運動補(bǔ)償 |
1/2像素位置采用4拍濾波,1/4像素位置4拍濾波,、線性插值 |
1/2像素位置采用6拍濾波,,1/4像素位置線性插值 |
對存儲器的訪問量降低1/3 |
變換與量化 |
解碼端歸一化在編碼端完成 |
編解碼端都進(jìn)行歸一化 |
降低解碼復(fù)雜性 |
熵編碼 |
上下文自適應(yīng)2D-VLC和Exp-Golomb碼,降低計算及存儲復(fù)雜性 |
CAVLC:與周圍塊相關(guān)性高,,實現(xiàn)較復(fù)雜,;CABAC:硬件實現(xiàn)特別復(fù)雜 |
相比CABAC降低30%以上 |
環(huán)路濾波 |
基于8*8塊邊緣進(jìn)行,簡單的濾波強(qiáng)度分類,,濾波較少的像素 |
基于4*4塊邊緣進(jìn)行,,濾波強(qiáng)度分類繁多,濾波邊緣多 |
降低50%以上 |
Interlace編碼 |
PAFF幀級幀場自適應(yīng) |
MBAFF宏塊級幀場自適應(yīng) |
降低30%以上 |
容錯編碼 |
簡單的條帶組織機(jī)制,,滿足廣播中的錯誤隱藏和恢復(fù)需要 |
數(shù)據(jù)分割,,復(fù)雜的FMO/ASO等宏塊,條帶組織機(jī)制強(qiáng)制Intra塊刷新編碼,、約束性幀內(nèi)預(yù)測 |
大大降低 |
?
3.2 交互式三維視頻
?
??? 交互式三維視頻" title="三維視頻">三維視頻是近年來興起的一種新型媒體,,在傳統(tǒng)的二維視頻的基礎(chǔ)上,它增加了視覺的現(xiàn)實感和逼真感,,用戶在欣賞節(jié)目的同時,,能夠自由的選擇視點與視角,交互性是這種媒體的重要特征,。根據(jù)不用的應(yīng)用場景,,交互式三維視頻主要分為:交互式全方位視頻,、交互式立體視頻,、交互式多視角視頻等幾種類型。
?
(1)交互式全方位視頻
?
??? 交互式全方位視頻(interactive omnidirectional video)也被稱為沉浸式視頻(immersive video),,觀察者視點不變,,改變觀察方向能夠觀察到周圍的全部場景,普通的二維視頻只反應(yīng)了全方位視頻的某個局部,,難以使人產(chǎn)生身臨其境的沉浸感,,利用全方位視頻可以建立起供用戶觀察的虛擬環(huán)境,用戶通過在其中的漫游,,能夠交互地從不同觀察點和方向了解環(huán)境,。全方位視頻攝像機(jī)的示意圖如圖2所示,由多個攝像機(jī)對同一視點周圍的場景進(jìn)行采集處理,,任何一個視角的二維場景都可以由這些采集的圖像繪制出來,。全方位視頻可以應(yīng)用于廣播,、存儲和交互式的在線應(yīng)用等。
?
?? 圖2 全方位視頻攝像機(jī)示意圖??? ?? 圖3 立體視頻攝像機(jī)示意圖????? ?圖4 多視角視頻攝像機(jī)示意圖
?
(2)交互式立體視頻
?
??? 交互式立體視頻利用人眼的雙目視差原理,,雙目各自獨立地接收來自同一場景,、特定攝像點的左右圖像,從而獲得具有深度感的立體圖像,。立體視頻由于能獲得景物的深度信息而具有強(qiáng)烈的真實感和逼真度,。立體視頻的采集設(shè)備如圖3所示,攝像頭并行排列在一條直線上,,模擬在水平位置上分開的人眼,,為了能夠使觀察者體驗到視角的變化,有時需要多個攝像機(jī)同時采集多個不同位置的圖像,。
?
(3)交互式多視角視頻
?
??? 交互式多視角視頻也被稱為任意視角視頻(free viewpoint video),,用戶可以從不同的視點以任意的視角進(jìn)行觀察,中間視角的視頻圖像可以根據(jù)左右兩個視角的原始視頻圖像來插值生成,,它是交互式視頻更一般的定義,,上述的交互式全方位視頻和交互式立體視頻都是交互式多視角視頻的一個特例。這種視頻數(shù)據(jù)的采集設(shè)備如圖4所示,,除了采集視頻信號之外,,還可能需要攝像機(jī)的校正參數(shù)(包括一些內(nèi)置參數(shù)和外置參數(shù))、場景的幾何信息等,,當(dāng)然這些參數(shù)和幾何信息也可以用合適的算法從采集的圖像中估計出來,。
?
??? 隨著交互式三維視頻采集和繪制技術(shù)的發(fā)展,編碼技術(shù)也就成為推廣交互式三維視頻應(yīng)用的一個關(guān)鍵因素,,與普通的二維視頻相比,,三維視頻要處理的數(shù)據(jù)量非常大,所以必須充分利用空間,、時間和視角之間的信息冗余,,采用運動補(bǔ)償預(yù)測、視差補(bǔ)償預(yù)測技術(shù),,對三維視頻進(jìn)行有效的存儲和傳輸,。
?
3.3 智能視頻技術(shù)
?
?? 智能視頻技術(shù)是計算機(jī)視覺和模式識別技術(shù)在視頻中的應(yīng)用,它對視頻圖像中的目標(biāo)進(jìn)行自動的檢測,、跟蹤和分析,,從而過濾掉用戶不關(guān)心的信息,通過分析理解視頻畫面中的內(nèi)容,,提供有用的關(guān)鍵信息,。其中運動目標(biāo)檢測、運動目標(biāo)分類和運動目標(biāo)跟蹤是智能視頻處理中的低級和中級處理部分,,而行為理解和描述則屬于高級處理部分,。
?
(1)運動目標(biāo)檢測
?
??? 運動目標(biāo)檢測是從視頻序列中將變化區(qū)域從背景圖像中提取出來,。運動區(qū)域的有效分割對于目標(biāo)分類、跟蹤和行為理解等后期處理是非常重要的,,因為以后的處理過程僅僅考慮圖像中對應(yīng)于運動區(qū)域的像素,。然而,由于背景動態(tài)變化,,如天氣,、光照、影子及混亂干擾等的影響,,使得運動檢測成為一項相當(dāng)困難的工作,。目前幾種常用的方法有:背景減除、時間差分,、光流,、擴(kuò)展的EM算法、能量運動檢測,、基于數(shù)學(xué)形態(tài)學(xué)的場景變化檢測等,。
?
(2)運動目標(biāo)分類
?
??? 目標(biāo)分類是識別運動目標(biāo)所屬的類別,不同的運動區(qū)域可能對應(yīng)于不同的運動目標(biāo),,比如交通道路上監(jiān)控攝像機(jī)所捕捉的視頻序列中可能包含行人,、車輛及其他諸如飛鳥、流云,、搖動的樹枝等運動物體,,為了便于進(jìn)一步對行人進(jìn)行跟蹤和行為分析,運動目標(biāo)的正確分類是完全必要的,。目前的分類方法主要有:基于形狀信息的分類,、基于運動特征的分類以及時間共生矩陣進(jìn)行分層分類的方法等。
?
(3)運動目標(biāo)跟蹤
?
??? 對目標(biāo)進(jìn)行分類和分割之后,,在連續(xù)視頻幀中將相同的目標(biāo)對應(yīng)起來,,實現(xiàn)目標(biāo)的連續(xù)跟蹤。人體的跟蹤有兩層含義,,一是在二維圖像坐標(biāo)系下的跟蹤,,二是在三維空間坐標(biāo)系下的跟蹤,。前者的實質(zhì)是指在二維圖像中,,建立運動區(qū)域和運動人體(或人體的某部分)的對應(yīng)關(guān)系,并在一個連續(xù)的視頻序列中維持這個對應(yīng)關(guān)系,。從運動檢測得到的一般是人的投影,,要進(jìn)行跟蹤就首先要給需要跟蹤的對象建立一個模型。對象模型可以是整個人體,,這時候形狀,、顏色,、位置、速度,、步態(tài)等等都是可以利用的信息,;也可以是人體的一部分如上臂、頭部或手掌等,,這時需要對這些部分單獨進(jìn)行建模,。之后,將運動檢測到的投影匹配到這個模型上去,。一旦匹配工作完成,,那么就得到了最終有用的人體的信息了。常用的數(shù)學(xué)工具有卡爾曼濾波(Kalman Filtering),、Condensation算法及動態(tài)貝葉斯網(wǎng)絡(luò)等,。
?
(4)行為理解與描述
?
?? 行為理解與描述是近年來被廣泛關(guān)注的研究熱點。它是指對運動模式進(jìn)行分析和識別,、并用自然語言等加以描述,。行為理解可以簡單的被認(rèn)為是時變數(shù)據(jù)的分類問題,即將測試序列與預(yù)先標(biāo)定的代表典型行為的參考序列進(jìn)行匹配,。行為理解的關(guān)鍵問題是如何從樣本學(xué)習(xí)中獲取行為序列,,并且學(xué)習(xí)和匹配行為序列能夠處理在相似的運動模式類別中空間和時間尺度上輕微的特征變化。對于人的行為識別而言,,目前主要有模板匹配方法與狀態(tài)空間方法,。采用模板匹配技術(shù)的行為識別方法首先將圖像序列轉(zhuǎn)換為一組靜態(tài)形狀模式,然后在識別過程中與預(yù)先存儲的行為標(biāo)本相比較,?;跔顟B(tài)空間模型方法是定義每個靜態(tài)姿勢作為一個狀態(tài),這些狀態(tài)之間通過某種概率聯(lián)系起來,。任何運動序列可以看作為這些靜態(tài)姿勢的不同狀態(tài)之間的一次遍歷過程,,在這些遍歷期間計算聯(lián)合概率,其最大值被選擇作為分類行為的標(biāo)準(zhǔn),。目前,,狀態(tài)空間模型已經(jīng)被廣泛地應(yīng)用于時間序列的預(yù)測、估計和檢測,。
總之,,智能化是視頻應(yīng)用發(fā)展的必然趨勢,國際上很多科研機(jī)構(gòu)對技術(shù)研發(fā)和應(yīng)用部署已有多年,,特別是“911”事件之后,,出于反恐、國家公共安全和社會安定等多方面的需要,,智能化視頻監(jiān)控和預(yù)警技術(shù)已經(jīng)成為國際上最被關(guān)注的前沿研究領(lǐng)域,。
?
4. 應(yīng)用案例
?
(1)智能視頻監(jiān)控
?
??? 視頻監(jiān)控系統(tǒng)是安全防范系統(tǒng)的組成部分,,它是一種防范能力較強(qiáng)的綜合系統(tǒng)。視頻監(jiān)控以其直觀,、方便,、信息內(nèi)容豐富而廣泛應(yīng)用于許多場合。近年來,,隨著計算機(jī),、網(wǎng)絡(luò)以及圖像處理、傳輸技術(shù)的飛速發(fā)展,,視頻監(jiān)控制技術(shù)也有長足的發(fā)展,。同時,隨著智能技術(shù)特別是模式識別技術(shù)在理論和實踐上的逐漸成熟,,將機(jī)器智能概念引入常規(guī)視頻監(jiān)控系統(tǒng)成為該領(lǐng)域的重要突破點,。
?
??? 我們設(shè)計的智能視頻監(jiān)控系統(tǒng)采用ARM微處理器為主控芯片,同時以TI TMS320C642為視頻處理的協(xié)處理器,,充分發(fā)揮了ARM的控制優(yōu)勢和DSP的信號處理優(yōu)勢,。原理圖如下(5)所示。DM642主要負(fù)責(zé)視頻數(shù)據(jù)的采集,、編碼和智能分析,,通過HPI和ARM進(jìn)行通訊,ARM可以通過網(wǎng)絡(luò)與監(jiān)控中心進(jìn)行相連,,同時也可以進(jìn)行對視頻數(shù)據(jù)存盤處理,。
圖5 智能視頻監(jiān)控系統(tǒng)
?
(2)嵌入式WEB視頻服務(wù)器
?
??? 嵌入式WEB視頻服務(wù)器利用MPEG-4專用芯片采集壓縮視頻信號,經(jīng)過服務(wù)器網(wǎng)絡(luò)接口傳送到監(jiān)控中心,,服務(wù)器同時可以接收監(jiān)控中心發(fā)送的控制信號,。視頻服務(wù)器硬件結(jié)構(gòu)如圖(6)所示。服務(wù)器上電后,,系統(tǒng)被加載到與ARM相連的SDRAM中運行,,ARM通過串口控制云臺,轉(zhuǎn)動攝像機(jī)獲取視頻信號,,經(jīng)過SAA7114采樣芯片實現(xiàn)A/D轉(zhuǎn)換,,轉(zhuǎn)換后的數(shù)字視頻數(shù)據(jù)傳給視頻壓縮芯片,完成視頻壓縮,,壓縮后的數(shù)據(jù)緩存在一個FIFO中,,當(dāng)FIFO達(dá)到一定的數(shù)據(jù)量時,觸發(fā)ARM中斷,,由處理器的中斷服務(wù)子程序獲取該數(shù)據(jù)并存放于系統(tǒng)緩沖區(qū)中,,等待發(fā)送程序讀取。當(dāng)服務(wù)器監(jiān)聽到監(jiān)控端的視頻請求時,,服務(wù)器將視頻數(shù)據(jù)打包并以流媒體的形式傳輸?shù)奖O(jiān)控端上去,。
?
圖6 嵌入式WEB視頻服務(wù)器
?
(3)基于SIP協(xié)議的可視電話終端
?
??? 可視電話終端由于使用方便、安裝方便等優(yōu)點,,是目前國內(nèi)外的研究熱點,。實現(xiàn)方案也有很多種,如采用DSP,、ARM或者專用的會議電視芯片等,。我們采用的方案是:使用TI公司的通用DSO芯片TMS320DM642,利用純軟件方式實現(xiàn)音視頻編解碼,,用三星公司的ARM9芯片S3C2410實現(xiàn)各種接口,,嵌入式操作系統(tǒng)和傳輸控制協(xié)議等。這樣即不存在芯片成本過高的問題,,又能保證很高的性能,,可以通過簡單的程序下載實現(xiàn)軟件升級或者增加新的編解碼標(biāo)準(zhǔn)。系統(tǒng)的硬件結(jié)構(gòu)框架如圖7所示,。其中,,TMS320DM643完成音頻壓縮編解碼G.711/G.729/G.723.1和視頻壓縮編解碼H.264,S3C2410完成SIP協(xié)議和嵌入式OS及各種接口,。
圖7基于SIP協(xié)議的可視電話終端
?
參考文獻(xiàn)
?
[1] Yao Wang, Jorn Ostermann, Ya-Qin Zhang, Video Processing and Communications[M], New Jersey: Pearson Education, 2003
[2] Sadka A.H, Compressed Video Communication[M], Hoboken:Wiley,2002
[3] 沈蘭蓀,,卓力著,小波編碼與網(wǎng)絡(luò)視頻傳輸,,北京,,科學(xué)出版社[M],2005.4
[4] 畢厚杰主編,,新一代視頻壓縮編碼標(biāo)準(zhǔn)-H.264/AVC[M],,北京,人民郵電出版社,,2005.5
[5] 智能視覺監(jiān)控技術(shù)的研究,,http://www.zhi-leng.com.cn/Html/2007-04-08/7121.shtml.
[6] 王亮,人運動的視覺分析綜述,,計算機(jī)學(xué)報,,2002, 3, 3-16
[7] Millan Sonka, Vaclav Hlavac, Roger Boyle著,艾海舟,,武勃等譯,,圖象處理分析與機(jī)器視覺,第二版,,北京:人民郵電出版社,。