視頻壓縮標(biāo)準(zhǔn)及其發(fā)展

??? ITU-T于1989年發(fā)布了第一個視頻編碼標(biāo)準(zhǔn)H.261,，隨后陸續(xù)發(fā)布了H.263﹑H.263+﹑H.263++等視頻編碼標(biāo)準(zhǔn),。ISO的下屬運(yùn)動圖像專家組也發(fā)布了MPEG-1﹑MPEG-2﹑MPEG-4等數(shù)字電視壓縮編碼的國際標(biāo)準(zhǔn)。下面對這些標(biāo)準(zhǔn)進(jìn)行簡要介紹,。
????H.261標(biāo)準(zhǔn)主要應(yīng)用于ISDN網(wǎng)上的視頻會議,，是第一個采用現(xiàn)代編碼算法的通用視頻標(biāo)準(zhǔn)，為以后眾多標(biāo)準(zhǔn)提供了理論基礎(chǔ),。H.261編碼器的原理圖如圖1所示,。

?

??? H.261的輸入視頻格式主要支持CIF和QCIF,只有按幀的工作方式。對于一個編碼幀,，分成16×16的宏塊" title="宏塊">宏塊進(jìn)行處理,。對于每一個幀間編碼的宏塊，采用運(yùn)動估計" title="運(yùn)動估計">運(yùn)動估計，運(yùn)動估計范圍為（-15,，15）,，僅支持整像素運(yùn)動估計。對于幀內(nèi)編碼宏塊和對于幀間編碼宏塊的運(yùn)動位移誤差按8×8塊進(jìn)行DCT變換﹑量化﹑Z掃描和VLC編碼,。H.261采用兩種量化器,，對幀內(nèi)編碼的DCT直流系數(shù)用步長為8的均勻量化器進(jìn)行量化，其他系數(shù)采用帶死區(qū)的均勻量化器,，量化器步長可以從2～62選擇,。
??? H.261的碼流結(jié)構(gòu)采用分層結(jié)構(gòu)。從上到下依次是圖片層﹑塊組層﹑宏塊層和塊層,。采用塊組的目的是為了抵抗誤碼的傳播,，即當(dāng)一個塊組的數(shù)據(jù)丟失時并不影響下一個快組。宏塊層包括宏塊類型﹑運(yùn)動矢量和CBP碼等信息,。塊層包括具體的8×8塊DCT變換系數(shù),。
??? H.263是為了支持低速率傳輸而制定的標(biāo)準(zhǔn)，主要面向低碼率的視頻應(yīng)用,，可以支持在電話線上傳輸可視電話和會議電視,。由于公用電話網(wǎng)和無線網(wǎng)上的傳輸速率仍然有限，而且誤碼率較高,，因此提出了H.263+和H.263++,，以滿足高壓縮效率和強(qiáng)信道容錯能力的要求。它們在提高編碼效率的同時,，提高了碼流對有誤碼信道的容錯能力,。H.263標(biāo)準(zhǔn)提出了變塊運(yùn)動估計﹑多幀參考運(yùn)動補(bǔ)償?shù)认冗M(jìn)視頻壓縮技術(shù)，對日后提出的視頻編碼標(biāo)準(zhǔn)產(chǎn)生很大影響,。
??? MPEG-1是為滿足視頻存儲媒體的應(yīng)用而提出的視頻壓縮標(biāo)準(zhǔn),。在典型的MCPC框架基礎(chǔ)上應(yīng)用了半像素的雙向預(yù)測技術(shù)，與H.261相比具有更好的編碼質(zhì)量和更高的壓縮比,。
??? MPEG-2使用了場﹑幀聯(lián)合的編碼結(jié)構(gòu),，支持高質(zhì)量的音頻編碼和高分辨率圖像。提供從廣播級TV到HDTV的視頻編碼,，并提供多種可分級編碼模式,。目前在高清晰電視領(lǐng)域有廣泛的應(yīng)用。
??? MPEG-4于1999年正式成為國際標(biāo)準(zhǔn),。與以前的標(biāo)準(zhǔn)相比,，MPEG-4更加注重多媒體系統(tǒng)的交互性和靈活性。MPEG-4引入了基于對象﹑內(nèi)容的編碼技術(shù),，在理論上具有更高的壓縮效率,。但是對視頻對象進(jìn)行自動分割目前仍有較大困難，尚未實(shí)現(xiàn)真正的面向?qū)ο蟮木幋a技術(shù)。
??? H.264是ITU和ISO聯(lián)合制定的一個新的視頻編碼標(biāo)準(zhǔn),，于2003年在國際上正式頒布,。與以往的視頻編碼標(biāo)準(zhǔn)相比, H.264采用了很多新的技術(shù)，例如采用了7種不同的宏塊分割方法,從而形成7種不同的幀間預(yù)測模式,。H.264支持1/4像素精度的運(yùn)動矢量并采用樹狀結(jié)構(gòu)的運(yùn)動補(bǔ)償策略,，每個宏塊可進(jìn)行分割和亞分割。H.264還支持多參考幀模式,，即允許編碼器使用多于一幀的先前幀用于運(yùn)動估計,，以降低幀間預(yù)測誤差。此外H.264還引入了SI和SP圖像編碼類型,，以支持視頻流間切換。H.264還采用了幀內(nèi)預(yù)測編碼技術(shù)和4×4整數(shù)變換以及方塊濾波技術(shù)來提高壓縮比和圖像質(zhì)量,。
??? H.264的提出是視頻壓縮編碼領(lǐng)域的一個里程碑,，其優(yōu)越的壓縮性能必將在數(shù)字廣播電視﹑實(shí)時視頻通信﹑視頻流媒體傳遞等多個方面發(fā)揮重要作用。目前對H.264的研究與改進(jìn)成為視頻壓縮學(xué)術(shù)界廣泛研究的課題之一,。

視頻壓縮未來發(fā)展方向

基于小波" title="小波">小波變換的視頻壓縮編碼

??? 小波壓縮技術(shù)在消除DCT變換中所特有的方塊化效應(yīng)和飛蚊噪聲方面有良好的率失真品質(zhì),，所以基于小波的視頻壓縮研究一直在不斷進(jìn)行?；谛〔ǖ囊曨l編碼技術(shù)可以分為三類^[2][3]：(1)空間域運(yùn)動補(bǔ)償?shù)?a class="cblue" href="http://forexkbc.com/search/?q=小波變換" title="小波變換">小波變換(MC-DWT),；(2)小波域運(yùn)動補(bǔ)償(DWT-MC)；(3)具有或者不具有運(yùn)動估計的三維小波變換,。不同的運(yùn)動估計算法,、量化方案和熵編碼方法可應(yīng)用于這三類編碼技術(shù)的任何一類。
??? MC-DWT視頻編碼方案是在空間域進(jìn)行運(yùn)動估計和運(yùn)動補(bǔ)償來消除時間冗余,，對其誤差圖像以及幀內(nèi)圖像采用小波變換進(jìn)行編碼消除空間冗余,。與傳統(tǒng)的基于DCT的混合編碼的主要差別在于對補(bǔ)償幀差的處理，它用整域小波變換代替分塊DCT變換,。塊運(yùn)動補(bǔ)償技術(shù)影響視頻編碼性能,，與其他運(yùn)動補(bǔ)償技術(shù)相比，采用重疊塊運(yùn)動補(bǔ)償技術(shù)（OBMC）可以有效地消除方塊效應(yīng),，同時能夠降低補(bǔ)償幀差的能量,，提高運(yùn)動補(bǔ)償效率，改善視頻編碼器的性能,。因此近年來基于空域運(yùn)動補(bǔ)償?shù)幕旌闲〔ㄒ曨l編碼廣泛采用OBMC技術(shù),。
??? DWT-MC視頻編碼方案是先使用整域小波變換消除空間冗余，再通過小波域的運(yùn)動估計和運(yùn)動補(bǔ)償技術(shù)消除時間冗余,，最后對變換域的補(bǔ)償殘差進(jìn)行小波壓縮編碼,。由于小波分解內(nèi)在的多分辨結(jié)構(gòu)，在小波域內(nèi)很容易執(zhí)行多分辨運(yùn)動估計和運(yùn)動補(bǔ)償(MRMC)，同傳統(tǒng)的時域運(yùn)動估計相比可以節(jié)省大量的搜索匹配時間,。
??? 具有或者不具有運(yùn)動估計的三維小波變換編碼方案根據(jù)是否具有運(yùn)動估計可大致分為兩類：純?nèi)S小波變換（3DWC）和具有運(yùn)動補(bǔ)償?shù)娜S小波變換（MC-3DWC）,。對于不具有運(yùn)動估計的就是純粹的三維小波變換，由幀內(nèi)二維和幀間一維變換聯(lián)合實(shí)現(xiàn),，因此這兩部分實(shí)現(xiàn)的不同順序就構(gòu)成了兩種三維小波變換的實(shí)現(xiàn)方法,。第一種是先對各幀進(jìn)行幀內(nèi)二維小波變換，然后對變換后的結(jié)果進(jìn)行時間軸上的一維小波變換,；第二種方法則是先進(jìn)行時間軸上的一維小波變換,，然后再對變換后的各幀進(jìn)行二維小波變換。三維小波變換編碼算法中典型的有：Chang和Pearlman的3DEZW算法[4],，Kim和Pearlman的3DSPIHT算法[5]以及Vass和Chai等人的3DSLCCA算法^[6],。
??? 總體來看，目前小波視頻壓縮技術(shù)遠(yuǎn)不及小波圖像壓縮技術(shù)成熟,。小波視頻壓縮研究之所以滯后于小波圖像壓縮研究,，不僅因?yàn)樾〔ㄒ曨l研究的進(jìn)展有賴于小波圖像的研究和信號維數(shù)的提高，還由于視頻壓縮的應(yīng)用背景與圖像壓縮的應(yīng)用背景有很大的不同,。由于視頻應(yīng)用實(shí)時性的原因,，視頻壓縮算法要對壓縮算法的復(fù)雜度和壓縮效率作綜合考慮。實(shí)際上,，推動小波視頻壓縮研究不斷深入的主要技術(shù)因素有兩個,，一個是小波圖像壓縮技術(shù)研究，另一個是運(yùn)動補(bǔ)償技術(shù)研究,。另外,，不斷激增的商業(yè)需求也在不斷刺激小波視頻壓縮理論和應(yīng)用研究的不斷深入。

立體視頻編碼與多視點(diǎn)視頻編碼

??? 立體視頻編碼是視頻編碼發(fā)展方向之一,，它在平面信息外增加了深度的信息,，數(shù)據(jù)量非常龐大。
??? 立體視頻編碼也有兩種類型的方法：第一種是基于波形的,，它組合了運(yùn)動補(bǔ)償預(yù)測和位差補(bǔ)償預(yù)測,。所謂位差估計即在兩幅不同的圖像中尋找對應(yīng)的點(diǎn)，對預(yù)測殘差圖像﹑位差和運(yùn)動矢量進(jìn)行編碼,。第二種是基于物體的,，它直接對成像物的三維結(jié)構(gòu)和運(yùn)動進(jìn)行編碼，當(dāng)物體結(jié)構(gòu)簡單時,，可以獲得非常高的壓縮比,。
??? 多視角視頻是由一個場景的不同視角的二維平面視頻組成，除了每個視角視頻在時間和空間上存在冗余之外,，同一時間不同視角之間還存在冗余信息,。多視角視頻編碼預(yù)測結(jié)構(gòu)通常采用GoGOP預(yù)測結(jié)構(gòu),。在GoGOP預(yù)測結(jié)構(gòu)中，所有的GOP被分成兩類：基本GOP和增強(qiáng)GOP,?；綠OP中的圖像只能參考當(dāng)前GOP中的解碼圖像；而增強(qiáng)GOP中的圖像既可以參考當(dāng)前GOP中的解碼圖像,，也可以參考相鄰視角中GOP的解碼圖像,。這種預(yù)測結(jié)構(gòu)適用于低時延的隨機(jī)訪問，編碼效率也比較高,。
??? 目前,，針對立體視頻編碼，MPEG-2和H.264分別給出了參考方案,。JVT針對多視點(diǎn)視頻編碼,，提供了JMVM參考代碼^[7]。立體視頻編碼目前已經(jīng)有實(shí)際應(yīng)用,，多視點(diǎn)視頻編碼由于算法復(fù)雜度高,，目前還處于理論研究階段。

視頻壓縮硬件實(shí)現(xiàn)及最新發(fā)展

視頻壓縮的硬件實(shí)現(xiàn)

??? 視頻壓縮目前已經(jīng)在許多產(chǎn)品中得到應(yīng)用,，包括DVD、數(shù)字電視,、可視電話,、互聯(lián)網(wǎng)視頻、拍照手機(jī),、PDA和攝像機(jī)等,。不同的產(chǎn)品有不同的需求：幀的大小、幀速率,、視頻質(zhì)量,、位速率以及所采用的壓縮標(biāo)準(zhǔn)等各不相同。目前實(shí)際應(yīng)用中廣泛采用的是H.263和MPEG-4壓縮標(biāo)準(zhǔn),，本文分別對其典型實(shí)現(xiàn)方式進(jìn)行介紹,。

基于H.263協(xié)議的GD6829

??? GD6829是高度集成的單片視頻編解碼芯片。該芯片以純硬件設(shè)計方式實(shí)現(xiàn),，符合ITU-T H.263協(xié)議標(biāo)準(zhǔn),可支持高品質(zhì)的運(yùn)動圖像在Internet中實(shí)時傳輸^[9],。
??? 為了達(dá)到高質(zhì)量的視頻編碼和解碼，GD6829采用了許多先進(jìn)的技術(shù)及高性能的硬件,，采用專用的模塊實(shí)現(xiàn)運(yùn)動預(yù)測,、運(yùn)動補(bǔ)償、離散傅立葉變換（DCT）,、反離散傅立葉變換(IDCT),、量化,、反量化、Z-Z掃描,、變長編解碼（VLD）,、智能幀率控制等，外部采用2M×16bit的SDRAM,。目前GD6829支持圖像在4種格式下編解碼同步進(jìn)行： QCIF,、CIF、VGA和4CIF格式,，其中QCIF,、CIF格式下幀率可達(dá)100f/s，VGA,、4CIF格式下幀率可達(dá)25f/s,。GD6829的工作電壓使用3.3V，I/O口兼容3.3V和5.0V,，采用208引腳的PQFP封裝,。
??? 視頻輸入采用CCIR-601或CCIR-656 YUV(8-bit)4：2：2逐行/隔行輸入。支持QCIF（176×144）,、QVGA(320×240),、CIF（352×288）、VGA(640×480),、4CIF(704×576)和D1(720×576)等視頻分辨率格式,。幀速率支持1～25f/s（4CIF、VGA,、D1）或者1～100f/s（CIF,，QVGA）。
??? GD6829內(nèi)置PCI接口控制器,，通過外部處理器支持USB2.0傳輸,，支持8位/16位地址/數(shù)據(jù)的異步并行接口，通過外部處理器支持Ethernet輸出,。視頻緩存：2M×32bit或4M×16bit PC1000 SDRAM,。
??? 基于GD6829的視頻壓縮硬件設(shè)計框圖如圖2所示。

?

??? 視頻輸入可以使用數(shù)字CMOS攝像頭或NTSC/PAL視頻信號,，經(jīng)過一個視頻轉(zhuǎn)換器,，從8位或16位的數(shù)據(jù)總線上以YcbCr 4：2：2的格式送給GD6829，輸入的視頻數(shù)據(jù)轉(zhuǎn)換成QCIF,、QVGA,、CIF、4CIF或D1格式,，再采用H.263協(xié)議對視頻數(shù)據(jù)進(jìn)行壓縮,。處理過的視頻數(shù)據(jù)流經(jīng)網(wǎng)絡(luò)模塊處理后進(jìn)行傳輸,。

基于MPEG-4協(xié)議的IME6400

??? INTIME公司的MPEG-4編碼芯片IME6400是一款高性能的單片多通道MPEG-4數(shù)字壓縮編碼芯片，它支持多種編碼模式和比特率控制,，并提供了豐富的外圍硬件接口^[10],。芯片內(nèi)部帶有圖像壓縮硬核，外掛8MB SDRAM配合工作,。其外部HOST接口有四種模式,，由MODE引腳來決定。如果選用異步模式,，則IME6400對輸入的視頻音頻流進(jìn)行壓縮和復(fù)合,，產(chǎn)生MPEG-4的系統(tǒng)流，然后經(jīng)過輸出端口大小為1KB的FIFO緩沖進(jìn)行數(shù)據(jù)的輸出,。當(dāng)FIFO滿,，其GPIO0腳就產(chǎn)生一個下降沿的中斷通知主機(jī)讀取FIFO中的數(shù)據(jù)，主機(jī)通過讀IME6400 HOST端口的EncodedStream寄存器完成對數(shù)據(jù)的讀取,，外部主機(jī)通過寫一個不同的值到USER4寄存器來通知IME6400數(shù)據(jù)傳輸已完成,。其系統(tǒng)結(jié)構(gòu)圖如圖3所示。

?

??? 應(yīng)用IME6400硬件設(shè)計的MPEG-4壓縮和嵌入式系統(tǒng)可以使監(jiān)控系統(tǒng)的性能大大提高,，主要表現(xiàn)在：錄像和預(yù)覽同樣清晰的全動態(tài)碼率最大可控制在200MB/h,；壓縮速度更快，實(shí)時流播放時無滯后延遲,，最小延遲可以小于１s,；輸出視頻流的畫面可達(dá)720×480(30f/s)或720×576(25f/s)。

視頻壓縮的硬件實(shí)現(xiàn)發(fā)展趨勢

??? 視頻壓縮的硬件實(shí)現(xiàn)最初采用可編程DSP或現(xiàn)成芯片（ASSP）的方法,?？删幊藾SP的優(yōu)勢在于具有較好的適應(yīng)性,。當(dāng)有新的要求時,，可通過軟件設(shè)計進(jìn)行修改，然后再移植到DSP,。缺點(diǎn)在于執(zhí)行速度低于現(xiàn)成芯片?，F(xiàn)成芯片視頻處理速度高，但是適應(yīng)性差,，只支持單一的壓縮方式,，當(dāng)有新的要求時，要重新設(shè)計芯片,，時間開銷和花費(fèi)都較大,。
??? 目前，新的H.264壓縮技術(shù)逐漸成為主流,。像H.264這樣的高復(fù)雜度并且不斷改進(jìn)的視頻壓縮算法,，采用單純的DSP或者設(shè)計專用芯片實(shí)現(xiàn)起來都十分困難,。較為有效的方法是采用DSP+FPGA實(shí)現(xiàn)。如圖4所示,。

?

?

??? 其中DSP用于幀內(nèi)預(yù)測﹑變換﹑量化﹑碼率控制和反量化等操作,。這些操作易于編程實(shí)現(xiàn)，并且可編程DSP還提供了優(yōu)化策略,。視頻壓縮中最耗時的運(yùn)動估計和運(yùn)動補(bǔ)償以及最終的熵編碼通過設(shè)計FPGA來實(shí)現(xiàn),，提高壓縮編碼速度。通過DSP+FPGA,，可實(shí)現(xiàn)復(fù)雜的編碼操作,，并具有良好的實(shí)時性，在實(shí)際中得到廣泛應(yīng)用,。

視頻處理新技術(shù)：達(dá)芬奇技術(shù)

??? 盡管視頻壓縮在實(shí)際中有廣泛的應(yīng)用前景,，但對開發(fā)人員而言是一項(xiàng)艱巨的任務(wù)。因?yàn)閷?shí)施數(shù)字視頻是極其復(fù)雜的過程,。在著手開發(fā)算法之前,，開發(fā)人員必須先弄懂不斷修改的多媒體標(biāo)準(zhǔn)。不僅如此,，現(xiàn)有的數(shù)字視頻實(shí)施往往涉及特定平臺,，而且開發(fā)人員必須在手工代碼調(diào)試方面進(jìn)行大量投入。近期TI公司推出的達(dá)芬奇技術(shù)使開發(fā)人員能夠在無需任何DSP代碼編程的情況下也能為應(yīng)用引入數(shù)字視頻功能,。
??? 達(dá)芬奇技術(shù)充分利用了數(shù)字信號處理與集成電路專業(yè)技術(shù)來提供片上系統(tǒng)(SoC),，這種系統(tǒng)針對靈活的數(shù)字視頻應(yīng)用而進(jìn)行了精心優(yōu)化，擁有先進(jìn)的性能并集成了可編程數(shù)字信號處理器(DSP)內(nèi)核,、ARM處理器以及視頻加速協(xié)處理器,。憑借高效的處理能力、存儲器,、I/O 帶寬,、平衡的內(nèi)部互連以及專用外設(shè)組合，基于達(dá)芬奇技術(shù)的SoC能夠以最低的成本為視頻應(yīng)用提供理想的核心動力,。
????目前,，TI公司提供的最新基于達(dá)芬奇技術(shù)的多媒體芯片TMS320C6455，具有2MB的L2內(nèi)存,，工作頻率1GHz,，是目前較先進(jìn)的視頻圖像多媒體器件?；赥MS320C6455的高速視頻編解碼架構(gòu)如圖5所示,。

?