引　言

多媒體技術(shù)實用化的關(guān)鍵技術(shù)之一,就是解決視頻、音頻數(shù)字化以后數(shù)據(jù)量大,與數(shù)字存儲媒體,、通信網(wǎng)容量小的矛盾,其解決途徑就是壓縮,。

為了支持低比特率視頻傳輸業(yè)務(wù),MPEG(Moving Picture Expert s Group) 推出了MPEG 4 標(biāo)準(zhǔn)。于1999 年正式成為國際標(biāo)準(zhǔn)的MPEG 4 是一個適合于低傳輸率的視頻,、音頻解決方案,更注重于多媒體系統(tǒng)的交互性和靈活性,。MPEG 4 視頻壓縮標(biāo)準(zhǔn)提供了一種高度靈活、基于“內(nèi)容”的編碼方法,解碼端可以“按需解碼”,還可以添加對象和信息,。這種靈活性使得MPEG 4 具有高效的編碼效率,、基于內(nèi)容的可擴展性以及在易受干擾環(huán)境下的魯棒性。MPEG 4 的這些特性使得它十分適合于存儲容量有限的手持終端設(shè)備,。但是MPEG 4 視頻解碼中涉及的反量化( Inverse Quantization , IQ) ,、反離散余弦變換( Inver se Discrete Cosine Transform , IDCT) ,運動補償(Motion Composition , MC) 等技術(shù)均是典型的計算密集型變換,對于本身處理能力有限,功耗受限的手持終端設(shè)備而言,視頻解碼的實時性是一個很大的挑戰(zhàn)。

本系統(tǒng)在Nios II 和FPGA 構(gòu)成的SOPC 平臺上,使用NiosII 的用戶自定義指令以硬件邏輯方式實現(xiàn)MPEG4 解碼中的IQ、IDCT,、MC 等計算復(fù)雜,、高度耗時的功能模塊,極大地提高解碼速度。從而在以GPL 協(xié)議發(fā)布的XviD Codec 基礎(chǔ)上,實現(xiàn)Simple Profile 視覺框架下,L1 級,、QCIF(177 ×144 分辨率) ,、25 fps 的MPEG 4 實時解碼,并通過DMA 方式在LCD 上加以顯示。

系統(tǒng)功能描述

本系統(tǒng)從功能上可以分為視頻文件存取,、視頻解碼器,、YUV2RGB 變換器和LCD 控制模塊4 個部分。

視頻文件存取
要進行視頻文件的播放,首先需要對視頻文件進行方便地存儲和讀取,。系統(tǒng)播放的MP4 文件由XviD Codec在PC 上對4 ∶2 ∶0 的YUV 文件壓縮得到,。該MP4 文件采用177 ×144 分辨率的QCIF 格式,25 幀/ s。在下載模式,可以通過J TAG 接口將MP4 文件寫入Flash 存儲器中,。在播放模式下,Nios II 處理器將MP4 文件從Flash存儲器中讀出,送入文件緩沖池中等待解碼器對其進行讀取并解碼,。

視頻解碼器
視頻解碼器是系統(tǒng)的核心。如圖1 所示,視頻解碼器由熵解碼器,、反量化,、反離散余弦變換、運動補償模塊和視頻幀緩存5 個模塊組成,。

解碼時,首先對輸入碼流進行熵解碼,然后根據(jù)幀的頭信息判斷幀的類型,。對于每個宏塊,熵解碼后首先經(jīng)過IQ ,再經(jīng)過IDCT 變換得到空間域的值。對于參考幀( RFrame) ,由于不需要進行運動補償,變換后的結(jié)果直接輸出,同時還要將它存儲在視頻幀緩存中,留給后面的預(yù)測幀( PFrame) 做運動補償,。對于預(yù)測幀,先通過熵解碼得到運動向量,根據(jù)運動向量搜索到相應(yīng)的參考幀后,再將IDCT 變換后的預(yù)測差值與之相加,合成最后的預(yù)測幀圖像,。解碼后的預(yù)測幀同樣是一路輸出,一路存放于視頻幀緩存當(dāng)中。

視頻解碼如果采用純軟件方式實現(xiàn),運算量太大,難以滿足實時性要求,。利用NiosII 的自定義指令,將IQ,、IDCT 和MC 這3 個主要的計算密集型解碼單元用硬件邏輯方式實現(xiàn),以硬件邏輯的復(fù)雜性換取解碼的實時性。

YUV2RGB 變換器
解碼器解碼得到的YUV 格式圖像不適合直接用于LCD 顯示,。要在LCD 上顯示解碼得到的圖象必須將YUV格式的圖像轉(zhuǎn)換為RGB 格式,兩者的轉(zhuǎn)換關(guān)系如下:
R =1. 164 ( Y - 16) +1. 569 (V - 128)
G=1. 164( Y - 16) +0. 813(V - 128) +0. 391(U - 128)
B =1. 164 ( Y - 16) +2. 018 (U - 128)

YUV 到RGB 格式的轉(zhuǎn)換是一個很占用CPU 資源的過程,。本系統(tǒng)以查表的方式,采用硬件邏輯實現(xiàn)該轉(zhuǎn)換。

LCD 控制模塊
標(biāo)準(zhǔn)VGA LCD 顯示模塊(640 ×480 , @60 Hz) 是一種逐行掃描設(shè)備,。這種掃描是順序的,下一個掃描點能夠預(yù)知,從而可以將需要送出的像素信息排成一行,看作一個數(shù)據(jù)流( St reaming) ,。借助于NiosII 的Avalon 流模式外設(shè)的設(shè)計方法,可以實現(xiàn)一個Avalon 流模式的LCD 控制器。利用DMA 控制器在流模式的LCD 控制器和系統(tǒng)SDRAM 之間建立一條DMA 傳送通道,由硬件完成像素信息的讀取和送出,。NiosII 只需要操作SDRAM 中的相應(yīng)區(qū)域就可完成顯示圖像的更新,。

系統(tǒng)設(shè)計結(jié)構(gòu)

系統(tǒng)硬件結(jié)構(gòu)
系統(tǒng)硬件結(jié)構(gòu)如圖2 所示。

為了達到25 fps 的實時解碼速度, IDCT,、IQ、MC 和YUVRGB 轉(zhuǎn)換這4 部分計算密集型的功能單元全部以用戶自定義指令的方式實現(xiàn)。反量化
系數(shù)的二維數(shù)組QF[ v][ u]被反量化,產(chǎn)生重構(gòu)的DCT系數(shù),。該過程的實質(zhì)是以量化步長為倍數(shù)的乘法運算,。

內(nèi)部編碼塊DC 系數(shù)的反量化過程不同于其他的AC系數(shù)。DC 反量化系數(shù)由一個常數(shù)因子intra_dc 與QF[ 0 ][0]相乘而得到,。intra_dc 與編碼精度有關(guān),表1 顯示的即為兩者對應(yīng)關(guān)系,。

AC 系數(shù)的反量化要用到兩個加權(quán)矩陣,分別用于內(nèi)部子塊和非內(nèi)部子塊。用戶也可以使用自定義的量化矩陣,。

如果用QDCT 表示輸入已量化的AC 系數(shù),用DCT 表示反量化后的AC 系數(shù),那么AC 系數(shù)的IQ 變換公式如下:

式中,quantiser_scale 為0～112 之間的兩組數(shù)值,分別對應(yīng)不同的比特流控制狀態(tài)。但是在本系統(tǒng)采用的XviDCodec 版本中,比特流控制功能并沒有得到實現(xiàn),所以這里quantiser_scale 的取值固定,。

反量化得到的結(jié)果通過飽和化,使其限制在[ - 2048 ,+ 2047 ]之間,。

IQ 在FPGA 上按照圖3 的框圖進行硬件實現(xiàn)。

反離散余弦變換
IDCT 是DCT 的逆過程,用于還原DCT 系數(shù)矩陣,。

IDCT 過程可由下面的公式描述:

上式可視為一個2 個8 元向量的點積:

圖4 　反離散余弦變換的硬件實現(xiàn)結(jié)構(gòu)

將8 元的輸入向量[ X0 , X1 , X2 , X3 , X4 , X5 , X6 ,X7 ]分成奇元素[ X1 , X3 , X5 , X7 ]和偶元素[ X0 , X2 , X4 ,X6 ] ,8 ×8 矩陣則用2 個4 ×4 矩陣來代替,奇元素和偶元素分別與這2 個矩陣v 和u 相乘,生成2 個4 ×4 向量p 和q,通過加減向量p 和q ,可得到輸出向量x,。

算法可以表示成下面的公式:

基于8 ×8 矩陣的IDCT 算法,在FPGA 上按照圖4所示的結(jié)構(gòu)加以硬件實現(xiàn)。

運動補償
運動補償是一種大量,、單調(diào)的運算,。為了能實現(xiàn)運動補償,采用了多級、多個運算單元并行流水運算的方式,如圖5 所示,。

運動補償模塊的控制很復(fù)雜,。實際設(shè)計時將它分成幾個子模塊:補償控制、補償?shù)刂樊a(chǎn)生,、差分?jǐn)?shù)據(jù)提供以及補償運算,。這幾個子模塊直接采用硬件邏輯設(shè)計,運行時無需NiosII 處理器干預(yù)。其中補償控制是完成整個運動補償?shù)目刂?提供輸入控制信號,、輸出控制信號,、緩存控制信號、預(yù)測數(shù)據(jù)和差分?jǐn)?shù)據(jù)等;補償?shù)刂樊a(chǎn)生用于生成預(yù)測數(shù)據(jù)在幀緩存中的地址及補償結(jié)果的寫地址;差分?jǐn)?shù)據(jù)負(fù)責(zé)接收IDCT 的結(jié)果,通過緩存在適當(dāng)時機提供補償使
用;補償運算則完成最終預(yù)測數(shù)據(jù)的計算,。

YUV-RGB 轉(zhuǎn)換
根據(jù)YUV 到RGB 色彩空間的轉(zhuǎn)換關(guān)系,對每個乘積項都預(yù)先做出結(jié)果, 存放在ROM 當(dāng)中,。對每一個YUV 分量的輸入,由硬件邏輯產(chǎn)生存取地址,并進行加法運算,從而得到對應(yīng)的結(jié)果,。其實現(xiàn)結(jié)構(gòu)如圖6 所示。

系統(tǒng)軟件工作流程
本系統(tǒng)的軟件工作流程如圖7 所示,。

　　　　　　　　
結(jié)　語

該系統(tǒng)采用基于Altera FPGA 嵌入式軟核的SOPC平臺實現(xiàn),具有較低的硬件成本, IP 核的大量使用,良好的系統(tǒng)擴展性的特點。