文獻標識碼: A
文章編號: 0258-7998(2011)06-0056-03
近年來,,高清網(wǎng)絡攝像機席卷視頻監(jiān)控市場,,傳統(tǒng)的模擬攝像機也在尋找新的出路提升圖像質量,采用非壓縮方案的高清模擬攝像機成為首選,。一般來說,,非壓縮方案的硬件平臺有DSP或ASIC或FPGA。它們各有優(yōu)缺點,,F(xiàn)PGA是現(xiàn)場可編程門陣列,兼顧了實時性與靈活性,,而且還可以內嵌CPU,,因此適合用來做圖像處理。FPGA的最大缺點是功耗太大,,但本文設計的不是便攜式消費電子,,功耗問題可以不考慮。
本文在數(shù)據(jù)傳輸方式上進行了創(chuàng)新,一般的視頻采集與顯示方案均需要使用2個DMA通道和2片SDRAM做緩存,,本文采用自行編寫的BURST模塊傳輸,,僅需要一片SDRAM,節(jié)省硬件開銷的同時降低了PCB板的復雜度,。
1 系統(tǒng)總體設計
系統(tǒng)結構如圖1所示,。FPGA是整個系統(tǒng)的核心,本文采用的FPGA是Cyclone系列的EP3C16,,它內部集成了15 408個邏輯單元,,56個18×18乘法器,4個鎖相環(huán),,CCD是SONY的ICX274,,其有效分辨率是1 600×1 200,像素時鐘是36 MHz,,并且逐行掃描,。SDRAM是Micron的MT48LC2M32B2,容量是2 M×32 bit,,完全滿足本設計的需要,。
首先ADC驅動CCD,CCD輸出模擬視頻,,經(jīng)過ADC轉換成數(shù)字圖像數(shù)據(jù),,然后通過FPGA內部的BURST傳輸寫到SDRAM,在SDRAM內部開辟三段數(shù)據(jù)空間,,如圖2所示,。其中code區(qū)域存放NIOS軟件代碼,bufferA和bufferB作為圖像數(shù)據(jù)緩存,,當圖像數(shù)據(jù)寫入bufferA時,,可以讀bufferB用于顯示,當一幀數(shù)據(jù)采集完后,,切換BURST傳輸?shù)刂?,寫入bufferB,此時讀bufferA用于顯示,,這樣數(shù)據(jù)可以不間斷地采集和顯示,,這就是所謂乒乓操作。FPGA輸出的視頻數(shù)據(jù)經(jīng)過編碼器編碼后形成串行碼流,,即SDI數(shù)據(jù),,然后經(jīng)過同軸電纜線傳輸?shù)骄哂蠸DI接口的顯示器顯示。其中,,F(xiàn)LASH用來保存NIOS軟件和FPGA硬件配置信息,。
在FPGA內部實現(xiàn)的模塊如圖3所示,。其中VIDEO IP是根據(jù)AVALON總線規(guī)范編寫的用戶自定義模塊,其余的模塊均是ALTERA提供的標準模塊,,只需要在SoPC Builder中調用即可,,因此本系統(tǒng)的設計主要是VIDEO IP的設計。
2 硬件模塊設計
硬件模塊也就是VIDEO IP模塊,,圖4所示為VIDEO IP頂層模塊,,主要由色彩插值、色彩空間轉換,、FIFO三部分構成,。基于成本與工程復雜度的考慮,,本系統(tǒng)為單CCD系統(tǒng),,在CCD表面覆蓋一層色彩濾波陣列(CFA),該濾波陣列采用Bayer格式,,如圖5所示,。從圖中看出,每個像素點只有一個顏色通道,,為了實現(xiàn)彩色顯示,,每個像素點必須要有RGB 3個通道,要通過色彩插值才能獲得其余兩個通道,。本文處理的視頻數(shù)據(jù)都是YCbCr格式,,因此還需要經(jīng)過色彩空間轉換將RGB格式轉換成YCbCr格式。由于NIOS處理器的位寬是32 bit,,而YCbCr(4:2:2)是16 bit,,所以YCbCr必須經(jīng)過FIFO,當FIFO半滿時,,通過BURST傳輸寫數(shù)據(jù)到SDRAM,。值得注意的是:寫入FIFO之前,YCbCr的格式是4:4:4,,為了方便顯示,,必須轉換成4:2:2,本設計采取了最簡單的處理方式,,就是Cb和Cr間隔采樣,。實驗表明,這種處理不影響顯示效果,。
2.1 色彩插值算法
考慮到本文設計的系統(tǒng)主要用于視頻監(jiān)控,,因此采用最簡單的插值算法,即雙線性正交法,。該算法的原理是在每個像素的領域取8個像素構成3×3陣列,,該陣列中心的像素為待插值像素,其中一個色彩通道直接使用該像素的數(shù)據(jù),,另外兩個色彩通道通過計算領域的2個或4個像素的平均值獲得,。從圖6中看出,不同位置的像素四周情況不同,,根據(jù)待插值像素所處位置總結出4種情況,,如圖6所示(設待插值像素坐標為(X,Y))。
(a)R(X,Y)=[R(X,Y-1)+R(X,Y+1)]/2,;
G(X,Y)=G(X,Y),;
B(X,Y)=[B(X-1,Y)+B(X+1,Y)]/2;
(b)R(X,Y)=[R(X-1,Y-1)+R(X+1,Y-1)+R(X-1,
Y+1)+R(X+1,Y+1)]/4,;
G(X,Y)=[G(X-1,Y)+G(X,Y-1)+G(X+1,Y)+
G(X,Y+1)]/4,;
B(X,Y)=B(X,Y);
(c)R(X,Y)=R(X,Y),;
G(X,Y)= [G(X-1,Y)+G(X,Y-1)+G(X+1,Y)+
G(X,Y+1)]/4,;
B(X,Y)= [B(X-1,Y-1)+B(X+1,Y-1)+
B(X-1,Y+1)+B(X+1,Y+1)]/4;
(d)R(X,Y)=[R(X-1,Y)+R(X+1,Y)]/2,;
G(X,Y)=G(X,Y),;
B(X,Y)= [B(X,Y-1)+B(X,Y+1)]/2
由于要形成3×3陣列,因此FPGA硬件實現(xiàn)時,,如圖7所示為色彩插值模塊,,采用3個雙口RAM分別保存3行數(shù)據(jù),其中A,、B,、C、D,、E,、F表示寄存器,CCD的數(shù)據(jù)是在行場同步控制下從左到右,、從上到下輸出,,在行場同步下先把第一行數(shù)據(jù)寫到RAM1,寫完第一行再切換到第二行,,寫完第二行再寫第三行,,第三行寫完第3個數(shù)據(jù)即可讀出RAM和各寄存器的數(shù)據(jù)做色彩插值,當?shù)谌袑懲暌院?,第四行?shù)據(jù)再寫到RAM1,,以此類推,一直循環(huán)直到一幀數(shù)據(jù)處理結束,。值得注意的是:3×3陣列各行的數(shù)據(jù)是循環(huán)切換的,,當RAM1保存的是3×3陣列的第一行數(shù)據(jù)時,,3×3陣列第一行數(shù)據(jù)從左到右依次為B、A,、RAM1,,第二行數(shù)據(jù)從左到右依次D、C,、RAM2,,第三行數(shù)據(jù)從左到右依次為F、E,、RAM3,;當RAM2保存第一行數(shù)據(jù)時,第一行是D,、C,、RAM2,以后各行循環(huán)切換,,不再贅述,。
3×3陣列的數(shù)據(jù)進入多路選擇器,根據(jù)當前的位置以及所需的顏色通道選出4個像素進行相加求和運算,。4個像素的獲得方法是:當是1個像素時,,復制3次;得到4個像素,,當是2個像素求平均時,,每個像素各復制1次;當是4個像素求平均時,,不用復制,。
本文采用的CCD為SONY的ICX274,其有效分辨率為1 600×1 200,,而用于顯示的分辨率為1 280×720(720P),,因此需要截取1 600×1 200為1 282×722進行插值,增加兩行兩列是為了做邊界處理,。
2.2 色彩空間轉換
本文采用的轉換關系如下:
Y=0.257×R+0.504×G+0.098×B+16
Cb=-0.148×R-0.291×G+0.439×B+128
Cr=0.439×R-0.368×G-0.071×B+128
在FPGA實現(xiàn)時,,以上轉換關系要調用乘加單元,圖8所示為乘加單元,。其中為了保持數(shù)據(jù)的穩(wěn)定,,增加處理速度,增加了三級流水線,,由于系數(shù)為小數(shù),,因此先左移8位,取整數(shù)后分別與R,、G,、B相乘,,再右移8位輸出,最后與整數(shù)相加輸出YCbCr格式數(shù)據(jù),。
2.3 突發(fā)傳輸模塊
經(jīng)過上述兩步處理以后的視頻數(shù)據(jù)即可用于顯示,,本文采用的突發(fā)傳輸方案如圖9所示。視頻數(shù)據(jù)首先經(jīng)過FIFO緩沖,,然后經(jīng)過突發(fā)傳輸寫到SDRAM,數(shù)據(jù)從SDRAM讀出也是采用突發(fā)傳輸,,讀出的數(shù)據(jù)再經(jīng)過另外的FIFO緩沖以后即可用于顯示,。突發(fā)(BURST)傳輸一次進行多個數(shù)據(jù)單元的傳輸,而不僅僅是把每個數(shù)據(jù)單元作為一次單獨的傳輸,。這樣便提高了從端口的數(shù)據(jù)吞吐量,,在主端口一次處理多個數(shù)據(jù)單元時,可以達到極高的效率,。要使用突發(fā)傳輸就必須嚴格按照突發(fā)傳輸?shù)囊?guī)范設計AVALON總線接口,。限于篇幅,本文不再詳述AVALON總線接口,。
3 測試結果
本系統(tǒng)使用了48%的邏輯單元和40%的存儲器,,還有剩余的資源可以給系統(tǒng)增加更多的功能。該系統(tǒng)運行良好,。
本文設計的基于FPGA的高清視頻處理系統(tǒng),,能在FPGA硬件設備中高速、高質量地對CCD傳感器采集的Bayer圖像進行色彩插值和色彩空間轉換,,經(jīng)過SDI編碼后能夠實時顯示,。在本設計的基礎上可以增加更多的功能以改變圖像質量,例如3A算法(自動曝光,,自動白平衡,,自動聚焦)。
參考文獻
[1] 周榮政.數(shù)碼相機處理器設計及系統(tǒng)集成研究[D]:(博士學位論文).上海:復旦大學,,2004.
[2] 孟楠.基于FPGA的彩色CCD圖像信號處理技術的研究[D]:(碩士學位論文).西安:中國科學院西安光學精密機械研究所,,2009.
[3] 梁海軍,趙建.基于NIOSII的高分辨率圖像采集系統(tǒng)設計[J].中國測試技術,,2008,,35(5).
[4] ITU-R BT.1120-7建議書.高清晰度電視演播室信號數(shù)字接口.國際電聯(lián)無線電通信全會,2007.
[5] 王剛,,張瀲.基于FPGA的SOPC嵌入式系統(tǒng)設計與典型實例[M].北京:電子工業(yè)出版社,,2009.