《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 可編程邏輯 > 設(shè)計應(yīng)用 > 基于FPGA的電子變焦系統(tǒng)設(shè)計
基于FPGA的電子變焦系統(tǒng)設(shè)計
2015年電子技術(shù)應(yīng)用第4期
梁 青1,李廣卿1,陳文藝2,,田 科3
1.西安郵電大學(xué) 電子工程學(xué)院,陜西 西安710061,; 2.西安郵電大學(xué) 物聯(lián)網(wǎng)與兩化融合研究院,陜西 西安710061,; 3.京信通信系統(tǒng)(中國)有限公司 無線接入產(chǎn)品事業(yè)部,,廣東 廣州510530
摘要: 針對數(shù)碼相機(jī)、手機(jī)等移動設(shè)備的特點,,提出一種基于高分辨率傳感器的無損電子變焦模型,該模型同時克服了光學(xué)變焦模型和傳統(tǒng)電子變焦模型的缺陷,,輸出圖像可以達(dá)到光學(xué)變焦的效果,。針對圖像在縮放過程中的混疊現(xiàn)象,提出一種基于FPGA的抗混疊濾波和雙線性插值相結(jié)合的圖像縮放算法,。通過MATLAB仿真表明,,該算法得到的圖像質(zhì)量較高,硬件實現(xiàn)簡單。
關(guān)鍵詞: 圖像 變焦 混疊 FPGA
中圖分類號: TN492
文獻(xiàn)標(biāo)識碼: A
文章編號: 0258-7998(2015)04-0069-04
Electronic zoom system design based on the FPGA
Liang Qing1,,Li Guangqing1,,Chen Wenyi2,Tian Ke3
1.Department of Electronic Engineering,Xi′an University of Posts and Telecommunications, Xi′an 710061,,China,; 2.Internet of Things and Integration of IT Application and Industrialization Institute, Xi′an University of Posts and Telecommunications,,Xi′an 710061 China,; 3.Department of Wireless Access Products, Comba Telecom Systems(China) Co.,Ltd.,,Guangzhou 510530 China
Abstract: First of all, according to the characteristics of digital cameras, mobile phones and other mobile devices, a nondestructive electronic zoom model based on high resolution sensors is proposed. The model overcomes the defects of optical zoom model and the traditional digital zoom model at the same time and the output image can achieve the effect of the optical zoom .Secondly a kind of image scaling algorithm based on FPGA combining anti-aliasing filter and bilinear interpolation is put forward to solve the aliasing phenomenon in the process of scaling the image. By Matlab simulation, the image quality of this algorithm is superior and the hardware implementation is simple.
Key words : image,;zoom;aliasing,;FPGA

  

0 引言

  在圖像處理領(lǐng)域中,,變焦技術(shù)發(fā)揮著非常重要的作用,此技術(shù)已被廣泛應(yīng)用于公共生活,、社會安全,、醫(yī)療設(shè)備以及生活的各個領(lǐng)域。目前有很多科研工作者開展了這方面的工作:Seung Hwan Lee等設(shè)計了一種基于色度,、色差,、強(qiáng)度模型的電子變焦算法,這種顏色模型可以改善輸出圖像的色彩,,提高圖像的清晰度和圖像質(zhì)量[1],。Lukac等提出了在Bayer模式上進(jìn)行電子變焦,采用了一種彩色濾波陣列,,可以去除圖像的馬賽克和塊效應(yīng)[2],。本文針對相機(jī)、手機(jī)等移動設(shè)備的特點,,在研究了光學(xué)變焦和傳統(tǒng)電子變焦缺陷的基礎(chǔ)上,,提出一種基于FPGA的高分辨率傳感器無損電子變焦的系統(tǒng)設(shè)計方案,在不降低分辨率的前提下,,對圖像進(jìn)行縮放,。該方案可以通過電子變焦的模式實現(xiàn)光學(xué)變焦的效果,克服了光學(xué)變焦結(jié)構(gòu)復(fù)雜,、價格昂貴的不足,,具有很大的現(xiàn)實意義。

  縮放算法是本文基于FPGA的電子變焦系統(tǒng)設(shè)計的核心,,目前應(yīng)用于圖像縮放的傳統(tǒng)算法有:最近鄰域法,、雙線性插值、雙三次插值等,。最近鄰域法得到的圖像質(zhì)量較差,,雙三次插值實現(xiàn)復(fù)雜,,雙線性插值算法為一般縮放引擎使用的算法,但是當(dāng)縮放系數(shù)較大時,,該算法也會出現(xiàn)由頻譜混疊帶來的鋸齒狀效果,。基于傳統(tǒng)縮放算法的不足,,本文提出一種基于抗混疊濾波的圖像縮放算法,。該算法根據(jù)縮放系數(shù)不同先進(jìn)行濾波然后再做插值運(yùn)算,克服了圖像尺寸變化帶來的混疊效應(yīng),,即使針對較大縮放系數(shù)的情況下仍可以得到高質(zhì)量的圖像[3-5],。

1 變焦成像模型


001.jpg

  光學(xué)變焦是相機(jī)通過移動光學(xué)鏡頭來放大或縮小拍攝的對象,光學(xué)變焦倍數(shù)越大,,能拍攝的景物就越遠(yuǎn),。光學(xué)變焦示意圖如圖1所示。當(dāng)感光器件在水平方向運(yùn)動時,,視角和焦距就會發(fā)生相應(yīng)變化,,較遠(yuǎn)的景物變得清晰,讓人產(chǎn)生物體被拉近的感覺[6],。

002.jpg

  傳統(tǒng)電子變焦是采用插值處理方式把影像照片內(nèi)某一區(qū)域的像素面積擴(kuò)大到整個顯示窗口,,從而達(dá)到放大目的,傳統(tǒng)電子變焦示意圖如圖2所示,。這種方法如同用圖像處理軟件把圖片的像素放大一樣,,由于焦距沒有發(fā)生改變,圖像的清晰度會有一定程度的下降[6],。

003.jpg

  本文提出的無損電子變焦模型采用大尺寸圖像傳感器采集圖像,,確保采集較大視場角的圖像,提高變焦倍數(shù),。該模型的核心部分就是將全景圖像“濃縮”到顯示圖像,,即過采樣過程。無損電子變焦示意圖如圖3所示,,正常顯示時,,將全景圖像縮小到顯示圖像輸出,此時輸出的圖像為最大視場角圖像,;當(dāng)放大圖像時,,過采樣程度就會減小,將較小的圖像縮小到顯示圖像輸出,;直到放大到最大時,,不需要過采樣,,直接將原圖中心顯示圖像大小的圖像輸出,。這個過程不同于傳統(tǒng)電子變焦的插值計算法,,不會損失圖像精度和清晰度。

2 變焦系統(tǒng)基本結(jié)構(gòu)


004.jpg

  電子變焦系統(tǒng)功能框圖如圖4所示,。根據(jù)設(shè)計要求,,系統(tǒng)被劃分為5個組成模塊:視頻圖像輸入模塊、預(yù)濾波模塊,、雙線性插值模塊,、縮放控制模塊、視頻圖像輸出模塊,。

005.jpg

  FPGA作為系統(tǒng)的核心控制芯片,,采用預(yù)濾波和雙線性插值相結(jié)合的方法進(jìn)行圖像縮小,通過縮放系數(shù)的變化控制預(yù)濾波方式和插值位置,。外部設(shè)備采集2 560×1 440分辨率的視頻圖像,,縮放控制模塊根據(jù)縮放系數(shù)控制預(yù)濾波模塊選擇合適的濾波模板,以及為雙線性插值模塊提供插值坐標(biāo)和插值系數(shù),。最終視頻圖像經(jīng)VGA輸出320×240分辨率的視頻圖像,,從而實現(xiàn)6倍光學(xué)變焦的效果。預(yù)濾波模塊根據(jù)縮放系數(shù)選擇不同的濾波器進(jìn)行濾波,,從而消除圖像縮小帶來的頻譜混疊,。插值模塊采用雙線性插值法實現(xiàn)圖像的縮放??刂颇K根據(jù)縮放系數(shù)的變化,,為預(yù)濾波模塊選擇合適的濾波器,同時控制插值模塊生成合適的插值坐標(biāo)和插值系數(shù),,實現(xiàn)全局控制,。

3 縮放算法分析

  3.1 頻譜混疊

  1.png

  式(1)中x(t)為連續(xù)信號,x(n)為抽樣信號,,抽樣間隔為T,,若將抽樣頻率fs減小到(1/M)fs,最簡單的方法是將x(n)中每M個點抽取一個,,組成一個新的序列x′(n):

  x′(n)=x(Mn),,n=-∞~+∞(2)

  上述過程為減采樣過程,圖5所示為抽樣頻率減小2倍的結(jié)果,。

  下面討論x(n)和x′(n)的頻域關(guān)系,,現(xiàn)定義一個中間序列x1(n):

  3.png

  式中p(n)是一脈沖串序列,它在M的整數(shù)倍處值為1,,其余為0,。

  顯然:

  4.png

  而

  5.png

  所以:

  6.png

  式中X′(ejw)和X(ejw)分別是x′(n)和x(n)的DTFT。從式(6)中可以看出,,X′(ejw)是原信號頻譜X(ejw)先做M倍的擴(kuò)展再在w軸上每隔2/M的移位疊加,。由抽樣定理可知,,在第一次對x(t)抽樣時要保證fs≥2fc(fc為x(n)的最高頻率,fs為抽樣頻率),,則抽樣結(jié)果不會發(fā)生頻譜混疊[7],。當(dāng)對x(n)作M倍抽取后,若保證x′(n)重建x(n),,則X′(ejw)的一個周期(-/M~/M)也應(yīng)等于X(ejw),,這樣要求抽樣頻率fs≥2Mfc,如果不滿足將發(fā)生頻譜混疊,。因此理想的抗混疊濾波器為:

  7.png

  3.2 頻譜混疊仿真

006.jpg

  數(shù)字圖像是通過對模擬圖像進(jìn)行等間隔采樣得到的,,需滿足采樣定理,即最高頻率在采樣頻率的1/2附近,,因此一幅數(shù)字圖像中不同區(qū)域交界處的頻率在頻譜的附近[8],。本文采用環(huán)形圖像進(jìn)行仿真,如圖6所示,,該圖像為同心圓環(huán),,并且圓環(huán)從內(nèi)到外的頻率在慢慢增加。通過對該圖像進(jìn)行頻率分析,,可以獲得該圖像的頻譜特性,。首先進(jìn)行一維數(shù)據(jù)的頻譜混疊分析,然后推廣到二維圖像,。

  對于一維頻譜,,抽取該圖像的中間一行進(jìn)行分析,圖像的大小為301×301像素,,抽取第150行數(shù)據(jù)進(jìn)行分析,,記為x(k),對其進(jìn)行一維離散傅里葉變換記為X(K),,時域及頻域顯示如圖7所示,,其中時域和頻域都進(jìn)行了歸一化處理。

007.jpg

  從頻域可以看出,,圖像的信息集中在低頻區(qū)域,,主要在[-0.5,0.5]之間,,高頻區(qū)域信息較少,。首先,直接對該數(shù)據(jù)進(jìn)行3倍減采樣,,求其DTFT并觀察其頻譜,,直接減采樣頻譜圖如圖8所示;其次,,用凱賽窗設(shè)計一個FIR低通濾波器,,截止頻率為0.3,,階數(shù)為30,對該數(shù)據(jù)進(jìn)行濾波后再求其DTFT,,觀察濾波后減采樣頻譜如圖9所示。從頻譜圖中可以發(fā)現(xiàn)直接減采樣的數(shù)據(jù)發(fā)生了嚴(yán)重的頻譜混疊現(xiàn)象,,而經(jīng)過低通濾波再減采樣的數(shù)據(jù)沒有發(fā)生頻譜混疊,,只是頻譜有所擴(kuò)展。

010.jpg

  同樣推廣到二維圖像,,對上述圖像縮小3倍,。首先,直接采用最鄰近插值的方法將圖像縮小3倍,,直接減采樣如圖10所示,;其次,使用窗函數(shù)法設(shè)計一個低通濾波器,,階數(shù)為21階,,截止頻率0.3,對圖像進(jìn)行低通濾波,,然后再使用最鄰近插值縮小圖像,,濾波后減采樣效果如圖11所示。對比兩幅圖可知,,直接減采樣圖像產(chǎn)生了混疊,,有明顯的鋸齒現(xiàn)象,濾波后減采樣圖像沒有發(fā)生混疊,,圖像平滑,,但是因為使用了低通濾波器使高頻信息受損,因此需要設(shè)計合適的濾波器,,既要抑制混疊又要保留適當(dāng)?shù)母哳l信息,。

011.jpg

  3.3 濾波器設(shè)計

  本文的縮放模塊是采用先濾波、后采樣的方式,,對每種縮放系數(shù)采用合適的抗混疊濾波器,。根據(jù)FPGA的內(nèi)部結(jié)構(gòu)以及輸入輸出圖像的大小,縮放模塊的縮放系數(shù)選取1~1/6(約64/64~11/64),,這樣可分為53級縮放,。基于FPGA硬件存儲資源的考慮,,不可能每種縮放系數(shù)都采用不同的濾波器,,因此當(dāng)縮放系數(shù)在一定范圍變化時采用同一種濾波器。本文設(shè)計使用兩級濾波的形式,,產(chǎn)生多種不同的濾波器,,根據(jù)縮放系數(shù)的大小選擇濾波系數(shù)和濾波級數(shù),。濾波器結(jié)構(gòu)如圖12所示。具體分為5個系數(shù)范圍,,在這5個系數(shù)范圍分別采用合適的濾波器,,使用預(yù)濾波與雙線性插值相結(jié)合的方法進(jìn)行圖像縮放。

012.jpg

  采用兩個濾波器模板,,實現(xiàn)多種組合,,可以應(yīng)對不同的縮放系數(shù)。本文選用圖13所示的兩個濾波器模板進(jìn)行濾波,,實現(xiàn)5種不同組合,,分別對應(yīng)5種縮放范圍。

  通過理論分析和仿真研究得到以下結(jié)論(代表卷積):

  }3SXH3O88L$A84E%DY``GYE.jpg

4 圖像評價

  本文研究的是圖像縮小,,首先將原圖縮小到目標(biāo)圖像,,其次在PC機(jī)上使用Lanczos插值算法縮放到相同尺寸,以該圖像作為參照圖像,,進(jìn)行客觀的比較,。Lanczos插值算法是比較好的圖像處理算法,既可以抑制圖像混疊又可以保護(hù)圖像的邊緣,,在混疊和銳化之間進(jìn)行了權(quán)衡,,通過實驗發(fā)現(xiàn)采用該算法進(jìn)行圖像縮放可以得到較好的效果[9]。本文選取6幅有代表性的圖像,,如:風(fēng)景,、人物、房屋等進(jìn)行綜合評價,,比較圖像質(zhì)量,。對選取的圖像分別采用最鄰近插值、雙線性插值和三次立方插值以及抗混疊濾波縮放算法進(jìn)行縮放,,從主觀和客觀角度上進(jìn)行評價,。

  4.1 主觀評價

  圖14是將原圖縮小3倍的部分圖像,可以發(fā)現(xiàn)最鄰近插值得到的圖像鋸齒現(xiàn)象加重,,圖像變得更加銳利,,雙線性插值算法也會出現(xiàn)輕微的鋸齒現(xiàn)象,圖像較模糊,;抗混疊濾波縮放算法得到的圖像在直觀上要優(yōu)于前兩種算法,,圖像較清晰。

  4.2 客觀評價

  分別對上述6幅圖像進(jìn)行縮放,,比較在各種算法下的峰值信噪比,,結(jié)果如表1、表2所示。

013.jpg


  當(dāng)縮放系數(shù)不是很大時,,由于縮放前進(jìn)行了預(yù)濾波,,在客觀比較上峰值信噪比可能不如雙線性和立方插值,但是由于算法插值前進(jìn)行了預(yù)濾波,,這樣有效抑制了頻譜混疊的發(fā)生,,從直觀上看優(yōu)于最鄰近插值和雙線性插值,隨著縮放系數(shù)的增大抗混疊濾波縮放算法得到的峰值信噪比提高,,明顯優(yōu)于雙線性和立方插值算法,。

5 小結(jié)

  本文提出了一種基于高分辨率傳感器的無損電子變焦模型,該技術(shù)區(qū)別于傳統(tǒng)的電子變焦模型,,變焦過程不損失圖像精度和清晰度,進(jìn)而實現(xiàn)通過電子變焦達(dá)到光學(xué)變焦的效果,??s放算法使用一種抗混疊濾波器和雙線性插值相結(jié)合的圖像縮放算法,該算法有效避免了圖像縮小帶來的混疊現(xiàn)象,。從仿真中可以發(fā)現(xiàn),,當(dāng)縮放系數(shù)較小時,由于雙線性插值存在低通濾波的效果,,因此不需要再進(jìn)行濾波,,雙線性插值適應(yīng)的縮放范圍為1~1/2。當(dāng)縮放進(jìn)一步擴(kuò)大時,,雙線性濾波已經(jīng)不能滿足要求,,這樣需要在插值前進(jìn)行預(yù)濾波,本文使用兩級濾波結(jié)構(gòu)產(chǎn)生多種濾波器,,根據(jù)不同的縮放系數(shù)使用不同的濾波器,。通過仿真比較,當(dāng)縮放兩倍以上時,,該算法優(yōu)于雙線性和立方插值,,同時硬件實現(xiàn)簡單。

  參考文獻(xiàn)

  [1] Seung Hwan Lee,,Dong Hwan Koh,,Yang Wang,et al.DigitalZoom based on HCI ColorModel(Hue-Chroma-Intensity)[C].Intelligent Systems Modelling & Simulation (ISMS),,2013 4thInternational Conference on,,29-31 Jan.2013.

  [2] LUKAC R,MARTIN K,,PLATANOITIS K N.Digital camera  zooming based on unified CFA image processing steps[J].Consumer Electronics,,IEEE Transactions on,2004,50(1):15-24.

  [3] 譚亮,,孫俊喜,,顧播宇,等.基于FPGA局部視頻圖像任意比例縮放系統(tǒng)[J].電視技術(shù),,2013(9):42-44.

  [4] 嚴(yán)利民,,田鋒,顧裕燦.圖像縮放算法的研究及FPGA實現(xiàn)[J].儀表技術(shù),,2012(7).

  [5] Alakarhu Juha,,Salmelin Eero.Partinen Nokia PureView oversampling technology proceedings of SPIE-The International Society for Optical Engineering,v8667,,2013.

  [6] 王金華,,嚴(yán)衛(wèi)生,劉旭琳,,等.基于視景通道的透鏡成像過程仿真技術(shù)研究[J].系統(tǒng)仿真學(xué)報ISTIC PKU,,2010(9).

  [7] 賈中云.一種利用采樣率轉(zhuǎn)換方法的灰度圖像放大算法[J].杭州師范學(xué)院學(xué)報:自然科學(xué)版,2005(5):360-363.

  [8] 李秀英,,楊杰,,王麗平.用于改變圖像大小的M帶插值濾波器設(shè)計[J].現(xiàn)代電子技術(shù),2005(9):28-29.

  [9] 張善文,,戎蒙恬,,李萍.基于非均勻采樣重構(gòu)的圖像插值算法[J].信息技術(shù),2011(3):1-4.


此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載,。