文獻(xiàn)標(biāo)識碼: A
文章編號: 0258-7998(2015)04-0069-04
0 引言
在圖像處理領(lǐng)域中,,變焦技術(shù)發(fā)揮著非常重要的作用,此技術(shù)已被廣泛應(yīng)用于公共生活,、社會安全,、醫(yī)療設(shè)備以及生活的各個領(lǐng)域。目前有很多科研工作者開展了這方面的工作:Seung Hwan Lee等設(shè)計了一種基于色度,、色差,、強(qiáng)度模型的電子變焦算法,這種顏色模型可以改善輸出圖像的色彩,,提高圖像的清晰度和圖像質(zhì)量[1],。Lukac等提出了在Bayer模式上進(jìn)行電子變焦,采用了一種彩色濾波陣列,,可以去除圖像的馬賽克和塊效應(yīng)[2],。本文針對相機(jī)、手機(jī)等移動設(shè)備的特點,,在研究了光學(xué)變焦和傳統(tǒng)電子變焦缺陷的基礎(chǔ)上,,提出一種基于FPGA的高分辨率傳感器無損電子變焦的系統(tǒng)設(shè)計方案,在不降低分辨率的前提下,,對圖像進(jìn)行縮放,。該方案可以通過電子變焦的模式實現(xiàn)光學(xué)變焦的效果,克服了光學(xué)變焦結(jié)構(gòu)復(fù)雜,、價格昂貴的不足,,具有很大的現(xiàn)實意義。
縮放算法是本文基于FPGA的電子變焦系統(tǒng)設(shè)計的核心,,目前應(yīng)用于圖像縮放的傳統(tǒng)算法有:最近鄰域法,、雙線性插值、雙三次插值等,。最近鄰域法得到的圖像質(zhì)量較差,,雙三次插值實現(xiàn)復(fù)雜,,雙線性插值算法為一般縮放引擎使用的算法,但是當(dāng)縮放系數(shù)較大時,,該算法也會出現(xiàn)由頻譜混疊帶來的鋸齒狀效果,。基于傳統(tǒng)縮放算法的不足,,本文提出一種基于抗混疊濾波的圖像縮放算法,。該算法根據(jù)縮放系數(shù)不同先進(jìn)行濾波然后再做插值運(yùn)算,克服了圖像尺寸變化帶來的混疊效應(yīng),,即使針對較大縮放系數(shù)的情況下仍可以得到高質(zhì)量的圖像[3-5],。
1 變焦成像模型
光學(xué)變焦是相機(jī)通過移動光學(xué)鏡頭來放大或縮小拍攝的對象,光學(xué)變焦倍數(shù)越大,,能拍攝的景物就越遠(yuǎn),。光學(xué)變焦示意圖如圖1所示。當(dāng)感光器件在水平方向運(yùn)動時,,視角和焦距就會發(fā)生相應(yīng)變化,,較遠(yuǎn)的景物變得清晰,讓人產(chǎn)生物體被拉近的感覺[6],。
傳統(tǒng)電子變焦是采用插值處理方式把影像照片內(nèi)某一區(qū)域的像素面積擴(kuò)大到整個顯示窗口,,從而達(dá)到放大目的,傳統(tǒng)電子變焦示意圖如圖2所示,。這種方法如同用圖像處理軟件把圖片的像素放大一樣,,由于焦距沒有發(fā)生改變,圖像的清晰度會有一定程度的下降[6],。
本文提出的無損電子變焦模型采用大尺寸圖像傳感器采集圖像,,確保采集較大視場角的圖像,提高變焦倍數(shù),。該模型的核心部分就是將全景圖像“濃縮”到顯示圖像,,即過采樣過程。無損電子變焦示意圖如圖3所示,,正常顯示時,,將全景圖像縮小到顯示圖像輸出,此時輸出的圖像為最大視場角圖像,;當(dāng)放大圖像時,,過采樣程度就會減小,將較小的圖像縮小到顯示圖像輸出,;直到放大到最大時,,不需要過采樣,,直接將原圖中心顯示圖像大小的圖像輸出,。這個過程不同于傳統(tǒng)電子變焦的插值計算法,,不會損失圖像精度和清晰度。
2 變焦系統(tǒng)基本結(jié)構(gòu)
電子變焦系統(tǒng)功能框圖如圖4所示,。根據(jù)設(shè)計要求,,系統(tǒng)被劃分為5個組成模塊:視頻圖像輸入模塊、預(yù)濾波模塊,、雙線性插值模塊,、縮放控制模塊、視頻圖像輸出模塊,。
FPGA作為系統(tǒng)的核心控制芯片,,采用預(yù)濾波和雙線性插值相結(jié)合的方法進(jìn)行圖像縮小,通過縮放系數(shù)的變化控制預(yù)濾波方式和插值位置,。外部設(shè)備采集2 560×1 440分辨率的視頻圖像,,縮放控制模塊根據(jù)縮放系數(shù)控制預(yù)濾波模塊選擇合適的濾波模板,以及為雙線性插值模塊提供插值坐標(biāo)和插值系數(shù),。最終視頻圖像經(jīng)VGA輸出320×240分辨率的視頻圖像,,從而實現(xiàn)6倍光學(xué)變焦的效果。預(yù)濾波模塊根據(jù)縮放系數(shù)選擇不同的濾波器進(jìn)行濾波,,從而消除圖像縮小帶來的頻譜混疊,。插值模塊采用雙線性插值法實現(xiàn)圖像的縮放??刂颇K根據(jù)縮放系數(shù)的變化,,為預(yù)濾波模塊選擇合適的濾波器,同時控制插值模塊生成合適的插值坐標(biāo)和插值系數(shù),,實現(xiàn)全局控制,。
3 縮放算法分析
3.1 頻譜混疊
式(1)中x(t)為連續(xù)信號,x(n)為抽樣信號,,抽樣間隔為T,,若將抽樣頻率fs減小到(1/M)fs,最簡單的方法是將x(n)中每M個點抽取一個,,組成一個新的序列x′(n):
x′(n)=x(Mn),,n=-∞~+∞(2)
上述過程為減采樣過程,圖5所示為抽樣頻率減小2倍的結(jié)果,。
下面討論x(n)和x′(n)的頻域關(guān)系,,現(xiàn)定義一個中間序列x1(n):
式中p(n)是一脈沖串序列,它在M的整數(shù)倍處值為1,,其余為0,。
顯然:
而
所以:
式中X′(ejw)和X(ejw)分別是x′(n)和x(n)的DTFT。從式(6)中可以看出,,X′(ejw)是原信號頻譜X(ejw)先做M倍的擴(kuò)展再在w軸上每隔2/M的移位疊加,。由抽樣定理可知,,在第一次對x(t)抽樣時要保證fs≥2fc(fc為x(n)的最高頻率,fs為抽樣頻率),,則抽樣結(jié)果不會發(fā)生頻譜混疊[7],。當(dāng)對x(n)作M倍抽取后,若保證x′(n)重建x(n),,則X′(ejw)的一個周期(-/M~/M)也應(yīng)等于X(ejw),,這樣要求抽樣頻率fs≥2Mfc,如果不滿足將發(fā)生頻譜混疊,。因此理想的抗混疊濾波器為:
3.2 頻譜混疊仿真
數(shù)字圖像是通過對模擬圖像進(jìn)行等間隔采樣得到的,,需滿足采樣定理,即最高頻率在采樣頻率的1/2附近,,因此一幅數(shù)字圖像中不同區(qū)域交界處的頻率在頻譜的附近[8],。本文采用環(huán)形圖像進(jìn)行仿真,如圖6所示,,該圖像為同心圓環(huán),,并且圓環(huán)從內(nèi)到外的頻率在慢慢增加。通過對該圖像進(jìn)行頻率分析,,可以獲得該圖像的頻譜特性,。首先進(jìn)行一維數(shù)據(jù)的頻譜混疊分析,然后推廣到二維圖像,。
對于一維頻譜,,抽取該圖像的中間一行進(jìn)行分析,圖像的大小為301×301像素,,抽取第150行數(shù)據(jù)進(jìn)行分析,,記為x(k),對其進(jìn)行一維離散傅里葉變換記為X(K),,時域及頻域顯示如圖7所示,,其中時域和頻域都進(jìn)行了歸一化處理。
從頻域可以看出,,圖像的信息集中在低頻區(qū)域,,主要在[-0.5,0.5]之間,,高頻區(qū)域信息較少,。首先,直接對該數(shù)據(jù)進(jìn)行3倍減采樣,,求其DTFT并觀察其頻譜,,直接減采樣頻譜圖如圖8所示;其次,,用凱賽窗設(shè)計一個FIR低通濾波器,,截止頻率為0.3,,階數(shù)為30,對該數(shù)據(jù)進(jìn)行濾波后再求其DTFT,,觀察濾波后減采樣頻譜如圖9所示。從頻譜圖中可以發(fā)現(xiàn)直接減采樣的數(shù)據(jù)發(fā)生了嚴(yán)重的頻譜混疊現(xiàn)象,,而經(jīng)過低通濾波再減采樣的數(shù)據(jù)沒有發(fā)生頻譜混疊,,只是頻譜有所擴(kuò)展。
同樣推廣到二維圖像,,對上述圖像縮小3倍,。首先,直接采用最鄰近插值的方法將圖像縮小3倍,,直接減采樣如圖10所示,;其次,使用窗函數(shù)法設(shè)計一個低通濾波器,,階數(shù)為21階,,截止頻率0.3,對圖像進(jìn)行低通濾波,,然后再使用最鄰近插值縮小圖像,,濾波后減采樣效果如圖11所示。對比兩幅圖可知,,直接減采樣圖像產(chǎn)生了混疊,,有明顯的鋸齒現(xiàn)象,濾波后減采樣圖像沒有發(fā)生混疊,,圖像平滑,,但是因為使用了低通濾波器使高頻信息受損,因此需要設(shè)計合適的濾波器,,既要抑制混疊又要保留適當(dāng)?shù)母哳l信息,。
3.3 濾波器設(shè)計
本文的縮放模塊是采用先濾波、后采樣的方式,,對每種縮放系數(shù)采用合適的抗混疊濾波器,。根據(jù)FPGA的內(nèi)部結(jié)構(gòu)以及輸入輸出圖像的大小,縮放模塊的縮放系數(shù)選取1~1/6(約64/64~11/64),,這樣可分為53級縮放,。基于FPGA硬件存儲資源的考慮,,不可能每種縮放系數(shù)都采用不同的濾波器,,因此當(dāng)縮放系數(shù)在一定范圍變化時采用同一種濾波器。本文設(shè)計使用兩級濾波的形式,,產(chǎn)生多種不同的濾波器,,根據(jù)縮放系數(shù)的大小選擇濾波系數(shù)和濾波級數(shù),。濾波器結(jié)構(gòu)如圖12所示。具體分為5個系數(shù)范圍,,在這5個系數(shù)范圍分別采用合適的濾波器,,使用預(yù)濾波與雙線性插值相結(jié)合的方法進(jìn)行圖像縮放。
采用兩個濾波器模板,,實現(xiàn)多種組合,,可以應(yīng)對不同的縮放系數(shù)。本文選用圖13所示的兩個濾波器模板進(jìn)行濾波,,實現(xiàn)5種不同組合,,分別對應(yīng)5種縮放范圍。
通過理論分析和仿真研究得到以下結(jié)論(代表卷積):
4 圖像評價
本文研究的是圖像縮小,,首先將原圖縮小到目標(biāo)圖像,,其次在PC機(jī)上使用Lanczos插值算法縮放到相同尺寸,以該圖像作為參照圖像,,進(jìn)行客觀的比較,。Lanczos插值算法是比較好的圖像處理算法,既可以抑制圖像混疊又可以保護(hù)圖像的邊緣,,在混疊和銳化之間進(jìn)行了權(quán)衡,,通過實驗發(fā)現(xiàn)采用該算法進(jìn)行圖像縮放可以得到較好的效果[9]。本文選取6幅有代表性的圖像,,如:風(fēng)景,、人物、房屋等進(jìn)行綜合評價,,比較圖像質(zhì)量,。對選取的圖像分別采用最鄰近插值、雙線性插值和三次立方插值以及抗混疊濾波縮放算法進(jìn)行縮放,,從主觀和客觀角度上進(jìn)行評價,。
4.1 主觀評價
圖14是將原圖縮小3倍的部分圖像,可以發(fā)現(xiàn)最鄰近插值得到的圖像鋸齒現(xiàn)象加重,,圖像變得更加銳利,,雙線性插值算法也會出現(xiàn)輕微的鋸齒現(xiàn)象,圖像較模糊,;抗混疊濾波縮放算法得到的圖像在直觀上要優(yōu)于前兩種算法,,圖像較清晰。
4.2 客觀評價
分別對上述6幅圖像進(jìn)行縮放,,比較在各種算法下的峰值信噪比,,結(jié)果如表1、表2所示。
當(dāng)縮放系數(shù)不是很大時,,由于縮放前進(jìn)行了預(yù)濾波,,在客觀比較上峰值信噪比可能不如雙線性和立方插值,但是由于算法插值前進(jìn)行了預(yù)濾波,,這樣有效抑制了頻譜混疊的發(fā)生,,從直觀上看優(yōu)于最鄰近插值和雙線性插值,隨著縮放系數(shù)的增大抗混疊濾波縮放算法得到的峰值信噪比提高,,明顯優(yōu)于雙線性和立方插值算法,。
5 小結(jié)
本文提出了一種基于高分辨率傳感器的無損電子變焦模型,該技術(shù)區(qū)別于傳統(tǒng)的電子變焦模型,,變焦過程不損失圖像精度和清晰度,進(jìn)而實現(xiàn)通過電子變焦達(dá)到光學(xué)變焦的效果,??s放算法使用一種抗混疊濾波器和雙線性插值相結(jié)合的圖像縮放算法,該算法有效避免了圖像縮小帶來的混疊現(xiàn)象,。從仿真中可以發(fā)現(xiàn),,當(dāng)縮放系數(shù)較小時,由于雙線性插值存在低通濾波的效果,,因此不需要再進(jìn)行濾波,,雙線性插值適應(yīng)的縮放范圍為1~1/2。當(dāng)縮放進(jìn)一步擴(kuò)大時,,雙線性濾波已經(jīng)不能滿足要求,,這樣需要在插值前進(jìn)行預(yù)濾波,本文使用兩級濾波結(jié)構(gòu)產(chǎn)生多種濾波器,,根據(jù)不同的縮放系數(shù)使用不同的濾波器,。通過仿真比較,當(dāng)縮放兩倍以上時,,該算法優(yōu)于雙線性和立方插值,,同時硬件實現(xiàn)簡單。
參考文獻(xiàn)
[1] Seung Hwan Lee,,Dong Hwan Koh,,Yang Wang,et al.DigitalZoom based on HCI ColorModel(Hue-Chroma-Intensity)[C].Intelligent Systems Modelling & Simulation (ISMS),,2013 4thInternational Conference on,,29-31 Jan.2013.
[2] LUKAC R,MARTIN K,,PLATANOITIS K N.Digital camera zooming based on unified CFA image processing steps[J].Consumer Electronics,,IEEE Transactions on,2004,50(1):15-24.
[3] 譚亮,,孫俊喜,,顧播宇,等.基于FPGA局部視頻圖像任意比例縮放系統(tǒng)[J].電視技術(shù),,2013(9):42-44.
[4] 嚴(yán)利民,,田鋒,顧裕燦.圖像縮放算法的研究及FPGA實現(xiàn)[J].儀表技術(shù),,2012(7).
[5] Alakarhu Juha,,Salmelin Eero.Partinen Nokia PureView oversampling technology proceedings of SPIE-The International Society for Optical Engineering,v8667,,2013.
[6] 王金華,,嚴(yán)衛(wèi)生,劉旭琳,,等.基于視景通道的透鏡成像過程仿真技術(shù)研究[J].系統(tǒng)仿真學(xué)報ISTIC PKU,,2010(9).
[7] 賈中云.一種利用采樣率轉(zhuǎn)換方法的灰度圖像放大算法[J].杭州師范學(xué)院學(xué)報:自然科學(xué)版,2005(5):360-363.
[8] 李秀英,,楊杰,,王麗平.用于改變圖像大小的M帶插值濾波器設(shè)計[J].現(xiàn)代電子技術(shù),2005(9):28-29.
[9] 張善文,,戎蒙恬,,李萍.基于非均勻采樣重構(gòu)的圖像插值算法[J].信息技術(shù),2011(3):1-4.