文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.2015.10.039
中文引用格式： 倪浩，阮若林,，劉芳華,，等. 基于圖像塊分類處理的快速單圖超分辨率重建[J].電子技術(shù)應(yīng)用，2015,，41(10)：143-146.
英文引用格式： Ni Hao,，Ruan Ruolin，Liu Fanghua,，et al. Fast super-resolution for single image based on patch classification and processing[J].Application of Electronic Technique,，2015，41(10)：143-146.
0 引言
超分辨率重建（Super-Resolution,，SR）技術(shù)是利用一幅或多幅低分辨率圖像生成一幅高分辨率圖像,。實(shí)際應(yīng)用中需要用到這種分辨率增強(qiáng)技術(shù)，如在高分辨率顯示設(shè)備上顯示由低分辨率傳感器捕獲的圖像時(shí),，可減少視覺上的偽影,。文中主要研究單幅圖像的超分算法，輸入的低分圖像只有一幅,，另外還有多幅各類圖像組成的訓(xùn)練集,，通過字典訓(xùn)練和圖像重建后形成預(yù)測的高分圖像，是一種基于學(xué)習(xí)的方法,。
FREEMAN W T[1]利用馬爾科夫隨機(jī)場（MRF）建立高分圖像和低分圖像間的聯(lián)系用于超分重建,。CHANG H[2]等應(yīng)用“流形學(xué)習(xí)”的理論將局部線性嵌入（Local Linear Embedding，LLE）用于超分重建,，提出鄰域嵌入（Neighbor Embedding,，NE）法，所需訓(xùn)練樣本較少,，但會(huì)導(dǎo)致過擬合和欠擬合現(xiàn)象。以此為基礎(chǔ),，GAO X[3]等提出將稀疏編碼鄰域選擇算法應(yīng)用于圖像重建,，雖然解決了NE法的問題，但重建復(fù)雜結(jié)構(gòu)圖像時(shí)效果不佳,。YANG J C[4-5]等將機(jī)器學(xué)習(xí)引入到超分重建中,，提出利用字典學(xué)習(xí)的稀疏編碼超分算法(Sparse Coding Super Resolution，SCSR),。ZEYDE R[6]和YANG J[7]等在不同程度上提升了超分速度或效果,。在眾多的超分辨率重建研究中，學(xué)者們都用訓(xùn)練樣本來重建高分圖像,，但大多數(shù)學(xué)者并不太關(guān)注圖像各區(qū)域的區(qū)別和訓(xùn)練樣本的組織問題,，而這些方面可以為減少超分過程中的計(jì)算量，提高超分速度,，打開新的思路,。
1 基于稀疏編碼的超分辨率重建
稀疏編碼的目的是用一組基元的線性加權(quán)組合來近似表示輸入信號(hào)x∈Rn。這些基元是一些基礎(chǔ)信號(hào),，往往是從一個(gè)超完備字典D∈Rn×K(n<K)中選出的,。稀疏編碼就是自動(dòng)找出較好的基元組合的方法,，因此單幅圖像的超分辨率重建問題可以表示為：
其中，pk為第k個(gè)圖像塊,，D為超完備字典,，qk為稀疏系數(shù)。H和S分別為模糊和下采樣操作數(shù),。從超分重建的角度看,，S可理解為將輸入低分圖像Y放大s倍后得到與高分圖像相同尺寸的超分圖像X?鄢，并使其與原始高分圖像X的誤差最小,。
1.1 稀疏編碼解決方案
一些典型的超分重建問題解法中,，常將式(1)稀疏先驗(yàn)中無確定解析式的l0-范數(shù)近似放松至l1-范數(shù)，再引入拉格朗日乘子式來形成最小化表達(dá)式[8]：
![)R$SVQ9P8XOL$H`[XOX}]5R.png](http://files.chinaaet.com/images/2017/01/12/6361982532566053855384964.png ")R$SVQ9P8XOL$H`[XOX}]5R.png")
其中F為特征提取操作數(shù),，用來提取低分輸入圖像塊的邊角信息,，正則化參數(shù)?姿為平衡式中兩項(xiàng)的常數(shù)。以稀疏表示理論為基礎(chǔ),，YANG J C[4]和He等人提出聯(lián)合字典學(xué)習(xí)方法訓(xùn)練生成超完備字典,，其中字典訓(xùn)練和圖像重建階段分別使用K-SVD和OMP算法。雖然這些基于稀疏編碼的超分算法能得到比較好的高分圖像,，但是耗時(shí)較長,，制約了其實(shí)時(shí)應(yīng)用。
1.2 加速超分辨率重建的思路
自然圖像中包含高頻和低頻部分,。前者為邊緣和角等跳變幅度較大區(qū)域,，后者為相對平滑區(qū)域。圖像放大時(shí),，插值法比應(yīng)用稀疏編碼的方法速度快得多,，但沿圖像邊角會(huì)產(chǎn)生較明顯的偽影，如振鈴,、鋸齒和模糊等,。盡管整體超分效果不如稀疏編碼法，但它在平滑區(qū)域的超分效果也非常好,。YANG J C[4]分別用Bicubic和SCSR放大圖像“Lena”中的近2500個(gè)圖像塊,，并對放大圖像塊的RMSE值進(jìn)行對比。結(jié)果表明,，10%的圖像塊Bicubic方法比SCSR效果更好,，28%的圖像塊SCSR方法更好，分布在圖像的邊角,、輪廓部分,，如Lena的帽檐和臉頰邊緣。而其他的62%圖像塊用兩種方法的效果基本相同。因此,，可將特征提取后的高頻圖像塊按照一定的標(biāo)準(zhǔn)分成幾類,，再以平衡超分效果和速度為依據(jù)，用不同的方法處理相應(yīng)類別的圖像塊,，提高圖像整體的超分速度,。
此外，一幅圖像是由成千上萬的圖像塊組成的,，對于每個(gè)圖像塊,，可以通過減少它的維度來減少圖像塊處理中的運(yùn)算量。大量圖像塊處理時(shí),，維度較少的圖像塊累積節(jié)約下來的運(yùn)算時(shí)間能為提高超分重建的速度作出較大的貢獻(xiàn)[6],。
2 圖像塊分類處理超分算法
文中提出的基于圖像塊分類處理的超分辨率重建算法是一種改進(jìn)的稀疏編碼超分算法（Proposed Sparse Coding Super-Resolution，PSCSR）,，包括圖像訓(xùn)練和圖像重建兩部分,，具體算法如下：
(1)超分訓(xùn)練階段：
①將訓(xùn)練圖像劃分為圖像塊對
,；
?、谌サ?img title="ZU2OD20TQV]W59Y([CV)3D3.png" alt="ZU2OD20TQV]W59Y([CV)3D3.png" src="http://files.chinaaet.com/images/2017/01/12/6361982518669153855597373.png"/>的低頻信息，從
提取特征,；
?、劾?a class="innerlink" href="http://forexkbc.com/tags/PCA" title="PCA" target="_blank">PCA對
降維，得到
,；
?、苈?lián)合字典訓(xùn)練得到高分字典Dh和低分字典Dl。
(2)超分重建階段：
?、俑鶕?jù)所選閾值對將圖像塊利用均值和方差進(jìn)行分類,，并予以標(biāo)記；
?、贐icubic插值處理第一類圖像塊；
?、塾肗E超分放大第二類圖像塊,；
④利用Dl在第三類圖像塊上計(jì)算其稀疏表示,；
?、輰⑶蟮玫南∈柘禂?shù)和Dh相乘來恢復(fù)第三類圖像的目標(biāo)高分圖像塊
；
?、抻萌∑骄档姆椒ㄔ谥丿B區(qū)域融入
,；
⑦結(jié)合以上3種圖像塊處理方法，形成目標(biāo)高分圖像,。
2.1 圖像塊降維
圖像塊分類處理超分算法利用主成分分析（Principal Component Analysis,，PCA）來對每個(gè)圖像塊進(jìn)行降維處理。PCA是統(tǒng)計(jì)模式識(shí)別中一種典型的特征提取方法,，提取的新特征是原始信號(hào)特征的線性函數(shù),，建立的低維子空間能最好地反應(yīng)數(shù)據(jù)點(diǎn)集和平均值之間的區(qū)別?？臻g中的維度越少,，圖像模式間的距離越小，可避免高維空間中分類的復(fù)雜度,。
圖像超分時(shí),，從劃分好的低分圖像塊開始，所有圖像塊的總像素均為
,，經(jīng)過插值操作數(shù)Q和R線性濾波器集后,，可以表示為nR維的![D[3HPA]AHVP$W9~4VVM}4EH.png](http://files.chinaaet.com/images/2017/01/12/6361982558854753859287961.png "D[3HPA]AHVP$W9~4VVM}4EH.png")
。結(jié)果圖像塊的實(shí)際維度（n/s2）不會(huì)增加,，而且它比nR要小得多,，使計(jì)算量過大。降維的主要作用在于節(jié)省訓(xùn)練和超分時(shí)的計(jì)算量,。因此,，在轉(zhuǎn)到字典學(xué)習(xí)階段之前的最后一步就是減少輸入低分圖像塊![KQW(OG]$B8CJ2}CIC8{(7(C.png](http://files.chinaaet.com/images/2017/01/12/6361982559473953858254237.png "KQW(OG]$B8CJ2}CIC8{(7(C.png")
的維度。PCA算法應(yīng)用到這些圖像塊向量,，尋找一個(gè)能夠投影圖像塊的子空間,，并保留99.9%的平均能量。這種投影操作將圖像塊![D[3HPA]AHVP$W9~4VVM}4EH.png](http://files.chinaaet.com/images/2017/01/12/6361982560979353854832724.png "D[3HPA]AHVP$W9~4VVM}4EH.png")
∈RnR轉(zhuǎn)換為降維后的特征向量![D[3HPA]AHVP$W9~4VVM}4EH.png](http://files.chinaaet.com/images/2017/01/12/6361982561327253852479979.png "D[3HPA]AHVP$W9~4VVM}4EH.png")
∈Rnl,，定義B∈Rnl×nR,。
2.2 圖像塊分類
將低分圖像劃分成有一定重疊區(qū)域的p×p圖像塊集，則每個(gè)高頻圖像塊絕對像素值均值為：
![%(FHF5%`K({MSH`C7Q_L])Q.png](http://files.chinaaet.com/images/2017/01/12/6361982542416253859820097.png "%(FHF5%`K({MSH`C7Q_L])Q.png")
其中,，fk(i,，j)是低分圖像的高頻部分第k個(gè)圖像塊的絕對像素值。而低分圖像的高頻圖像塊的均方差可表示為：
低分圖像的每個(gè)高頻圖像塊為pk,，均值和方差對記為(Mk,，MNk)，其中k=1,，…,，mn，每個(gè)圖像塊的均值和方差均用式(3)和(4)計(jì)算,。根據(jù)圖像特點(diǎn),，選取一個(gè)均值,、方差閾值對(Mky，MNky),，與每個(gè)圖像塊的均值和方差對比較,，并用MSk標(biāo)記如下：
這樣，所有高頻圖像塊均按均值和方差閾值劃分為3類,。為驗(yàn)證此分類法,，實(shí)驗(yàn)將“Lena”劃分為若干個(gè)相同大小的圖像塊，設(shè)置均值和方差閾值對為（40,，400）,，則圖像塊被分為3類。為便于標(biāo)注,，第1類圖像塊的亮度值不變,，第2類和第3類的亮度分別減少和增加50。圖1中可看出,，亮部（第3類）集中在邊角區(qū)域,，暗部集中在連續(xù)變化區(qū)域（第2類）。
2.3 圖像塊處理
按照MSk標(biāo)記的圖像塊,，根據(jù)算法2按圖像塊類型將不同區(qū)域的圖像塊用不同的方法進(jìn)行處理[9],。
（1）第1類：表示圖像特征的相對平坦區(qū)域,，其高頻部分可看作是高頻噪聲,，只需用最快的Bicubic算法將這類圖像塊插值形成相應(yīng)的高分圖像塊。
?。?）第2類：表示圖像的連續(xù)變化區(qū)域,，為平衡超分速度和超分效果，選用NE法重建高分圖像塊,。
?。?）第3類：表示圖像邊角和紋理。為提升圖像邊緣的銳度和整體的清晰度,，使用相對精確的SCSR算法來生成高分圖像塊,。
在圖像重建階段，所預(yù)測的高分圖像塊拼接起來重建預(yù)測的高分圖像X,，在重疊區(qū)域?qū)⒚總€(gè)像素多個(gè)預(yù)測值的平均值作為最終的復(fù)原值[10],。
3 實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)在一臺(tái)英特爾Core i5、1.6 GHz的筆記本電腦上用 MATLAB完成,。除明確指出外，所設(shè)置的基本參數(shù)都相同,。圖像訓(xùn)練中總共采樣10 000個(gè)低分圖像塊,，大小為5×5，放大倍數(shù)s=3。利用隨機(jī)梯度遞減在字典學(xué)習(xí)階段所得字典對尺寸為k=1 024,，正則化參數(shù)取λ=0.1,。運(yùn)用文獻(xiàn)[4]中的方法提取低分圖像的特征，F(xiàn)使用
4個(gè)濾波器進(jìn)行求導(dǎo),。
3.1 超分圖像效果對比
比較結(jié)果圖像和原始高分圖像的相關(guān)性時(shí),，利用通用的PSNR計(jì)算方法來量化不同超分算法的效果。圖2中大多數(shù)實(shí)驗(yàn)圖像使用PSCSR方法比SCSR的效果稍有下降,。因?yàn)樗诤喕\(yùn)算和降維的處理過程中會(huì)丟失一些圖像信息,。但從整體上看，PSCSR的方法的效果幾乎和SCSR方法相同,。所有實(shí)驗(yàn)圖像的PSCSR效果均優(yōu)于NE,。而在第2幅圖像“Zebra”中，由于存在大量的紋理細(xì)節(jié),，用SCSR進(jìn)行圖像放大時(shí)產(chǎn)生了較嚴(yán)重的偽影,，其PSNR值比PSCSR還要低。
圖3中為局部放大的超分目標(biāo)圖像,，除了Bicubic法外,，其余3種方法的超分效果在視覺上處于同一水平。在“Zebra”圖像中,，SCSR算法在恢復(fù)圖像邊角的銳度方面表現(xiàn)最好,，但同時(shí)伴隨了較為嚴(yán)重的鋸齒和偽影，導(dǎo)致圖像紋理發(fā)生了扭曲和形變,。PSCSR方法結(jié)果看起來較為模糊,，但是相對于其他方法，圖中斑馬脖子上的紋理細(xì)節(jié)恢復(fù)得更好,。在另一幅圖像“Girl”中,，后3種算法的超分效果非常接近。圖中女孩的眼睛和眼珠的輪廓部分都能夠清晰地還原出來,。這些與圖3中的PSNR值表現(xiàn)是一致的,。
3.2 超分速度對比
從表1中可以看出，超分耗時(shí)與圖像尺寸密切相關(guān),，圖像越大,，耗時(shí)越長，反之亦然,。3種超分方法的超分耗時(shí)的關(guān)系可以描述為：tPSCSR<tNE<tSCSR,。文中提出的PSCSR方法通過圖像分類處理和圖像降維來減少圖像超分過程中的計(jì)算量，理論上可以以此來提高超分速度,。表1的數(shù)據(jù)很好地證明了這一點(diǎn),。PSCSR方法所消耗的時(shí)間比文中提到的SCSR,、NE等典型算法都要少。5幅測試圖像的超分速度平均下來,，PSCSR能夠比SCSR快17.2 s,，比NE快12.1 s。
4 結(jié)論
為提高基于實(shí)例學(xué)習(xí)的單圖超分辨率重建算法的速度,，文中提出了一種基于圖像塊分類處理的快速超分重建算法,。一方面，根據(jù)各種典型算法的超分速度和它們對圖像中各區(qū)域的超分效果分析,，選取圖像塊的均值和方差閾值,，將圖像塊按不同的均值和方差范圍分成3類，分別采用Bicubic,、NE和SCSR 3種方法進(jìn)行圖像塊重建,，相對于完全采用稀疏編碼的方法，減少了部分計(jì)算量,。另一方面,，引入PCA對每個(gè)圖像塊進(jìn)行降維處理，維度較少的圖像塊處理過程中計(jì)算量也相對較少,。實(shí)驗(yàn)表明,，文中算法的超分效果與經(jīng)典的SCSR和NE保持在同一水平的同時(shí)，超分速度有較大幅度的提升,。在后續(xù)研究中,，可以從優(yōu)化稀疏編碼的復(fù)雜度入手，提高計(jì)算效率,，從而進(jìn)一步提高超分重建的速度,。
參考文獻(xiàn)
[1] FREEMAN W T，PASZTOR E C,，JONES T R,，et al.Example-based super-resolution[J]．IEEE Computer Graphics and Applications，2002,，22(2)：56-65.
[2] CHANG H,，YEUNG D，XIONG Y M.Super-resolution through neighbor embedding[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Washington.D.C,，USA：IEEE,，2004：275-282.
[3] GAO X，ZHANG K,，TAO D,，et al.Joint learning for single-image super-resolution via a coupled constraint[J].IEEETransactions on Image Processing，2012,，21(2)：469-480.
[4] YANG J C,，WRIGHT J,，MA Y.Image super-resolution via sparse representation[J]．IEEE Transactions on Image Procesing，2010,，19(11)：2861-2873.
[5] YANG J C，WRIGHT J,，HUANG T,，et al.Coupled dictionary training for image super-resolution[J].IEEE Transactions on Image Processing，2012,，21(8)：3467-3478.
[6] ZEYDE R,，ELAD M，PROTTER M.On single image scale-up using sparse-representations[C].Proceedings of the 7th International Conference on Curves and Surfaces Avignon,，F(xiàn)rance：Springer,，2010：1-20.
[7] YANG J，LIN Z,，COHEN S.Fast image super-resolution based on in-place example regression[C].Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2013,，Portland，2013：1059-1066.
[8] 練秋生,，張偉.基于圖像塊分類稀疏表示的超分辨率重構(gòu)算法[J].電子學(xué)報(bào),，2012，40(5)：920-925.
[9] Xie Qinlan,，Chen Hong,，Cao Huimin.Improved example-based single-image super-resolution[C].Image and Signal Processing(CISP)，2010,，3：1204-1207.
[10] 潘宗序,，禹晶，肖創(chuàng)柏,，等.基于自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率算法[J].電子學(xué)報(bào),，2015，43(2)：209-216.