摘 要: 提出一種基于顯著圖與稀疏特征的圖像視覺評價(jià)算法,,其中顯著圖類似于視覺閾值,提取出圖像中的視覺注意區(qū)域,,并使用獨(dú)立成分分析(Independent Component Analysis ,,ICA)等同于稀疏編碼,來提取該區(qū)域的稀疏特征,。最后通過綜合特征相似性和灰度相關(guān)性,,得到一種全參考圖像質(zhì)量評價(jià)方法。通過在3個(gè)標(biāo)準(zhǔn)圖像數(shù)據(jù)庫測試的結(jié)果表明,,相對于其他評價(jià)算法,,該方法很好地?cái)M合了人眼主觀評價(jià)。
關(guān)鍵詞: 稀疏特征,;顯著圖,;ICA;圖像質(zhì)量評價(jià)
0 引言
在圖像的獲取,、壓縮,、傳輸、儲存和重構(gòu)的過程中,,經(jīng)常伴隨著圖像的視覺效果的變化,,有很多方法可以用來度量這種變化對圖像視覺質(zhì)量的影響,。隨著圖像與視頻處理技術(shù)的發(fā)展,人們也越來越需要更加精確的圖像評價(jià)方法,。
圖像質(zhì)量評價(jià)方法可以分成兩大類:通過人眼的主觀評價(jià)和使用算法模擬人眼視覺的客觀評價(jià),。客觀評價(jià)算法的理想效果是其預(yù)測評價(jià)結(jié)果能考慮人眼主觀評價(jià)的視覺機(jī)理,??陀^評價(jià)方法又可分為三種類型:全參考、半?yún)⒖己蜔o參考圖像評價(jià),,本文提出的是一種全參考的評價(jià)方法,,即參考圖像是完全已知的。
在視覺領(lǐng)域,,視覺皮層負(fù)責(zé)人對視覺世界大部分的意識感知,是HVS的重要組成部分[1],。稀疏編碼,,類似于ICA[2],已被證明與視覺皮層測量有關(guān),,而且能提供很好的圖像質(zhì)量的量化預(yù)測,。本文所采用的方法是結(jié)合圖像顯著圖與稀疏特征,構(gòu)造出一種度量圖像視覺效果的指標(biāo),。參考文獻(xiàn)[3]提出了一種視覺信噪比方法(VSNR),,該方法分為兩個(gè)階段:首先用視覺閾值篩選出視覺失真部分,然后量化失真部分,,作為圖像視覺質(zhì)量評價(jià)指標(biāo),。本文中,顯著圖類似于視覺閾值,,篩選出視覺重要的參考與失真圖像塊對,,然后利用特征檢測矩陣提取圖像塊的稀疏特征,最后綜合失真圖像與原始圖像的特征相似度與灰度相關(guān)性,,得到一個(gè)度量指標(biāo),。
1 圖像視覺質(zhì)量評價(jià)方法
本文提出的評價(jià)方法的完整流程圖如圖1所示。
1.1 特征檢測矩陣的訓(xùn)練
每一幅圖像或圖像塊x都可以用矩陣A中的基向量與系數(shù)向量s的線性疊加來表示:x=A*s,。通過轉(zhuǎn)化又可以變換為s=W*x(W為A的逆矩陣),,系數(shù)向量s稱為圖像的稀疏特征。通常稀疏編碼的目的是為了得到一個(gè)權(quán)值矩陣W,,本文稱其為特征檢測矩陣,,將圖像塊變換成一個(gè)稀疏系數(shù)向量s。
本文選擇FastICA算法[4]從矩陣z中學(xué)習(xí)得到特征檢測矩陣,,z為原始樣本的轉(zhuǎn)換矩陣,。首先通過定點(diǎn)法來更新正交矩陣Ww的每一列,,ww是正交矩陣的列向量:
其中,p代表一次迭代過程,,E(·)表示期望,,g(·)是方程G(·)的導(dǎo)數(shù),g′(·)是g(·)的導(dǎo)數(shù),。
其中,,迭代閾值為:
M等于8。最終:
V是在PCA降維過程中得到的8×64的白化矩陣,,經(jīng)過一系列轉(zhuǎn)換最終得到8×64的特征檢測矩陣W,。
1.2 圖像顯著圖
對于人眼視覺,并不是每一個(gè)圖像塊都具有同等的視覺重要性,??梢酝ㄟ^一些量化手段,提取圖像中的視覺重要區(qū)域,。本文選用一種譜殘余(Spectral Residual,,SR)[5]的方法提取圖像的顯著區(qū)域。SR方法通過處理圖像的幅度譜得到殘余譜,,再利用傅里葉變換得到空間域顯著圖,。
1.3 參考-失真圖像塊對的選擇
本文用A表示參考圖像,B表示失真圖像,,O表示參考圖像的目標(biāo)圖,。將這三幅圖像分成8×8且不重疊的圖像塊,然后將每個(gè)圖像塊展開成向量形式,。
其中,,N表示圖像塊的個(gè)數(shù),和則表示為選擇后的圖像塊,。
1.4 特征提取與特征相似性測量
選擇完參考-失真圖像塊對后,,分別提取參考圖像與失真圖像塊的稀疏特征。經(jīng)過變換后的圖像塊向量都會變成一個(gè)8×1的稀疏系數(shù)向量,。
Yref和Ydis分別為參考圖像與失真圖像的稀疏特征矩陣,。所以,關(guān)于參考-失真圖像的特征相似性的測量可以表示為:
其中,,M和N分別代表特征矩陣的行數(shù)和列數(shù),,C為一個(gè)接近于0的正實(shí)數(shù)。
1.5 灰度相關(guān)性測量
本文僅測量圖像顯著性區(qū)域的灰度相關(guān)性,,其目的是為了減少非顯著區(qū)域?qū)φw評價(jià)所產(chǎn)生的干擾,。
分別表示Ath與Bth的均值,C1為一個(gè)接近于0的正實(shí)數(shù),。
1.6 綜合評價(jià)
整合以上兩種測量方法,,可以得到一種綜合的評價(jià)指標(biāo):
本文中,,u的取值為0.55。
2實(shí)驗(yàn)分析
在實(shí)驗(yàn)中,,本文采用了三個(gè)獨(dú)立的圖像數(shù)據(jù)庫來驗(yàn)證所提出的圖像視覺質(zhì)量評價(jià)算法,,分別是TID2008[6]、CSIQ[7]和A57[2],。該數(shù)據(jù)庫涵蓋了如壓縮效應(yīng),、模糊、閃變效應(yīng)噪聲和傳輸效應(yīng)失真等,,每一個(gè)圖像庫都附帶人眼主觀評價(jià)分?jǐn)?shù),。本文使用了斯皮爾曼相關(guān)系數(shù)(SROCC)、皮爾遜相關(guān)系數(shù)(PLOCC)和均方誤差(RMS)評估指標(biāo)來比較這些客觀結(jié)果與主觀結(jié)果,。
最后,,將本文評價(jià)算法的性能評估結(jié)果與一些圖像評價(jià)算法進(jìn)行比較,這些算法包括:PSNR,、SSIM[8],、PHVSM[9]、IFC[10],、VSNR[3]以及MAD[7]。表1展示了最終的比較結(jié)果,,其中權(quán)值平均表示根據(jù)各個(gè)圖像數(shù)據(jù)庫的情況加權(quán)求均值,。對于評估指標(biāo)SROCC、PLOCC和RMS,,SROCC和PLOCC越接近1表示性能越好,,而RMS則越小越好。
從實(shí)驗(yàn)的結(jié)果可以看出,,在圖庫TID2008和CSIQ中,,相比于其他算法,本文方法的性能更具有優(yōu)越性,。但是由于SR方法在壓制圖像非顯著性信息的同時(shí)也壓制了顯著性信息,,因此在強(qiáng)調(diào)細(xì)節(jié)重要性的A57圖庫中,本文方法的效果并不十分明顯,。
3 結(jié)論
人眼在處理自然場景或圖片時(shí),,并不是對每一個(gè)空間位置的畸變都能引起同等的視覺注意。本文正是基于這種理念,,只對圖像中的顯著性區(qū)域進(jìn)行分析,,對該區(qū)域的每一個(gè)圖像塊的稀疏特征進(jìn)行比較,力求做到更細(xì)化的處理,。最終的實(shí)驗(yàn)結(jié)果證明,,本文方法能得到一個(gè)不錯(cuò)的評價(jià)效果,,但是對于SR方法的局限性仍有改進(jìn)的空間。此外,,用ICA來模擬視覺初期也可以用更加細(xì)化的方法替代,,這些都是下一步的研究重點(diǎn)。
參考文獻(xiàn)
[1] SIMONCELLI E P,, OLSHAUSEN B A. Natural image statistics and neural representation[J]. Annual Review of Neuroscience,,2001, 24(1): 1193-1216.
[2] HYVARINEN A,, KARHUNEN J,, OJA E. Independent component analysis[M]. John Wiley & Sons, 2004.
[3] CHANDLER D M,, HEMAMI S S. VSNR: a wavelet-Based visual signal-to-noise ratio for natural images[J]. Image Processing,, IEEE Transactions on, 2007,,16(9):2284-2298.
[4] HYVARINEN A. Fast and robust fixed-point algorithms for independent component analysis[J]. IEEE Transactions on Neural Networks,, 1999,10(3):626-634.
[5] Hou Xiaodi,, Zhang Liqing. Saliency detection: a spectral residual approach[C]. IEEE Conference on Computer Vision and Pattern Recognition,, CVPR′07,IEEE,, 2007:1-8.
[6] PONOMARENKO N,, LUKIN V, ZELENSKY A,, et al. TID2008-a database for evaluation of full-reference visual quality assessment metrics[J]. Advances of Modern Radioelectronics,, 2009,10(4):30-45.
[7] LARSON E C,, CHANDLER D M. Most apparent distortion: full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging,, 2010,19(1): 011006-1-011006-21.
[8] WANG Z,, BOVIK A C,, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing,, 2004,, 13(4): 600-612.
[9] PONOMARENKO N, SILVESTRI F,, EGIAZARIAN K,, et al. On between-coefficient contrast masking of DCT basis functions[C]. Proceedings of the Third International Workshop on Video Processing and Quality Metrics, 2007.
[10] SHEIKH H R, BOVIK A C,, DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Transactions on Image Processing,, 2005,14(12):2117-2128.