0 引言

    當(dāng)前，隨著數(shù)碼電子產(chǎn)品和多媒體終端設(shè)備的普及,，圖像信號獲得了廣泛的應(yīng)用^[1-3],，伴隨而來的圖像質(zhì)量評價的研究引起了人們的重視^[4]。誤差或者信噪比等經(jīng)典方法都是基于像素失真程度大小來評價圖像質(zhì)量,，這些方法雖具有最廣泛的應(yīng)用領(lǐng)域,，但卻與人眼主觀判斷結(jié)果存在較大的差距。通過引入人眼視覺機制而提出的結(jié)構(gòu)相似度(Structural Similarity,，SSIM)方法則基于局部像素域相似度大小來評價圖像質(zhì)量^[5],。近年來，學(xué)者們相繼提出了一些改進的SSIM評價方法,，例如,，多尺度結(jié)構(gòu)(Multi Scale Structural,，MSS)方法融合了圖像的多個尺度評價結(jié)果^[6],，梯度相似度(Gradient Similarity Metric，GSM)方法融合了圖像的邊緣信息^[7],，特征相似度(Feature Similarity,，F(xiàn)SIM)方法結(jié)合了相位信息和邊緣信息^[8]，視覺顯著索引(Visual Saliency Index,，VSI)方法融合了圖像的頻率,、顏色和局部3種先驗視覺特征^[9]。此外,，基于圖像特征和視覺特性的聯(lián)合處理還提出了一些其他SSIM類方法^[10-13],。總結(jié)起來,，上述SSIM類改進方法雖然取得了一些成果,，但仍然存在一些問題，主要體現(xiàn)在：(1)僅僅提高了部分失真類型圖像的評價指標(biāo)水平,，整體上仍與人眼主觀判斷結(jié)果存在一定差距,；(2)對于圖像不同失真程度的評價結(jié)果不穩(wěn)定性；(3)多特征評價結(jié)果的乘積融合算法導(dǎo)致性能的改進效果不明顯,。上述問題說明針對復(fù)雜的實際應(yīng)用場景,，現(xiàn)有方法性能將會出現(xiàn)非常明顯的退化。

    針對上述問題,，本文提出了一種融合視覺結(jié)構(gòu)顯著和視覺能量顯著(Visual Saliency of Structure and Energy,，VSSE)特征互補的評價方法，并通過實驗測試了所提方法的評價性能,。

1 VSSE方法原理

    VSSE方法原理可用圖1描述,，包括了視覺特征處理,、視覺特征評價和視覺特征評價融合3個階段，其中,，每個階段都融合了人眼視覺系統(tǒng)(Human Vision System,，HVS)的感知處理特性。VSSE方法具體包括以下步驟：(1)利用高斯濾波函數(shù)^[8-9]對原始圖像進行卷積處理,，模擬了HVS的瞳孔感光散射特性,；(2)利用Log-gabor小波對濾波后的圖像進行二維變換，提取圖像不同層次的信息特征,，模擬了HVS的多通道信息感知特性,，并通過對比度算子^[5]和梯度算子^[9]提取每個尺度分辨率下的對比度視圖和梯度視圖；(3)將HVS的中央凹特性函數(shù)T(i,，j)和對比度敏感特性函數(shù)CSF[f(s,，o)]融入恰可識別閾值濾波算法，獲取每個尺度下的每層視覺特征稀疏視圖,，其中,，s代表Log-gabor小波的尺度因子，o代表Log-gabor小波的方向因子,；(4)基于SSIM評價算法計算失真圖像在每個尺度下的每層視覺特征的評價視圖,；(5)以T(i，j)作為權(quán)重,，對失真圖像的每個尺度下的每層視覺特征的評價視圖分別進行融合,，獲得對應(yīng)尺度下的對應(yīng)視覺特征的評價結(jié)果分值；(6)以CSF[f(s,，o)]作為權(quán)重,，對失真圖像同一個視覺特征下的多個尺度評價結(jié)果分值進行融合，獲得對應(yīng)視覺特征下的評價結(jié)果分值,；(7)基于HVS的視覺自適應(yīng)特性和圖像失真程度,，對視覺灰度能量特征評價、視覺對比度能量特征評價和視覺梯度結(jié)構(gòu)評價依次進行融合,，最終獲得失真圖像質(zhì)量的結(jié)果分值,。

1.1 視覺特征評價原理

    基于SSIM評價算法，分別對失真圖像的視覺灰度特征,、視覺對比度特征和視覺梯度特征的多尺度通道視圖進行評價,，原理如下：

1.2 視覺特征評價融合原理

1.2.1 尺度內(nèi)局部中央凹空域加權(quán)融合

    鑒于現(xiàn)有參考文獻(xiàn)的不足^{[5，8,，14-16]},，本研究提出視覺特征顯著和視覺中央凹空域分辨率兩步聯(lián)合權(quán)重，視覺特征顯著加權(quán)融合算法如下：

1.2.2 尺度間對比度頻域加權(quán)融合

    基于對比度頻域權(quán)重的尺度間融合算法如下：

式中，J為o的數(shù)量,，K為s的數(shù)量,。

1.2.3 基于圖像失真度的視覺自適應(yīng)融合

    基于回歸擬合函數(shù)將各層視覺特征評價從內(nèi)至外逐層融合，首先將視覺灰度評價Z_L和視覺對比度評價Z_σ進行融合,，獲得視覺能量評價Z_E如下：

2 實驗分析

2.1 實驗方案設(shè)置

    本實驗方案如圖2所示,，本實驗采用了國際上權(quán)威的LIVE數(shù)據(jù)庫，根據(jù)LIVE數(shù)據(jù)庫中不同的圖像失真類型,，將每幀失真圖像的客觀評價分值通過曲線方程進行數(shù)據(jù)擬合,，然后根據(jù)主觀評價結(jié)果(Difference Mean Opinion Score，DMOS)測試所提方法的評價指標(biāo)水平,。

    參照VQEG標(biāo)準(zhǔn),，本實驗曲線擬合方程如下：

式中，x為客觀評價結(jié)果分值,，y(x)為擬合結(jié)果分值,，β₁、β₂,、β₃,、β₄、β₅均為根據(jù)VQEG標(biāo)準(zhǔn)設(shè)置的擬合參數(shù),。測試指標(biāo)采用了VQEG標(biāo)準(zhǔn)建議的RMSE,、PLCC和SROCC,，其中,，RMSE為均方根誤差指標(biāo)，該項數(shù)值越大說明對應(yīng)方法的RMSE指標(biāo)水平越低,，PLCC為主客觀評價結(jié)果的擬合相關(guān)系數(shù),，SROCC為主客觀評價結(jié)果的排序相關(guān)系數(shù)，PLCC和SROCC的數(shù)值越大說明對應(yīng)方法的PLCC和SROCC指標(biāo)水平越高,。參照相關(guān)參考文獻(xiàn)^[10-13]對有關(guān)參數(shù)進行設(shè)置,，其中，C=0.000 1,，[Q(s,，o)，P(s,，o)]=16×16,。

2.2 失真類型的測試結(jié)果分析

    表1是各種方法基于5種失真類型圖像的均方根誤差RMSE、Spearman秩序相關(guān)系數(shù)PLCC和Pearson線性相關(guān)系數(shù)SROCC 3個指標(biāo)水平的測試結(jié)果,，參與比較的方法除了引言中介紹的一些方法外還增加了多尺度結(jié)構(gòu)相似度(Multi Scale Structure Similarity,，MSSIM)、信息評價(Information Fidelity Criterion，IFC)和視覺信息評價(Visual Information Fidelity,，VIF)3個主流方法,。實驗結(jié)果數(shù)據(jù)說明，針對復(fù)雜的實際應(yīng)用場景,，當(dāng)圖像面臨不同的干擾因素而表現(xiàn)出不同的失真類型時,，現(xiàn)有客觀方法的評價性能將會出現(xiàn)非常明顯的退化。其中,，SSIM方法的3項評價指標(biāo)水平在JPEG失真類型上退化明顯(RMSE=6.749 3,，PLCC=0.960 5，SROCC=0.961 0),，MSSIM方法的RMSE和PLCC兩項評價指標(biāo)水平在JPEG2000,、JPEG和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=6.010 5，PLCC=0.958 1),，IFC方法的RMSE評價指標(biāo)水平在JPEG2000和JPEG兩種失真類型上出現(xiàn)明顯下降(RMSE=6.316 7),，VIF方法的3項評價指標(biāo)水平在gblur失真類型上均出現(xiàn)嚴(yán)重下降(RMSE=8.252 7，PLCC=0.925 2,，SROCC=0.900 3),，GSM方法的RMSE和PLCC兩項評價指標(biāo)水平在JPEG、gblur和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=6.844 1,，PLCC=0.959 4),，F(xiàn)SIM方法的RMSE和PLCC兩項評價指標(biāo)水平在JPEG2000、JPEG和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=7.122 9,，PLCC=0.955 9),，VSI方法的RMSE和PLCC兩項評價指標(biāo)水平在JPEG2000、JPEG,、gblur和fastfading 4種失真類型上均出現(xiàn)明顯下降(RMSE=7.059 6,，PLCC=0.947 6)。

    相對上述方法的不足,，本研究所提VSSE方法的優(yōu)勢非常明顯,，針對JPEG2000、JPEG,、WN,、gblur和fastfading 5種不同的失真類型，VSSE方法的3項評價指標(biāo)均保持了較高的水平（RMSE≤6.0,，PLCC≥0.962 0,，SROCC≥0.960 9）。表1中數(shù)據(jù)還說明,，當(dāng)圖像的失真機理很難明確或者存在較多的綜合失真因素時,，即針對各種失真類型的總體ALL評價上,，SSIM、MSSIM,、VIF,、GSM、FSIM和VSI方法的3項評價指標(biāo)水平均有非常嚴(yán)重的退化（RMSE≥7.276 2,，PLCC≤0.949 2,，SROCC≤0.960 9），而IFC方法也僅僅是對PLCC一個指標(biāo)水平取得了提高（PLCC=0.964 3）,，但是RMSE和SROCC兩個指標(biāo)水平仍然不高（RMSE=6.122 1,，SROCC=0.949 2)。相對上述方法的不足,，本研究所提VSSE方法的3項評價指標(biāo)水平均取得了明顯的優(yōu)勢（RMSE=5.760 1,，PLCC=0.968 5，SROCC=0.963 0）,，其中,，RMSE指標(biāo)水平相對最優(yōu)IFC方法提高了6個百分點，PLCC和SROCC兩項指標(biāo)也分別優(yōu)于其他的最優(yōu)方法,。綜上,，針對實際應(yīng)用場景，其他方法客觀評價性能均出現(xiàn)了非常明顯的退化,，但是所提VSSE方法卻具有較好的性能,，評價結(jié)果更接近人眼的主觀判斷。圖3是SSIM,、MSSIM、VSI,、FSIM、IFC,、VIF,、GSM和所提VSSE方法的主、客觀評價結(jié)果散點分布圖,，對比說明所提VSSE方法的主、客觀評價結(jié)果具有最好的線性度和區(qū)分度,。

3 結(jié)論

    本文充分將人眼視覺系統(tǒng)的多種顯著感知特性融入圖像特征處理、圖像特征評價和圖像評價融合的多個環(huán)節(jié),，并基于視覺特性和圖像失真度將各層特征評價逐步進行深度自適應(yīng)融合。實驗結(jié)果表明,，所提方法提高了現(xiàn)有方法在實際應(yīng)用場景下的評價性能,。下一步研究將結(jié)合人類視覺系統(tǒng)和人工智能理論探討圖像質(zhì)量客觀評價算法的評價融合策略。

參考文獻(xiàn)

[1] 李先友,，趙曙光,，段永成,，等.基于FPGA的實時MIPI CSI-2圖像采集與處理系統(tǒng)[J].電子技術(shù)應(yīng)用,，2019，45(1)：97-100.

[2] 吳曉元,，常海濤,，茍軍年.Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術(shù)應(yīng)用,，2019,，45(1)：76-80.

[3] 陳文藝,，張龍，楊輝.HDR圖像色調(diào)映射的自適應(yīng)色彩調(diào)節(jié)算法[J].電子技術(shù)應(yīng)用,，2018，44(11)：107-110.

[4] ZHANG Y C,，KING N N，MA L,，et al.Objective quality assessment of image retargeting by incorporating fidelity measures and inconsistency detection[J].IEEE Transactions on Image Processing，2017,，26(11)：5980-5993.

[5] WANG Z，BOVIK A C,，SHEIKH H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Processing,，2004，13(4)：600-612.

[6] GUO L,，CHEN W L，LIAO Y,，et al.Multi-scale structural image quality assessment based on two-stage low-level features[J].Computers and Electrical Engineering,，2014,，40(4)：1101-1110.

[7] LIU A,，LIN W,，NARWARIA M.Image quality assessment based on gradient similarity[J].IEEE Transaction on Image Processing，2012,，21(4)：1500-1512.

[8] ZHANG L，ZHANG L,，MOU X Q，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transaction on Image Processing,，2011,，20(8)：2378-2386.

[9] ZHANG L,，SHEN Y，LI H Y.VSI:a visual saliency-induced index for perceptual image quality assessment[J].IEEE Transaction on Image Processing,，2014，23(10)：4270-4281.

[10] 豐明坤,，王中鵬，葉綠.視覺稀疏化多通道多特征自適應(yīng)的圖像評價[J].儀器儀表學(xué)報，2016,，37(3)：667-674.

[11] 豐明坤，趙生妹,，邢超.基于視覺顯著失真度的圖像質(zhì)量自適應(yīng)評價方法[J].電子與信息學(xué)報，2015,，37(9)：2062-2068.

[12] 豐明坤,，趙生妹,，施祥.視覺多通道梯度與低階矩自適應(yīng)圖像評價[J].儀器儀表學(xué)報,，2015,，36(11)：2531-2537.

[13] 林志潔,，豐明坤.深度視覺特征與策略互補融合的圖像質(zhì)量評價[J].模式識別與人工智能,，2017,，30(8)：682-691.

[14] XUE W F，ZHANG L,，MOU X Q,，et al.Gradient magnitude similarity deviation：s highly efficient perceptual image quality index[J].IEEE Transactions on Image Processing，2014,，23(2)：684-695.

[15] ZHANG X D，F(xiàn)ENG X C,，WANG W W，et al.Edge strength similarity for image quality assessment[J].IEEE Signal Processing Letters,，2013,，20(4)：319-322.

[16] WANG T H，JIA H Z,，SHU H Z.Full reference image quality assessment algorithm based on gradient magnitude and histogram of oriented gradient[J].Journal of Southeast University，2018,，48(2)：276-281.

作者信息:

王賽嬌1,，2

(1.臺州廣播電視大學(xué),，浙江 臺州318000；2.杭州電子科技大學(xué) 計算機學(xué)院,，浙江 杭州310018)