0 引言

    當(dāng)前,，隨著數(shù)碼電子產(chǎn)品和多媒體終端設(shè)備的普及，圖像信號(hào)獲得了廣泛的應(yīng)用^[1-3],，伴隨而來(lái)的圖像質(zhì)量評(píng)價(jià)的研究引起了人們的重視^[4],。誤差或者信噪比等經(jīng)典方法都是基于像素失真程度大小來(lái)評(píng)價(jià)圖像質(zhì)量，這些方法雖具有最廣泛的應(yīng)用領(lǐng)域,，但卻與人眼主觀判斷結(jié)果存在較大的差距,。通過(guò)引入人眼視覺(jué)機(jī)制而提出的結(jié)構(gòu)相似度(Structural Similarity,，SSIM)方法則基于局部像素域相似度大小來(lái)評(píng)價(jià)圖像質(zhì)量^[5],。近年來(lái)，學(xué)者們相繼提出了一些改進(jìn)的SSIM評(píng)價(jià)方法,，例如,，多尺度結(jié)構(gòu)(Multi Scale Structural，MSS)方法融合了圖像的多個(gè)尺度評(píng)價(jià)結(jié)果^[6],，梯度相似度(Gradient Similarity Metric,，GSM)方法融合了圖像的邊緣信息^[7],，特征相似度(Feature Similarity，F(xiàn)SIM)方法結(jié)合了相位信息和邊緣信息^[8],，視覺(jué)顯著索引(Visual Saliency Index,，VSI)方法融合了圖像的頻率、顏色和局部3種先驗(yàn)視覺(jué)特征^[9],。此外,，基于圖像特征和視覺(jué)特性的聯(lián)合處理還提出了一些其他SSIM類方法^[10-13]?？偨Y(jié)起來(lái),，上述SSIM類改進(jìn)方法雖然取得了一些成果，但仍然存在一些問(wèn)題,，主要體現(xiàn)在：(1)僅僅提高了部分失真類型圖像的評(píng)價(jià)指標(biāo)水平,，整體上仍與人眼主觀判斷結(jié)果存在一定差距；(2)對(duì)于圖像不同失真程度的評(píng)價(jià)結(jié)果不穩(wěn)定性,；(3)多特征評(píng)價(jià)結(jié)果的乘積融合算法導(dǎo)致性能的改進(jìn)效果不明顯,。上述問(wèn)題說(shuō)明針對(duì)復(fù)雜的實(shí)際應(yīng)用場(chǎng)景，現(xiàn)有方法性能將會(huì)出現(xiàn)非常明顯的退化,。

    針對(duì)上述問(wèn)題,，本文提出了一種融合視覺(jué)結(jié)構(gòu)顯著和視覺(jué)能量顯著(Visual Saliency of Structure and Energy，VSSE)特征互補(bǔ)的評(píng)價(jià)方法,，并通過(guò)實(shí)驗(yàn)測(cè)試了所提方法的評(píng)價(jià)性能,。

1 VSSE方法原理

    VSSE方法原理可用圖1描述，包括了視覺(jué)特征處理,、視覺(jué)特征評(píng)價(jià)和視覺(jué)特征評(píng)價(jià)融合3個(gè)階段,，其中，每個(gè)階段都融合了人眼視覺(jué)系統(tǒng)(Human Vision System,，HVS)的感知處理特性,。VSSE方法具體包括以下步驟：(1)利用高斯濾波函數(shù)^[8-9]對(duì)原始圖像進(jìn)行卷積處理，模擬了HVS的瞳孔感光散射特性,；(2)利用Log-gabor小波對(duì)濾波后的圖像進(jìn)行二維變換,，提取圖像不同層次的信息特征，模擬了HVS的多通道信息感知特性,，并通過(guò)對(duì)比度算子^[5]和梯度算子^[9]提取每個(gè)尺度分辨率下的對(duì)比度視圖和梯度視圖,；(3)將HVS的中央凹特性函數(shù)T(i，j)和對(duì)比度敏感特性函數(shù)CSF[f(s,，o)]融入恰可識(shí)別閾值濾波算法,，獲取每個(gè)尺度下的每層視覺(jué)特征稀疏視圖，其中,，s代表Log-gabor小波的尺度因子,，o代表Log-gabor小波的方向因子,；(4)基于SSIM評(píng)價(jià)算法計(jì)算失真圖像在每個(gè)尺度下的每層視覺(jué)特征的評(píng)價(jià)視圖；(5)以T(i,，j)作為權(quán)重,，對(duì)失真圖像的每個(gè)尺度下的每層視覺(jué)特征的評(píng)價(jià)視圖分別進(jìn)行融合，獲得對(duì)應(yīng)尺度下的對(duì)應(yīng)視覺(jué)特征的評(píng)價(jià)結(jié)果分值,；(6)以CSF[f(s,，o)]作為權(quán)重，對(duì)失真圖像同一個(gè)視覺(jué)特征下的多個(gè)尺度評(píng)價(jià)結(jié)果分值進(jìn)行融合,，獲得對(duì)應(yīng)視覺(jué)特征下的評(píng)價(jià)結(jié)果分值,；(7)基于HVS的視覺(jué)自適應(yīng)特性和圖像失真程度，對(duì)視覺(jué)灰度能量特征評(píng)價(jià),、視覺(jué)對(duì)比度能量特征評(píng)價(jià)和視覺(jué)梯度結(jié)構(gòu)評(píng)價(jià)依次進(jìn)行融合,，最終獲得失真圖像質(zhì)量的結(jié)果分值。

1.1 視覺(jué)特征評(píng)價(jià)原理

    基于SSIM評(píng)價(jià)算法,，分別對(duì)失真圖像的視覺(jué)灰度特征,、視覺(jué)對(duì)比度特征和視覺(jué)梯度特征的多尺度通道視圖進(jìn)行評(píng)價(jià)，原理如下：

1.2 視覺(jué)特征評(píng)價(jià)融合原理

1.2.1 尺度內(nèi)局部中央凹空域加權(quán)融合

    鑒于現(xiàn)有參考文獻(xiàn)的不足^{[5,，8,，14-16]}，本研究提出視覺(jué)特征顯著和視覺(jué)中央凹空域分辨率兩步聯(lián)合權(quán)重,，視覺(jué)特征顯著加權(quán)融合算法如下：

1.2.2 尺度間對(duì)比度頻域加權(quán)融合

    基于對(duì)比度頻域權(quán)重的尺度間融合算法如下：

式中,，J為o的數(shù)量，K為s的數(shù)量,。

1.2.3 基于圖像失真度的視覺(jué)自適應(yīng)融合

    基于回歸擬合函數(shù)將各層視覺(jué)特征評(píng)價(jià)從內(nèi)至外逐層融合,，首先將視覺(jué)灰度評(píng)價(jià)Z_L和視覺(jué)對(duì)比度評(píng)價(jià)Z_σ進(jìn)行融合，獲得視覺(jué)能量評(píng)價(jià)Z_E如下：

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)方案設(shè)置

    本實(shí)驗(yàn)方案如圖2所示,，本實(shí)驗(yàn)采用了國(guó)際上權(quán)威的LIVE數(shù)據(jù)庫(kù),，根據(jù)LIVE數(shù)據(jù)庫(kù)中不同的圖像失真類型，將每幀失真圖像的客觀評(píng)價(jià)分值通過(guò)曲線方程進(jìn)行數(shù)據(jù)擬合,，然后根據(jù)主觀評(píng)價(jià)結(jié)果(Difference Mean Opinion Score,，DMOS)測(cè)試所提方法的評(píng)價(jià)指標(biāo)水平。

    參照VQEG標(biāo)準(zhǔn),，本實(shí)驗(yàn)曲線擬合方程如下：

式中,，x為客觀評(píng)價(jià)結(jié)果分值，y(x)為擬合結(jié)果分值,，β₁,、β₂,、β₃,、β₄,、β₅均為根據(jù)VQEG標(biāo)準(zhǔn)設(shè)置的擬合參數(shù)。測(cè)試指標(biāo)采用了VQEG標(biāo)準(zhǔn)建議的RMSE,、PLCC和SROCC,，其中，RMSE為均方根誤差指標(biāo),，該項(xiàng)數(shù)值越大說(shuō)明對(duì)應(yīng)方法的RMSE指標(biāo)水平越低,，PLCC為主客觀評(píng)價(jià)結(jié)果的擬合相關(guān)系數(shù)，SROCC為主客觀評(píng)價(jià)結(jié)果的排序相關(guān)系數(shù),，PLCC和SROCC的數(shù)值越大說(shuō)明對(duì)應(yīng)方法的PLCC和SROCC指標(biāo)水平越高,。參照相關(guān)參考文獻(xiàn)^[10-13]對(duì)有關(guān)參數(shù)進(jìn)行設(shè)置，其中,，C=0.000 1,，[Q(s，o),，P(s,，o)]=16×16。

2.2 失真類型的測(cè)試結(jié)果分析

    表1是各種方法基于5種失真類型圖像的均方根誤差RMSE,、Spearman秩序相關(guān)系數(shù)PLCC和Pearson線性相關(guān)系數(shù)SROCC 3個(gè)指標(biāo)水平的測(cè)試結(jié)果,，參與比較的方法除了引言中介紹的一些方法外還增加了多尺度結(jié)構(gòu)相似度(Multi Scale Structure Similarity，MSSIM),、信息評(píng)價(jià)(Information Fidelity Criterion,，IFC)和視覺(jué)信息評(píng)價(jià)(Visual Information Fidelity，VIF)3個(gè)主流方法,。實(shí)驗(yàn)結(jié)果數(shù)據(jù)說(shuō)明,，針對(duì)復(fù)雜的實(shí)際應(yīng)用場(chǎng)景，當(dāng)圖像面臨不同的干擾因素而表現(xiàn)出不同的失真類型時(shí),，現(xiàn)有客觀方法的評(píng)價(jià)性能將會(huì)出現(xiàn)非常明顯的退化,。其中，SSIM方法的3項(xiàng)評(píng)價(jià)指標(biāo)水平在JPEG失真類型上退化明顯(RMSE=6.749 3,，PLCC=0.960 5,，SROCC=0.961 0)，MSSIM方法的RMSE和PLCC兩項(xiàng)評(píng)價(jià)指標(biāo)水平在JPEG2000,、JPEG和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=6.010 5,，PLCC=0.958 1)，IFC方法的RMSE評(píng)價(jià)指標(biāo)水平在JPEG2000和JPEG兩種失真類型上出現(xiàn)明顯下降(RMSE=6.316 7),，VIF方法的3項(xiàng)評(píng)價(jià)指標(biāo)水平在gblur失真類型上均出現(xiàn)嚴(yán)重下降(RMSE=8.252 7,，PLCC=0.925 2，SROCC=0.900 3)，GSM方法的RMSE和PLCC兩項(xiàng)評(píng)價(jià)指標(biāo)水平在JPEG,、gblur和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=6.844 1,，PLCC=0.959 4)，F(xiàn)SIM方法的RMSE和PLCC兩項(xiàng)評(píng)價(jià)指標(biāo)水平在JPEG2000,、JPEG和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=7.122 9,，PLCC=0.955 9)，VSI方法的RMSE和PLCC兩項(xiàng)評(píng)價(jià)指標(biāo)水平在JPEG2000,、JPEG,、gblur和fastfading 4種失真類型上均出現(xiàn)明顯下降(RMSE=7.059 6，PLCC=0.947 6),。

    相對(duì)上述方法的不足,，本研究所提VSSE方法的優(yōu)勢(shì)非常明顯，針對(duì)JPEG2000,、JPEG,、WN、gblur和fastfading 5種不同的失真類型,，VSSE方法的3項(xiàng)評(píng)價(jià)指標(biāo)均保持了較高的水平（RMSE≤6.0,，PLCC≥0.962 0，SROCC≥0.960 9）,。表1中數(shù)據(jù)還說(shuō)明,，當(dāng)圖像的失真機(jī)理很難明確或者存在較多的綜合失真因素時(shí)，即針對(duì)各種失真類型的總體ALL評(píng)價(jià)上,，SSIM,、MSSIM、VIF,、GSM,、FSIM和VSI方法的3項(xiàng)評(píng)價(jià)指標(biāo)水平均有非常嚴(yán)重的退化（RMSE≥7.276 2，PLCC≤0.949 2,，SROCC≤0.960 9）,，而IFC方法也僅僅是對(duì)PLCC一個(gè)指標(biāo)水平取得了提高（PLCC=0.964 3），但是RMSE和SROCC兩個(gè)指標(biāo)水平仍然不高（RMSE=6.122 1,，SROCC=0.949 2),。相對(duì)上述方法的不足，本研究所提VSSE方法的3項(xiàng)評(píng)價(jià)指標(biāo)水平均取得了明顯的優(yōu)勢(shì)（RMSE=5.760 1,，PLCC=0.968 5,，SROCC=0.963 0），其中,，RMSE指標(biāo)水平相對(duì)最優(yōu)IFC方法提高了6個(gè)百分點(diǎn),，PLCC和SROCC兩項(xiàng)指標(biāo)也分別優(yōu)于其他的最優(yōu)方法,。綜上，針對(duì)實(shí)際應(yīng)用場(chǎng)景,，其他方法客觀評(píng)價(jià)性能均出現(xiàn)了非常明顯的退化,，但是所提VSSE方法卻具有較好的性能，評(píng)價(jià)結(jié)果更接近人眼的主觀判斷,。圖3是SSIM、MSSIM,、VSI,、FSIM、IFC,、VIF,、GSM和所提VSSE方法的主、客觀評(píng)價(jià)結(jié)果散點(diǎn)分布圖,，對(duì)比說(shuō)明所提VSSE方法的主,、客觀評(píng)價(jià)結(jié)果具有最好的線性度和區(qū)分度。

3 結(jié)論

    本文充分將人眼視覺(jué)系統(tǒng)的多種顯著感知特性融入圖像特征處理,、圖像特征評(píng)價(jià)和圖像評(píng)價(jià)融合的多個(gè)環(huán)節(jié),，并基于視覺(jué)特性和圖像失真度將各層特征評(píng)價(jià)逐步進(jìn)行深度自適應(yīng)融合。實(shí)驗(yàn)結(jié)果表明,，所提方法提高了現(xiàn)有方法在實(shí)際應(yīng)用場(chǎng)景下的評(píng)價(jià)性能,。下一步研究將結(jié)合人類視覺(jué)系統(tǒng)和人工智能理論探討圖像質(zhì)量客觀評(píng)價(jià)算法的評(píng)價(jià)融合策略。

參考文獻(xiàn)

[1] 李先友,，趙曙光,，段永成，等.基于FPGA的實(shí)時(shí)MIPI CSI-2圖像采集與處理系統(tǒng)[J].電子技術(shù)應(yīng)用,，2019,，45(1)：97-100.

[2] 吳曉元，常海濤,，茍軍年.Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術(shù)應(yīng)用,，2019，45(1)：76-80.

[3] 陳文藝,，張龍,，楊輝.HDR圖像色調(diào)映射的自適應(yīng)色彩調(diào)節(jié)算法[J].電子技術(shù)應(yīng)用，2018,，44(11)：107-110.

[4] ZHANG Y C,，KING N N，MA L,，et al.Objective quality assessment of image retargeting by incorporating fidelity measures and inconsistency detection[J].IEEE Transactions on Image Processing,，2017，26(11)：5980-5993.

[5] WANG Z，BOVIK A C,，SHEIKH H R,，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004,，13(4)：600-612.

[6] GUO L,，CHEN W L，LIAO Y,，et al.Multi-scale structural image quality assessment based on two-stage low-level features[J].Computers and Electrical Engineering,，2014，40(4)：1101-1110.

[7] LIU A,，LIN W,，NARWARIA M.Image quality assessment based on gradient similarity[J].IEEE Transaction on Image Processing，2012,，21(4)：1500-1512.

[8] ZHANG L,，ZHANG L，MOU X Q,，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transaction on Image Processing,，2011，20(8)：2378-2386.

[9] ZHANG L,，SHEN Y,，LI H Y.VSI:a visual saliency-induced index for perceptual image quality assessment[J].IEEE Transaction on Image Processing，2014,，23(10)：4270-4281.

[10] 豐明坤,，王中鵬，葉綠.視覺(jué)稀疏化多通道多特征自適應(yīng)的圖像評(píng)價(jià)[J].儀器儀表學(xué)報(bào),，2016,，37(3)：667-674.

[11] 豐明坤，趙生妹,，邢超.基于視覺(jué)顯著失真度的圖像質(zhì)量自適應(yīng)評(píng)價(jià)方法[J].電子與信息學(xué)報(bào),，2015，37(9)：2062-2068.

[12] 豐明坤,，趙生妹,，施祥.視覺(jué)多通道梯度與低階矩自適應(yīng)圖像評(píng)價(jià)[J].儀器儀表學(xué)報(bào)，2015,，36(11)：2531-2537.

[13] 林志潔,，豐明坤.深度視覺(jué)特征與策略互補(bǔ)融合的圖像質(zhì)量評(píng)價(jià)[J].模式識(shí)別與人工智能，2017,，30(8)：682-691.

[14] XUE W F,，ZHANG L,，MOU X Q，et al.Gradient magnitude similarity deviation：s highly efficient perceptual image quality index[J].IEEE Transactions on Image Processing,，2014,，23(2)：684-695.

[15] ZHANG X D，F(xiàn)ENG X C,，WANG W W,，et al.Edge strength similarity for image quality assessment[J].IEEE Signal Processing Letters，2013,，20(4)：319-322.

[16] WANG T H,，JIA H Z，SHU H Z.Full reference image quality assessment algorithm based on gradient magnitude and histogram of oriented gradient[J].Journal of Southeast University,，2018,，48(2)：276-281.

作者信息:

王賽嬌1,，2

(1.臺(tái)州廣播電視大學(xué),，浙江 臺(tái)州318000；2.杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院,，浙江 杭州310018)