摘 要： 根據(jù)目前錯(cuò)誤掩蓋領(lǐng)域研究熱點(diǎn)，從解碼端掩蓋技術(shù)以及編解碼結(jié)合的掩蓋技術(shù)兩個(gè)研究方向介紹其發(fā)展?fàn)顩r,，比較并總結(jié)了傳統(tǒng)插值掩蓋技術(shù)和主要的新技術(shù)的優(yōu)劣,。指出在編碼端進(jìn)行的錯(cuò)誤掩蓋技術(shù)發(fā)展?jié)u趨與其他學(xué)科結(jié)合，編解碼結(jié)合的掩蓋技術(shù)則致力于利用不同的數(shù)據(jù)隱藏技術(shù)在編碼端嵌入更有價(jià)值的冗余信息,，有助于迅速了解錯(cuò)誤掩蓋領(lǐng)域技術(shù)的發(fā)展?fàn)顩r,。最后指出了進(jìn)一步研究的方向。
關(guān)鍵詞： 圖像處理,；錯(cuò)誤掩蓋,；空間域；數(shù)據(jù)隱藏,；場(chǎng)編碼
0 引言
隨著數(shù)字視頻及圖像處理水平的進(jìn)步和人們對(duì)視頻及圖像視覺質(zhì)量要求的提高,，高清數(shù)字視頻及圖像已步入人們?nèi)粘Ｉ睿c此同時(shí),，視頻和圖像的數(shù)據(jù)量急劇增加,。為了存儲(chǔ)和通信運(yùn)輸方便，對(duì)數(shù)據(jù)進(jìn)行高效壓縮是必須的,，壓縮后的數(shù)據(jù)之間冗余度大大降低,，在經(jīng)不可靠信道傳輸時(shí)極易受損而發(fā)生錯(cuò)誤，進(jìn)而在接收端造成錯(cuò)誤解碼,，使解壓后的視頻質(zhì)量嚴(yán)重受損,。因此,，在數(shù)字視頻通信中必須應(yīng)用差錯(cuò)控制機(jī)制。在諸多的差錯(cuò)控制技術(shù)中,，錯(cuò)誤掩蓋技術(shù)是一種重要的錯(cuò)誤處理手段,。
技術(shù)出發(fā)點(diǎn)是：在錯(cuò)誤發(fā)生且錯(cuò)誤區(qū)域被檢測(cè)后，利用數(shù)據(jù)間的時(shí)間冗余性和空間冗余性,，在接收端通過正確接收的數(shù)據(jù)和算法實(shí)現(xiàn)錯(cuò)誤區(qū)域重建,，而無需數(shù)據(jù)重發(fā)。由于人眼無法感知較小幅度的圖像失真,，因此該技術(shù)是可行的[1],。
錯(cuò)誤掩蓋領(lǐng)域研究技術(shù)主要分為以下兩類：只在解碼端進(jìn)行的錯(cuò)誤掩蓋；編碼端和解碼端共同進(jìn)行的錯(cuò)誤掩蓋,。本文分析研究了相應(yīng)分類下的技術(shù)進(jìn)展,，并對(duì)各類掩蓋算法進(jìn)行了研究比較，展望了錯(cuò)誤掩蓋技術(shù)發(fā)展前景,。
1 解碼端的掩蓋
1.1 技術(shù)優(yōu)勢(shì)
只在解碼端進(jìn)行的錯(cuò)誤掩蓋技術(shù)針對(duì)解碼端進(jìn)行，有以下優(yōu)勢(shì)：⑴無需修改編碼端,，不改變碼流結(jié)構(gòu),，不會(huì)增加額外的碼率；⑵不需要反向信道,，不會(huì)造成額外傳輸開銷,；⑶在一些特殊場(chǎng)合，只能采用解碼端的錯(cuò)誤掩蓋技術(shù),，比如實(shí)時(shí)視頻通信和視頻廣播,。實(shí)時(shí)通信不能忍受視頻重傳造成的時(shí)間延遲，視頻廣播則不具備反向信道,。
1.2 技術(shù)分類
根據(jù)掩蓋時(shí)所選擇的冗余信息類型,，在解碼端進(jìn)行的錯(cuò)誤掩蓋技術(shù)主要分為3類：空間域錯(cuò)誤掩蓋、時(shí)間域錯(cuò)誤掩蓋和時(shí)空結(jié)合的錯(cuò)誤掩蓋,。由于空間域錯(cuò)誤掩蓋（Spatial Error Concealment, SEC）適用范圍廣（視頻切換幀,、幀內(nèi)編碼幀等均依賴于空域掩蓋），其在錯(cuò)誤掩蓋中有重要地位,，是解碼端進(jìn)行錯(cuò)誤掩蓋的研究重點(diǎn),，同時(shí)也有相當(dāng)多的改進(jìn)算法，本節(jié)主要介紹SEC傳統(tǒng)算法和新算法,。
1.2.1 傳統(tǒng)SEC算法
SEC算法核心在于重建錯(cuò)誤圖像塊時(shí)所選擇的插值像素和插值算法,，最簡(jiǎn)單的是利用錯(cuò)誤塊周邊像素進(jìn)行雙線性插值，掩蓋錯(cuò)誤塊,。雙線性插值方法對(duì)于平滑區(qū)域的修復(fù)效果較好,，但對(duì)圖像的邊緣（高頻信息）會(huì)造成平滑模糊,。為了提高修復(fù)準(zhǔn)確度和視覺清晰度，引入方向插值（Directional Interpolation, DI）以替代簡(jiǎn)單的鄰域插值法,，已經(jīng)成為傳統(tǒng)SEC中重要的手段,。但是DI的準(zhǔn)確度依賴于插值方向的選擇。邊緣判決[2]可以把錯(cuò)誤區(qū)域周圍存在的多個(gè)方向合理利用,，正確修復(fù)出錯(cuò)誤塊內(nèi)的邊緣,。通常先對(duì)錯(cuò)誤塊鄰域像素進(jìn)行邊緣檢測(cè)，并通過自適應(yīng)的閾值對(duì)這些邊緣進(jìn)行判斷,，從中選擇合適的一個(gè)或多個(gè)插值方向,，最后沿插值方向加權(quán)插值即可。邊緣判決可以避免引入由于噪聲帶來的錯(cuò)誤邊緣,。主要插值方向確定后,，沿其確定插值像素，并采取加權(quán)插值,。
1.2.2 SEC新算法
與傳統(tǒng)SEC方法集中于方向插值不同,，新的SEC算法傾向與其他研究領(lǐng)域應(yīng)用技術(shù)結(jié)合，比如模糊聚類,、高斯過程回歸,、序列對(duì)比技術(shù)、無跡卡爾曼濾波器[3]和人臉識(shí)別技術(shù)[4]等,。本文將介紹前三種,。
模糊聚類是聚類分析的實(shí)現(xiàn)方法之一。聚類分析是數(shù)理統(tǒng)計(jì)中的一種多元分析方法,，它用數(shù)學(xué)方法定量地分析樣本的親疏關(guān)系,，從而客觀地劃分類型。將模糊聚類用于錯(cuò)誤塊的相似塊尋找[5],，然后依據(jù)錯(cuò)誤塊的相似塊的分布位置,，進(jìn)行多方向線性插值。
高斯過程回歸（Gaussian Process Regression, GPR）在統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中有大量理論基礎(chǔ),，而高斯過程是廣義高斯分布函數(shù),，性質(zhì)完全由其均值函數(shù)和協(xié)方差函數(shù)確定，將其均值設(shè)為0,，可使問題簡(jiǎn)化為求協(xié)方差函數(shù),。若將GPR定義在損失塊周圍區(qū)域像素，選定GPR的協(xié)方差函數(shù)（比如γ指數(shù)函數(shù)）,，則可通過極大似然法自適應(yīng)估計(jì)損失像素值,，實(shí)現(xiàn)錯(cuò)誤掩蓋[6]。
研究者利用生物信息學(xué)中的序列對(duì)比分析技術(shù)，可以捕捉到圖片序列中錯(cuò)誤塊及周圍正確接收塊的紋理變化和整體趨勢(shì),，從而建立最合適的紋理模型[7],。借助紋理模型，構(gòu)造錯(cuò)誤塊的預(yù)測(cè)塊,，通過計(jì)算預(yù)測(cè)塊與損失塊周邊的正確接收塊之間的最小均方差,，確定可用像素塊的位置，實(shí)現(xiàn)空間域自適應(yīng)插值掩蓋,。
2 編解碼端結(jié)合的掩蓋
2.1 技術(shù)優(yōu)勢(shì)
由于在編碼端嵌入了有價(jià)值的冗余信息,，使得在解碼端進(jìn)行EC時(shí)可利用的信息更多，更準(zhǔn)確,，所以編解碼端結(jié)合的錯(cuò)誤掩蓋技術(shù)的掩蓋的主客觀效果要優(yōu)于單純?cè)诮獯a端進(jìn)行的錯(cuò)誤掩蓋,。
2.2 技術(shù)分類
編解碼端結(jié)合的錯(cuò)誤掩蓋技術(shù)發(fā)展趨勢(shì)大致可分為兩類，一類是基于數(shù)據(jù)隱藏的錯(cuò)誤掩蓋技術(shù),；另一類是基于分場(chǎng)描述編碼的錯(cuò)誤掩蓋算法,。
2.2.1 基于數(shù)據(jù)隱藏的掩蓋技術(shù)
此類技術(shù)利用數(shù)據(jù)隱藏手段在編碼端嵌入了關(guān)鍵冗余信息，在解碼端通過數(shù)據(jù)隱藏的逆操作,，提取出冗余信息,，配合傳統(tǒng)錯(cuò)誤掩蓋算法，重建錯(cuò)誤區(qū)域,。其關(guān)鍵在于編碼端嵌入的冗余信息和信息嵌入信源時(shí)選擇的數(shù)據(jù)隱藏技術(shù),。
利用基于最低有效位的數(shù)據(jù)隱藏技術(shù)的具體操作是，圖像分塊后,，利用離散小波變換（Discrete Wavelet Transform, DWT）后的量化操作,，可以得到塊的描述信息（Block Description Information, BDI）,。每個(gè)BDI代表該圖像塊的一個(gè)低質(zhì)量復(fù)制,。通過基于最低有效位的數(shù)據(jù)隱藏技術(shù)，將單個(gè)塊的BDI隱藏到另一個(gè)塊的信息中,，當(dāng)其中某個(gè)塊發(fā)生錯(cuò)誤時(shí),，可從其他塊中獲取到BDI信息，從而重建錯(cuò)誤塊,。當(dāng)某個(gè)塊及隱藏其BDI信息的塊都發(fā)生錯(cuò)誤時(shí),，利用鄰近像素插值法重建[8]。
同樣是利用圖像DWT系數(shù),，將其劃分為一群完全樹,，利用改進(jìn)的多集樹集合分裂算法對(duì)每個(gè)完全樹獨(dú)立編碼，形成完全樹的參考碼,，每個(gè)樹的參考碼被嵌入到不同位置的另一棵完全樹中,，完成編碼端冗余信息的隱藏，解碼端利用參考碼加強(qiáng)錯(cuò)誤掩蓋效果。
對(duì)基于不等差錯(cuò)保護(hù)（Unequal Error Protection,，UEP）策略的視頻信息流可采用與上述算法不同的掩蓋方案,。UEP策略對(duì)感興趣區(qū)（Region-of-Interest, ROI）信息采用了較強(qiáng)的差錯(cuò)保護(hù)，而對(duì)低突出性（Low Saliency,，LS）的圖像區(qū)域采用較低的差錯(cuò)保護(hù),，導(dǎo)致信息流在經(jīng)不可靠信道傳輸時(shí)，LS區(qū)域更易發(fā)生錯(cuò)誤,，故可將LS區(qū)域的預(yù)測(cè)圖嵌入視頻信息中[9],。
此外，還有許多利用數(shù)據(jù)隱藏技術(shù)進(jìn)行編解碼端結(jié)合的錯(cuò)誤掩蓋技術(shù),，例如利用基于量化索引調(diào)制的水印技術(shù),，將視頻中每幀圖像的抖動(dòng)色版本隱藏到視頻中[10]；將每幀視頻圖像中ROI的宏塊運(yùn)動(dòng)矢量嵌入到該幀的背景區(qū)域[11]等,。
2.2.2 基于分場(chǎng)描述編碼的錯(cuò)誤掩蓋
分場(chǎng)描述編碼屬于多描述編碼技術(shù),，而多描述編碼技術(shù)是在視頻重傳不能實(shí)現(xiàn)的情況下最重要的抗誤碼技術(shù)之一。分場(chǎng)描述編碼技術(shù)對(duì)單幀圖像按奇偶行或列掃描,，記為奇場(chǎng)描述和偶場(chǎng)描述,，兩者分別獨(dú)立編碼傳輸，在接收端合并,。對(duì)于圖像序列,，可按時(shí)間分為奇偶兩個(gè)序列，對(duì)每個(gè)序列中的每幀圖進(jìn)行奇偶分場(chǎng),，即對(duì)視頻信號(hào)分為四個(gè)描述編碼發(fā)送,，在接收端根據(jù)丟失場(chǎng)的位置信息或者運(yùn)動(dòng)矢量分析自適應(yīng)選取時(shí)域掩蓋或者空域掩蓋。
2.2.3 技術(shù)的優(yōu)缺點(diǎn)
基于數(shù)據(jù)隱藏的掩蓋算法由于在信源中加入了更多的冗余信息,，所以掩蓋效果普遍優(yōu)于解碼端的插值算法,。主要缺點(diǎn)：一是信源端信號(hào)輕微降級(jí)；二是編解碼要同步,，增加了計(jì)算復(fù)雜度,。
分場(chǎng)描述編碼可在信道丟包率較高的情況下恢復(fù)出較好的圖像[12]，但因一幅圖分兩場(chǎng)描述并獨(dú)立編碼,，導(dǎo)致信息存在更多的冗余,。
3 主要技術(shù)對(duì)比分析
解碼端錯(cuò)誤掩蓋技術(shù)通過修復(fù)一定錯(cuò)誤模式的單幀圖像來展示其修復(fù)效果，而編解碼端結(jié)合的錯(cuò)誤掩蓋技術(shù)則假設(shè)信道有一定誤碼率,，在接收端再進(jìn)行掩蓋,。故分為兩節(jié)展現(xiàn)兩大分類中主要技術(shù)的對(duì)比。
3.1 解碼端的錯(cuò)誤掩蓋技術(shù)對(duì)比
針對(duì)解碼端錯(cuò)誤掩蓋的技術(shù)實(shí)驗(yàn)中的棋盤式經(jīng)典圖像錯(cuò)誤模式（如圖1所示,，塊大小為16×16）,，比較foreman圖像經(jīng)雙線性插值,、空間域的多方向插值和基于GPR的掩蓋后主客觀效果。圖2為實(shí)驗(yàn)用foreman原圖,，圖3展示了三種算法對(duì)棋盤式錯(cuò)誤模式下的foreman掩蓋后的主觀效果和客觀的峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）,。
3.2 編解碼結(jié)合的技術(shù)對(duì)比
圖4顯示了在不同丟包率下，編解碼端結(jié)合的算法與H.264的掩蓋算法的PSNR對(duì)比,。選取的編解碼端結(jié)合掩蓋算法有：基于數(shù)字水印技術(shù)算法[11],、隱藏ROI算法[12]和基于分場(chǎng)描述算法[14]。數(shù)據(jù)來自相應(yīng)參考文獻(xiàn),。
從圖4可以看出,，不同算法之間掩蓋效果差別較大，其中基于數(shù)字水印的掩蓋算法的掩蓋效果隨著丟包率的增大,，掩蓋效果急劇下降,，而基于分場(chǎng)描述的錯(cuò)誤掩蓋有較好的魯棒性。
4 總結(jié)
本文根據(jù)數(shù)字視頻的錯(cuò)誤掩蓋領(lǐng)域最新研究和發(fā)展方向,，主要介紹了解碼端和編解碼端結(jié)合的錯(cuò)誤掩蓋新技術(shù),。分析了兩類技術(shù)涉及的主要算法并進(jìn)行了掩蓋效果的主客觀比較?？梢哉雇?，編碼端進(jìn)行的錯(cuò)誤掩蓋技術(shù)將越來越多地與其他領(lǐng)域的成熟技術(shù)結(jié)合；編解碼端的錯(cuò)誤掩蓋領(lǐng)域則將對(duì)嵌入的信息類型和信息隱藏技術(shù)做出更多合理化嘗試,。
參考文獻(xiàn)
[1] 郭寶龍, 倪偉, 閆允一. 通信中的視頻信號(hào)處理[M]. 北京: 電子工業(yè)出版社, 2007.
[2] Asheri H, Rabiee H R, Pourdamghani N, et al. Multi-directional spatial error concealment using adaptive edge thresholding[J]. IEEE Transactions on Consumer Electronics, 2012, 58(3): 880-885.
[3] 崔世華, 崔慧娟, 唐昆. 基于無跡Kalman濾波的高誤碼掩蓋技術(shù)[J]. 清華大學(xué)學(xué)報(bào), 2013, 53(4): 537-541.
[4] 張江鑫, 謝晉, 鄺萬坤. 基于人臉五官特征的空域差錯(cuò)掩蓋算法[J]. 中國圖像圖形學(xué)報(bào), 2013, 18(8): 913-918.
[5] 沈寒, 朱秀昌. 基于模糊聚類的空域視頻差錯(cuò)掩蓋[J]. 信號(hào)處理, 2009, 25(4):592-595.
[6] Asheri H, Rabiee H R, Pourdamghani N, et al. A gaussian process regression framework for spatial error concealment with adaptive kernels[C]. 2010 20th International Conference on Pattern Recognition (ICPR), Istanbul, IEEE, 2010: 4541-4544.
[7] Nangam P, Kumwilaisak W, Keawkumnerd S. New spatial error concealment with texture modeling and adaptive directional recovery[C]. 2010 International Conference on Electrical Engineering/Electronics Computer Telecommunications and Information Technology (ECTI-CON), Chiang Mai, IEEE, 2010: 703-707.
[8] Kim K S, Lee H Y. Lee H K. Spatial error concealment technique for losslessly compressed images using data hiding in error-prone channels[J]. Journal of Communications and Networks, 2010, 12(2): 168-173.
[9] Hadizadeh H, Baji I V, Cheung G. Saliency-cognizant error concealment in loss-corrupted streaming video[C]. 2012 IEEE International Conference on Multimedia and Expo (ICME), Melbourne, IEEE, 2012: 73-78.
[10] Freitas P G, Rigoni R, Farias M C Q, et al. Error concealment using a halftone watermarking technique [C]. The 25th SIBGRAPI Conference on Graphics, Patterns and
A survey of error concealment technologies in digital video