文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.180682
中文引用格式: 陳文藝,,張龍,楊輝. HDR圖像色調(diào)映射的自適應(yīng)色彩調(diào)節(jié)算法[J].電子技術(shù)應(yīng)用,,2018,,44(11):107-110.
英文引用格式: Chen Wenyi,Zhang Long,,Yang Hui. Adaptive color adjustment method based on HDR image[J]. Application of Electronic Technique,,2018,,44(11):107-110.
0 引言
高動(dòng)態(tài)范圍(High Dynamic Range,,HDR)圖像是一種可以記錄實(shí)際場(chǎng)景亮度范圍變化較大的圖像,,擁有更豐富的亮度層次,尤其是亮區(qū)域和暗區(qū)域的細(xì)節(jié)展現(xiàn),,遠(yuǎn)比普通圖像更逼近現(xiàn)實(shí)的色彩效果,。但HDR圖像通過(guò)普通顯示設(shè)備再現(xiàn)時(shí)存在動(dòng)態(tài)范圍不匹配問(wèn)題,因此動(dòng)態(tài)范圍的壓縮算法成為了研究的熱點(diǎn),。
近年來(lái),,已經(jīng)涌現(xiàn)出很多HDR圖像色調(diào)映射(tone mapping)算法[1-4],例如KUANG J[3]等在圖像色貌模型的基礎(chǔ)上提出了iCAM06算法,;REINHARD E[4]等提出基于攝影法的動(dòng)態(tài)范圍壓縮算法,。這些色調(diào)映射算法提供了將真實(shí)世界的亮度范圍映射到輸出媒介亮度范圍的復(fù)雜方法,,但它們通常會(huì)導(dǎo)致圖像顏色外觀的變化,。最常見(jiàn)的色調(diào)操作是亮度壓縮,會(huì)導(dǎo)致較暗的色調(diào)變得更亮并且扭曲對(duì)比關(guān)系[5],。這是由于調(diào)映射算法起初都是針對(duì)圖像在亮度域進(jìn)行壓縮處理,,但在處理彩色的高動(dòng)態(tài)范圍圖像時(shí),僅僅考慮亮度分量,,忽略了在對(duì)亮度壓縮的同時(shí)圖像的色彩分量也被壓縮了,,顏色發(fā)生了變化。
本文提出圖像經(jīng)色調(diào)映射壓縮處理后,,在色域增加色彩調(diào)節(jié)算法,,以解決因壓縮后存在的褪色、偏色等色彩失真問(wèn)題,,從而提高圖像的色彩表現(xiàn),。
1 色彩調(diào)節(jié)算法描述
整個(gè)算法分為兩個(gè)部分:亮度域處理和色域處理,。亮度域處理是對(duì)采集得到的高動(dòng)態(tài)圖像在亮度域進(jìn)行動(dòng)態(tài)范圍的壓縮映射和限制對(duì)比度的自適應(yīng)直方圖均衡化處理,將圖像的高動(dòng)態(tài)范圍映射到低動(dòng)態(tài)范圍內(nèi),。色域處理包含兩方面,,一方面是色彩恢復(fù)處理,結(jié)合下文中所給曲線(xiàn)的特點(diǎn),,根據(jù)圖像處理前后亮度比值自適應(yīng)地調(diào)節(jié)色彩飽和度參數(shù),,對(duì)壓縮后的圖像色彩恢復(fù);另一方面對(duì)恢復(fù)后的圖像做色彩增強(qiáng)處理,,解決圖像拍攝過(guò)程中,,受到周?chē)h(huán)境光源的影響,使得合成后的圖像色彩出現(xiàn)偏差的問(wèn)題,。通過(guò)色彩增強(qiáng)因子對(duì)圖像色彩進(jìn)行增強(qiáng),。算法處理過(guò)程如圖1所示。
1.1 亮度域處理
對(duì)于HDR圖像,,當(dāng)前標(biāo)準(zhǔn)的顯示設(shè)備存在動(dòng)態(tài)范圍不匹配問(wèn)題,,無(wú)法將圖像正常地顯示出來(lái),需要對(duì)其在亮度域進(jìn)行色調(diào)映射壓縮處理,,將其動(dòng)態(tài)范圍映射到0~255,,使得圖像可以在顯示器上顯示。本文結(jié)合高動(dòng)態(tài)圖像的特點(diǎn)及對(duì)數(shù)曲線(xiàn)的特性,,采用對(duì)數(shù)壓縮方法對(duì)HDR圖像進(jìn)行動(dòng)態(tài)范圍的映射,,降低了高亮區(qū)域的對(duì)比度,增強(qiáng)了低亮度區(qū)域的細(xì)節(jié)部分,,使得壓縮后的圖像更加符合人眼的視覺(jué)特性,。首先,獲取HDR色彩圖像的亮度數(shù)據(jù),,采用如下的亮度轉(zhuǎn)換公式:
式中,,Ir、Ig和Ib分別為輸入的HDR圖像R,、G,、B 3個(gè)通道的數(shù)據(jù),L為計(jì)算得到的圖像的亮度值,。然后,,對(duì)轉(zhuǎn)換得到的圖像亮度值進(jìn)行對(duì)數(shù)壓縮處理,對(duì)數(shù)壓縮通用函數(shù)為:
式中,,Lin和Lout分別為輸入圖像壓縮前后的亮度數(shù)據(jù),,a為常數(shù)。最后采用限制對(duì)比度的直方圖均衡化(CLAHE)算法[6]增強(qiáng)圖像對(duì)比度,,得到壓縮后的圖像,。
1.2 色域處理
1.2.1 色彩恢復(fù)
在RGB色彩空間中,,R、G,、B為3種基礎(chǔ)色,,3種顏色不同程度地混合疊加,從而產(chǎn)生豐富而廣泛的顏色,。在進(jìn)行色調(diào)映射過(guò)程中,,由于壓縮使得色彩的深淺程度前后發(fā)生了變化,壓縮后的圖像顏色偏淺,,從而導(dǎo)致色彩失真,,而其深淺程度的變化在RGB色彩空間無(wú)法直觀表示,為此本文引入HSI色彩空間,。在HSI色度空間中,,飽和度S(Saturation)表示顏色的深淺程度。其模型為圖2所示的雙圓錐3D模型,,反映了人感知顏色的基本屬性,,與人感知顏色的結(jié)果一一對(duì)應(yīng)。圖像壓縮后,,其顏色的深淺程度發(fā)生變化,,在該模型上體現(xiàn)為3D雙圓錐輪廓收縮,引起收縮的主要原因是圖像色飽和度發(fā)生了變化,。通過(guò)引入色飽和度參數(shù)s,,來(lái)調(diào)整圖像色彩飽和度,從而使圖像色彩得到恢復(fù),。
在壓縮亮度范圍過(guò)程中,,采用如下彩色圖像的還原公式,在色彩域利用處理前后的亮度信息來(lái)恢復(fù)圖像的色彩信息,。
式中,,Cl為L(zhǎng)DR圖像在RGB顏色空間下三通道分量的色彩值,Ch為HDR圖像在RGB顏色空間下三通道分量的色彩值,,Lin和Lout分別為輸入圖像壓縮前后的亮度數(shù)據(jù),,s是調(diào)節(jié)輸出圖像色彩飽和度參數(shù),。
對(duì)高動(dòng)態(tài)圖像進(jìn)行色調(diào)映射壓縮處理后,,圖像中不同區(qū)域的像素亮度值的變化程度不同。在不考慮亮度值前后變化程度的情況下,,固定的s值設(shè)置依然會(huì)引起某些區(qū)域色彩失真,,不能使所有區(qū)域都有良好的色彩感觀,圖3為設(shè)置幾個(gè)固定s值對(duì)圖像進(jìn)行處理后的效果圖,。
從圖3可以看出,,當(dāng)s值為固定值時(shí),,并不能確保圖像中每個(gè)區(qū)域的效果都比較好。圖3(b)的參數(shù)s值設(shè)置為0.5時(shí),,圖像燈光下樹(shù)葉部分色飽和度較好,,但是樹(shù)下區(qū)域飽和度較低。為了使圖像中不同區(qū)域的飽和度更符合視覺(jué)效果,,對(duì)固定s值的設(shè)置提出改進(jìn),,強(qiáng)調(diào)對(duì)任一像素點(diǎn)有相應(yīng)的s值處理,以達(dá)到自適應(yīng)的調(diào)節(jié),。
首先,,考慮到亮度值的變化,采用亮度值處理前后的比值D來(lái)衡量變化程度,,其表達(dá)式如下:
式中,,D為壓縮前后的亮度比值,λ為映射常數(shù),。對(duì)亮度比值D進(jìn)行歸一化處理,,此時(shí),任一像素點(diǎn)處亮度比值的大小反映當(dāng)前像素點(diǎn)處壓縮前后的變化情況,。
圖4曲線(xiàn)為圖像壓縮前后,,亮度比值D與色飽和度參數(shù)s之間的關(guān)系。當(dāng)壓縮比值D較小時(shí),,表示該點(diǎn)前后色彩變化程度不大(如圖3(b)中燈光下的亮區(qū)域),,體現(xiàn)在HSI色度空間中為飽和度S變化對(duì)該點(diǎn)造成的收縮影響不大,此時(shí)在RGB色彩空間內(nèi),,應(yīng)使用較小的s值調(diào)整當(dāng)前像素點(diǎn),,效果較好;當(dāng)壓縮比值D較大時(shí),,表示該點(diǎn)前后色彩變化程度明顯(如圖3(d)中樹(shù)下的暗區(qū)域),,體現(xiàn)在HSI色度空間中為飽和度S變化對(duì)該點(diǎn)造成的收縮影響較大,此時(shí)在RGB色彩空間應(yīng)使用較大s值處理當(dāng)前像素點(diǎn),,效果較好,。兩者關(guān)系表達(dá)式如下:
式中,b,、c為常數(shù),,D為壓縮前后的亮度比值,s為飽和度系數(shù),。根據(jù)每個(gè)像素點(diǎn)的比值大小,,通過(guò)上述對(duì)應(yīng)關(guān)系,可以自適應(yīng)地選取s值。此時(shí)針對(duì)圖像中每一像素點(diǎn),,都有相應(yīng)的s值進(jìn)行處理,,避免了用相同的s值對(duì)圖像的每個(gè)像素點(diǎn)處理。
最后,,通過(guò)調(diào)節(jié)系數(shù)b和c的取值,,使圖像可以得到較好的色彩表現(xiàn)。圖5為改進(jìn)后算法處理得到的效果圖,。
由圖5可以看出,,采用改進(jìn)后算法對(duì)圖像處理,圖像的色飽和度較好,,此時(shí)b,、c的取值分別為1和0.2。
1.2.2 色彩增強(qiáng)
由于HDR攝像機(jī)拍攝HDR圖像時(shí)會(huì)受到周?chē)h(huán)境光源的影響,,導(dǎo)致合成后的高動(dòng)態(tài)圖像色彩出現(xiàn)偏差,。因此在圖像色彩恢復(fù)之后,需用色彩增強(qiáng)因子Kr,、Kg,、Kb對(duì)色彩恢復(fù)后圖像的R、G,、B分量進(jìn)行調(diào)整,,增強(qiáng)色彩表現(xiàn),從而消除偏色現(xiàn)象,。色彩增強(qiáng)因子[7]的計(jì)算表達(dá)式為:
其中,,Kr、Kg,、Kb為得到的色彩調(diào)節(jié)因子,,Rij、Gij,、Bij為圖像中滿(mǎn)足一定條件的像素點(diǎn)處R,、G、B分量的灰度值,。像素點(diǎn)篩選具體做法如下:
(1)統(tǒng)計(jì)圖像中每個(gè)像素點(diǎn)的R/G和B/G的值,;
(2)判斷該點(diǎn)的R/G和B/G的值,是否落在圖6在實(shí)驗(yàn)環(huán)境下標(biāo)定得到的色溫曲線(xiàn)[8]中的虛線(xiàn)之間區(qū)域,。該區(qū)域的確定是通過(guò)不斷調(diào)整色溫曲線(xiàn)的上下限,,而上下限的范圍通過(guò)圖像中每個(gè)像素點(diǎn)的R/G和B/G的落點(diǎn)情況統(tǒng)計(jì)得到;
(3)滿(mǎn)足條件的像素點(diǎn),,將其R,、G,、B分量的灰度值分別統(tǒng)計(jì)求和,。
圖6的色溫曲線(xiàn)是在實(shí)驗(yàn)燈箱內(nèi)使用攝像機(jī)分別拍攝6 500 K,、4 000 K、2 700 K色溫下的24色卡,,統(tǒng)計(jì)圖像中每個(gè)像素點(diǎn)的R/G和B/G落點(diǎn)情況,,經(jīng)過(guò)線(xiàn)性插值和二維曲線(xiàn)標(biāo)定得到。最后,,用上述方法得到的增益系數(shù)Kr,、Kg、Kb分別乘以色調(diào)映射算法中的R,、G,、B分量:
2 實(shí)驗(yàn)結(jié)果及分析
本文實(shí)驗(yàn)在Windows 7系統(tǒng)下的MATLAB平臺(tái)開(kāi)發(fā)環(huán)境下,測(cè)試所用HDR圖像來(lái)自FPGA+DM368組合而成的HDR攝像機(jī),,其上搭載了高動(dòng)態(tài)傳感器MT9M034對(duì)以下場(chǎng)景進(jìn)行拍攝,,得到尺寸為1 280×960的raw格式HDR圖像。MT9M034高動(dòng)態(tài)傳感器的高動(dòng)態(tài)范圍是通過(guò)多次曝光技術(shù)實(shí)現(xiàn)的,,可處理的動(dòng)態(tài)范圍達(dá)到120 dB,。再分別使用本文算法,基于圖像色貌模型iCAM06算法以及基于Retinex的壓縮算法[9]進(jìn)行比較,,其結(jié)果如圖7~圖9所示,。
由于人眼的直觀感受是評(píng)判圖像色彩恢復(fù)好壞的主要因素,本文選取3種算法對(duì)測(cè)試圖像處理后的效果圖,,采用對(duì)比的方法進(jìn)行主觀的評(píng)判,。通過(guò)觀察圖7、圖8和圖9所示的3種算法處理后的效果圖可以看出,,iCAM06算法和Retinex算法處理后的圖像在色彩方面的表現(xiàn)欠佳,。為了能更加直接地說(shuō)明算法處理前后圖像的效果,接下來(lái)選用圖像的信息熵作為其客觀評(píng)判標(biāo)準(zhǔn),。信息熵反映圖像中包含的信息豐富程度,,其大小可以代表當(dāng)前圖像所含信息量的多少[10],結(jié)果如表1所示,。
3 結(jié)論
本文針對(duì)HDR圖像色彩重建過(guò)程中,,受到色調(diào)映射處理和拍攝環(huán)境的光照條件的影響,引起再現(xiàn)LDR圖像與源圖像色外觀不一致的問(wèn)題,,提出了在色彩域增加色彩調(diào)節(jié)算法,。算法首先在亮度域使用對(duì)數(shù)壓縮和限制對(duì)比度的自適應(yīng)直方圖均衡化算法處理圖像;然后在色彩域通過(guò)圖像各像素點(diǎn)處的亮度比值自適應(yīng)調(diào)節(jié)色飽和度參數(shù),,補(bǔ)償由于壓縮導(dǎo)致的色彩信息丟失,;最后采用色彩增強(qiáng)因子校正因光照條件帶來(lái)的圖像偏色問(wèn)題,。
參考文獻(xiàn)
[1] HU K J,LU M Y,,WANG J C,,et al.Using adaptive tone mapping to enhance edge-preserving color image automatically[J].Eurasip Journal on Image & Video Processing,2010,,2010(1):1-11.
[2] KASLIWAL H,,MODI S.A novel approach for reduction of dynamic range based on hybrid tone mapping operator[J].Procedia Computer Science,2015,,58:265-271.
[3] KUANG J,,JOHNSON G M,F(xiàn)AIRCHILD M D.iCAM06: A refined image appearance model for HDR image rendering[J].Journal of Visual Communication & Image Representation,,2007,,18(5):406-414.
[4] REINHARD E,STARK M,,SHIRLEY P,,et al.Photographic tone reproduction for digital images[J].Proc.SIGGRAPH,2002,,21(3):267-276.
[5] MANTIUK R,,MANTIUK R,TOMASZEWSKA A,,et al.Color correction for tone mapping[J].Computer Graphics Forum,,2010,28(2):193-202.
[6] REZA A M.Realization of the contrast limited adaptive histogram equalization(CLAHE) for real-time image enhancement[J].Journal of Vlsi Signal Processing Systems for Signal Image & Video Technology,,2004,,38(1):35-44.
[7] 姚洪濤,李鑫巖.RGB空間的HDR圖像合成與色彩調(diào)節(jié)算法[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)(自然科學(xué)版),,2015,,38(5):145-149.
[8] 王敏,李斌橋,,徐江濤.基于色溫估計(jì)的自動(dòng)白平衡算法研究[J].光電子·激光,,2011(12):1872-1875.
[9] 蘆碧波,陳靜,,王建龍,,等.一種改進(jìn)的多尺度Retinex色調(diào)映射算法[J].計(jì)算機(jī)工程與科學(xué),2017,,39(5):951-957.
[10] 羅雪梅,,王義峰,曾平,,等.色外觀匹配的高動(dòng)態(tài)范圍圖像再現(xiàn)[J].計(jì)算機(jī)研究與發(fā)展,,2013,,50(8):1787-1796.
作者信息:
陳文藝1,張 龍2,,楊 輝1
(1.西安郵電大學(xué) 物聯(lián)網(wǎng)與兩化融合研究院,,陜西 西安710021;
2.西安郵電大學(xué) 通信與信息工程學(xué)院,,陜西 西安710021)