文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.190928
中文引用格式: 李甜甜,,林珊玲,,林志賢,,等. 基于人眼視覺的電潤濕電子紙圖像分層映射技術(shù)研究[J].電子技術(shù)應用,2020,,46(3):86-91.
英文引用格式: Li Tiantian,,Lin Shanling,Lin Zhixian,,et al. Research on hierarchical mapping technology of electrowetting electronic paper based on human visual system[J]. Application of Electronic Technique,,2020,46(3):86-91.
0 引言
電潤濕電子紙顯示器是反射型顯示器,,利用環(huán)境光即可顯示,,具有響應速度快、對比度高,、功耗低等優(yōu)點[1-5]。然而,目前電潤濕電子紙顯示屏受驅(qū)動芯片和驅(qū)動方式等限制,,無法直接顯示高灰度圖像,,若直接取圖像高位數(shù)據(jù),舍去低灰階數(shù)據(jù),,將造成圖像對比度,、視覺信息損失,為解決這個問題,,可采用色調(diào)映射算法,,把圖像映射到一個新動態(tài)范圍,以提高圖像對比度[6-8],。DRAGO F等[9]模擬人類對光的反應,,根據(jù)每個像素亮度自適應調(diào)整對數(shù)基,使圖像細節(jié)和對比度保持良好,。TAN J等[10]將圖像分成幾個相同大小的塊,,利用雙邊濾波提取細節(jié)層,實現(xiàn)塊映射融合對數(shù)映射,。DURAND F等[11]利用快速雙邊濾波將高動態(tài)范圍圖像分為基本層和細節(jié)層,,保留細節(jié)并降低動態(tài)范圍。陳文藝等[12]在亮度域使用對數(shù)壓縮和限制對比度自適應直方圖均衡化算法,,轉(zhuǎn)換到色彩域后采用色彩恢復和色彩增強算法,,可有效降低色彩失真。WANG J等[13]提出一種局部自適應雙邊濾波器,,根據(jù)像素亮度值自適應調(diào)整對數(shù)基,,實現(xiàn)高亮度范圍壓縮,在暗區(qū)具有良好對比度和細節(jié),。李大軍等[14]提出一種基于參數(shù)估計的雙邊濾波Retinex圖像增強算法,,可有效保留邊緣信息,,抑制光暈現(xiàn)象,。THAI B C等[15]使用分段線性函數(shù),根據(jù)人類視覺的感知量化調(diào)整低動態(tài)范圍圖像像素分布,,同時保留了更多圖像信息,。劉朝濤等[16]利用形態(tài)學方法對原始圖像增強,提高對比度,,并對圖像進行光照補償,,改善因光照不均引起的色彩改變。DUAN J等[17]在局部區(qū)域中使用基于灰度直方圖的色調(diào)映射算子對圖像分割,,調(diào)整自適應對比度,,利用固定參數(shù)值對多種圖像具有良好映射效果,。
眾所周知,電潤濕電子紙顯示器的顯示亮度與驅(qū)動電壓之間呈非線性關(guān)系[18-20],,這樣導致在不同的初始狀態(tài)下,,相同電壓、相同時間長度的驅(qū)動脈沖作用下帶來的亮度變化是不同的,,可能會導致圖像失真,、細節(jié)丟失等問題。因此,,為實現(xiàn)電潤濕顯示器的精準調(diào)制,,必須對其亮度進行校正。
基于上述問題,,本文根據(jù)人眼對亮度的變化接近于對數(shù)關(guān)系,,把原始圖像的范圍映射到一個符合人眼視覺特性的低動態(tài)范圍,,再對映射后圖像進行亮度局部線性拉伸,,使得輸出圖像既能較好地保留更多輪廓細節(jié),,又能提高整體對比度,,提升可視化效果,。
1 基于人眼視覺特性的分層映射算法
本文算法基本流程圖如圖1所示。利用雙邊濾波對輸入圖像進行分層,,得到基本層和細節(jié)層,,對基本層圖像進行基于對數(shù)圖像處理模型(Logarithmic Image Processing,,LIP)的Lee圖像增強,,實現(xiàn)亮度預處理;再基于人眼視覺特性,,對圖像進行分區(qū)對數(shù)映射,以適應人眼在不同程度的亮度區(qū)域內(nèi)對亮度的感知,;然后與細節(jié)層加權(quán)融合為輸出圖像,;最后進行電潤濕顯示器的亮度局部線性拉伸,實現(xiàn)精準調(diào)制,。
1.1 基于LIP模型的圖像增強算法
對輸入圖像進行濾波處理,,得到基本層和細節(jié)層。其中,,基本層主要對應圖像低頻信息,,細節(jié)層主要包含圖像高頻信息,。圖像分層過程如式(1)和式(2)所示:
1.2 基于人眼視覺的亮度映射
1.2.1 基于人眼視覺的圖像分區(qū)
引入背景強度B(x,y)和梯度信息G(x,,y),,如式(4)和式(5)所示,。
1.2.2 分區(qū)對數(shù)映射
基于人眼視覺的研究,,顯示給人眼看的亮度值Ld和場景亮度值Lw之間存在如式(13)所示的映射關(guān)系。
式中,,Yw為圖像R′(x,,y)每個像素的亮度值,Ywmax為Yw取值集合中的最大值,,Yworld為場景適應亮度,;N是圖像R′(x,,y)像素的總數(shù),;δ為很小的值,一般取0.000 1,。
以對數(shù)映射為基礎(chǔ),,進行分區(qū)對數(shù)映射。LD和WS區(qū)映射分別如式(17)和式(18),,Ld1,、Ld2分別為LD和WS區(qū)映射后亮度值。對不同區(qū)選取不同對數(shù)底數(shù),,以符合亮度映射需求,。在低對比度和德弗里斯區(qū),對數(shù)底數(shù)為2,,可增強對比度和亮度,;k,q∈(1,,+∞),,選用較大的k、q可有效維持細節(jié),,保證暗區(qū)細節(jié)可見性,。在韋伯和飽和區(qū),為避免單一底數(shù)的過度壓縮,,引入如式(19)所示的偏置冪函數(shù)使對數(shù)底數(shù)自由可調(diào),,本文b=0.85,在壓縮W和S區(qū)的同時不丟失較暗部分細節(jié),。
1.2.3 加權(quán)融合
對映射后的子圖像Ld1和Ld2進行合并,,得到區(qū)域合并后圖像亮度LB′(x,,y),如式(20)所示,。最后將LD(x,,y)和LB′(x,y)加權(quán)融合為輸出圖像T(x,,y),,如式(21)所示。
式(21)中,,p1∈[0.7,,1],p2=1.1,。式(20)中,,ρLD、ρws分別為兩個區(qū)域在局部范圍內(nèi)所占比重,。
1.3 亮度校正
如圖2所示,,電潤濕顯示器的相對亮度與驅(qū)動電壓呈非線性關(guān)系。由圖2可知,,當施加電壓低于10 V時,,像素亮度基本不變,即像素為關(guān)閉狀態(tài),;當施加電壓高于10 V時,,像素亮度開始變化,亮度在25~40 V電壓之間的變化比10~25 V電壓之間的變化緩慢,,這樣使得在不同初始狀態(tài)下,,相同電壓、相同時間長度的驅(qū)動脈沖作用下帶來的反射率變化不同,,將會導致圖像信息丟失等問題,。因此,必須對25~40 V電壓之間的顯示特性進行校正,。
利用式(23)對電潤濕顯示器件進行亮度校正,,得到的輸入圖像數(shù)據(jù)對應的輸出圖像數(shù)據(jù)如表 1所示。由表1可知,,輸入圖像數(shù)據(jù)為1110對應的歸一化電壓為0.725,,歸一化亮度為0.953 48,經(jīng)線性拉伸后,,歸一化亮度為0.799 25,,輸出圖像數(shù)據(jù)為1100。
2 結(jié)果與分析
2.1 分區(qū)對數(shù)映射仿真結(jié)果與分析
圖像質(zhì)量評價方法主要有視覺比較和客觀評價。視覺比較是用人眼直接觀察,,大腦根據(jù)主觀意識得到相關(guān)結(jié)論,。客觀評價方法主要有熵值(Entropy),、均方根誤差(MSE),、峰值信噪比(PSNR)、整體圖像質(zhì)量(UIQI),、結(jié)構(gòu)相似度(SSIM)等[25],。本文選用熵值、峰值信噪比,、結(jié)構(gòu)相似度,、整體圖像質(zhì)量來評價圖像質(zhì)量,。
本文選取一些數(shù)字圖像處理經(jīng)典圖像進行實驗,,利用直方圖校正映射,基于Retinex的映射算法與本文算法的結(jié)果對比,。實驗基于MATLAB2017平臺開發(fā)環(huán)境實現(xiàn),。
2.1.1 主觀評價
Lena、Peppers,、Sunset_sparrow不同算法效果圖分別如圖3,、圖4和圖5所示。
圖3(b),、圖4(b)和圖5(b)為直方圖校正映射算法處理結(jié)果,,Lena的帽子亮度值較大的部分細節(jié)丟失,不易分辨亮處細節(jié),;Peppers亮度不均勻,;Sun-sparrow部分過亮,造成樹枝暗處細節(jié)丟失,。圖3(c),、圖4(c)和圖5(c)為基于Retinex的映射算法處理結(jié)果,Lena圖像整體過暗,,頭發(fā)細節(jié)部分失真,;Peppers圖像不自然,出現(xiàn)過增強或過壓縮現(xiàn)象,;sparrow和樹枝邊緣均出現(xiàn)了明顯的“光暈”現(xiàn)象,。圖3(d)、圖4(d)和圖5(d)為本文算法處理結(jié)果,,保留Lena圖像大部分細節(jié),;Peppers整個圖像較為真實,明暗過渡自然,,適合人眼觀察,;sparrow邊緣避免了“光暈”現(xiàn)象,,且樹枝輪廓清晰,保留了圖像對比度,。本文算法使得圖像較暗部分細節(jié)在映射后清晰可見,,較亮部分在映射后較好地壓縮了動態(tài)范圍,能保持幾乎所有可視細節(jié)信息,,圖像整體視覺效果比較和諧,。
2.1.2 客觀評價
熵用于衡量圖像信息豐富程度,如式(24)所示,,其中p(xi)為灰度級xi的累積頻率,。當灰度級發(fā)生“吞噬”現(xiàn)象時,圖像的信息量即“熵值”是減小的,。
峰值信噪比反映圖像清晰度,,如式(25)所示,其中S為像素最大灰度值,。m,、n為圖像長和寬,L(x,,y),、T(x,y)為原圖像和映射后圖像,,PSNR值越大說明映射后圖像質(zhì)量越好,。
結(jié)構(gòu)相似度通過比較圖像結(jié)構(gòu)信息的改變考慮圖像的失真,得到客觀質(zhì)量評價,,如式(26)所示,,μL、μT分別為原圖像和映射后圖像的均值,,σL,、σT分別為原圖像和映射后圖像的方差,σLT為原圖像和映射后圖像的協(xié)方差,,c1,、c2、c3為常數(shù),。SSIM值越大說明映射后圖像質(zhì)量越好,。
整體圖像質(zhì)量從相關(guān)性、亮度和對比度失真考慮圖像失真度,,UIQI為1,,則原圖像與映射后圖像一致。UIQI值越接近1,映射后圖像質(zhì)量越好,,如式(27)所示:
本文采用以上4種方法,,結(jié)果如表2所示。由表2可知,,Lena,、Peppers、Sunset_sparrow原圖像的熵分別為7.449 7,、7.593 5,、7.498 3,本文算法的Entropy值均略高于直方圖校正映射,、基于Retinex的映射,,減少了圖像“吞噬”現(xiàn)象,熵值與原圖像更為接近,。經(jīng)統(tǒng)計,,本文算法相對于直方圖校正映射,Lena,、Peppers和Sunset_sparrow 圖像PSNR值分別提高了33.95%,、21.29%、45.21%,,SSIM值分別提高了12.2%、7.77%,、12.99%,,UIQI值分別提高了19.48%、14.26%,、27.28%,;相對于基于Retinex的映射,Lena,、Peppers和Sunset_sparrow 圖像PSNR值分別提高了63.23%,、47.8%、50.09%,,SSIM值分別提高了43.05%,、24.03%、21.69%,,UIQI值分別提高了65.36%,、50.03%、41.19%,。指標參數(shù)結(jié)果與圖片仿真結(jié)果的分析吻合,,說明本文分區(qū)對數(shù)映射算法較好,更加注重人眼視覺,壓縮圖像亮度范圍的同時較好地增強了細節(jié)信息,。
2.2 亮度校正結(jié)果與分析
將本文提出的亮度局部線性拉伸方法應用到電潤濕電子紙顯示系統(tǒng)上,,測試用的電潤濕顯示屏分辨率為1 024×768。測試方法是在PC端通過亮度校正模塊將輸出數(shù)據(jù)傳輸?shù)诫姖櫇耠娮蛹堬@示系統(tǒng),,然后用亮度計測量顯示面板的中間區(qū)域,,共測量15次不同輸出數(shù)據(jù)下的面板亮度,最后對15次測量數(shù)據(jù)取平均值,。校正后結(jié)果如圖6所示,,由圖可知,亮度校正后,,25~40 V電壓段的電壓與亮度曲線的關(guān)系接近線性,。
2.3 實際測試
將本文所提出的方法在電潤濕顯示屏上顯示。圖7(a)為原始圖像在電潤濕顯示屏上的效果圖,,圖7(b)為映射后的效果圖,,圖7(c)為亮度校正后的效果圖,圖7(d)為映射+亮度校正后的效果圖,。
由圖7可以看到,,原圖整體對比度不高,尤其是頭發(fā)部分的細節(jié)丟失,,輪廓模糊不清,;經(jīng)映射后,帽蓋和頭發(fā)細節(jié)增多,,符合人眼在不同程度的亮度區(qū)域?qū)α炼鹊母兄?;?jīng)亮度校正后,鼻唇溝可明顯觀察到,,Lena圖對比度提高,;經(jīng)映射+亮度校正后,提高了圖像整體對比度,,頭發(fā)細節(jié)增多,,輪廓清晰。
3 結(jié)論
本文提出一種基于人眼視覺的電潤濕電子紙圖像分層映射技術(shù),。利用雙邊濾波將圖像分解為基本層和細節(jié)層,,基于LIP模型的Lee增強算法對基本層進行亮度增強,并根據(jù)韋伯-費希納定律分區(qū),,實現(xiàn)分區(qū)對數(shù)映射,,與細節(jié)層加權(quán)融合為輸出圖像,同時對電潤濕顯示器亮度進行局部線性拉伸,。結(jié)果表明,,本文算法的熵值與原圖像更為接近,。圖像評價指標PSNR、SSIM和UIQI值相較于直方圖校正映射,,分別提高了約0.2~0.4,,0.07~0.1,0.1~0.2,;相較于基于Retinex的映射,,分別提高了約0.4~0.6,0.2~0.4,,0.4~0.6,。最終在電潤濕電子紙上顯示的圖像邊界、紋理等細節(jié)增加,,校正后的電壓與亮度關(guān)系更接近線性,,對比度提高,整體視覺效果較好,。
參考文獻
[1] HAYES R A,,F(xiàn)EENSTRA B J.Video-speed electronic paper based on electrowetting[J].Nature,2003,,425(6956):383.
[2] 易子川,,曾磊,周瑩,,等.電潤濕電子紙多級灰階研究與設(shè)計[J].華南師范大學學報(自然科學版),,2018,49(6):17-23.
[3] 唐彪,,趙青,,周敏,等.印刷電潤濕顯示技術(shù)研究進展[J].華南師范大學學報(自然科學版),,2016,48(1):1-8.
[4] YI Z,,SHUI L,,WANG L,et al.A novel driver for active matrix electrowetting displays[J].Displays,,2015,,37:86-93.
[5] YOU H,STECKL A J.Three-color electrowetting display device for electronic paper[J].Applied Physics Letters,,2010,,97(2):023514.
[6] 歐海燕,郭太良,,姚劍敏,,等.基于分層色調(diào)映射的LED背光調(diào)制算法[J].液晶與顯示,,2011,26(2):246-249.
[7] 蘆碧波,,皇甫珍珍,,郭凱,等.基于雙邊濾波的多尺度分層色調(diào)映射算法[J].液晶與顯示,,2018,,33(9):816-822.
[8] 孫晨康.基于雙邊濾波的高動態(tài)范圍圖像映射算法研究與實現(xiàn)[D].西安:西安電子科技大學,2015.
[9] DRAGO F,,MYSZKOWSKI K,,ANNEN T,et al.Adaptive logarithmic mapping for displaying high contrast scenes[J].Computer Graphics Forum,,2003,,22(3):419-426.
[10] TAN J,HUANG Y,,WANG K.Logarithmic tone mapping algorithm based on block mapping fusion[C].2018 International Conference on Audio,Language and Image Processing(ICALIP).IEEE,,2018:168-173.
[11] DURAND F,DORSEY J.Fast bilateral filtering for the display of high-dynamic-range images[C].ACM Transactions on Graphics(TOG),,2002,,21(3):257-266.
[12] 陳文藝,張龍,,楊輝.HDR圖像色調(diào)映射的自適應色彩調(diào)節(jié)算法[J].電子技術(shù)應用,,2018,44(11):107-110.
[13] WANG J,,XU D,,LANG C,et al.An adaptive tone mapping method for displaying high dynamic range images[J].Journal of Information Science and Engineering,,2010,,26(3):977-990.
[14] 李大軍,杜神斌,,郭丙軒,,等.自適應雙邊濾波的Retinex圖像增強算法[J].電子技術(shù)應用,2018,,44(3):117-121.
[15] THAI B C,,MOKRAOUI A,MATEI B.Contrast enhancement and details preservation of tone mapped high dynamic range images[J].Journal of Visual Communication and Image Representation,,2019,,58:589-599.
[16] 劉朝濤,張雪佼.基于圖像處理的疲勞駕駛預警研究[J].電子技術(shù)應用,,2019,,45(8):104-108.
[17] DUAN J,,BRESSAN M,DANCE C,,et al.Tone-mapping high dynamic range images by novel histogram adjustment[J].Pattern Recognition,,2010,43(5):1847-1862.
[18] CHIU Y H,,LIANG C C,,CHEN Y C,et al.Accurate-gray-level and quick-response driving methods for high-performance electrowetting displays[J].Journal of the Society for Information Display,,2011,,19(11):741-748.
[19] LUO Z J,ZHANG W N,,LIU L W,,et al.Portable multigray scale video playing scheme for high-performance electrowetting displays[J].Journal of the Society for Information Display,2016,,24(6):345-354.
[20] SURESHKUMAR P,,BHATTACHARYYA S S.Display applications of electrowetting[J].Journal of Adhesion Science and Technology,2012,,26(12-17):1947-1963.
[21] NAVARRO L,,DENG G,COURBEBAISSE G.The symmetric logarithmic image processing model[J].Digital Signal Processing,,2013,,23(5):1337-1343.
[22] BAOPING W,JIANJUN M A,,ZHAOXUAN H A N,,et al.Adaptive image enhancement algorithm based on fuzzy entropy and human visual characteristics[J].Journal of Systems Engineering and Electronics,2018,,29(5):1079-1088.
[23] 馮清枝,,王丹.基于LIP模型和CLAHE的低照度圖像增強算法[J].光電技術(shù)應用,2018,,33(5):31-36.
[24] PANETTA K A,,WHARTON E J,AGAIAN S S.Human visual system-based image enhancement and logarithmic contrast measure[J].IEEE Transactions on Systems,,Man,and Cybernetics,,Part B(Cybernetics),,2008,38(1):174-188.
[25] 褚江,,陳強,,楊曦晨.全參考圖像質(zhì)量評價綜述[J].計算機應用研究,,2014,31(1):13-22.
作者信息:
李甜甜1,,2,,林珊玲1,2,,林志賢1,,2,郭太良1,,2,,唐 彪3
(1.福州大學 平板顯示技術(shù)國家地方聯(lián)合工程實驗室,福建 福州350116,;
2.福州大學 物理與信息工程學院,,福建 福州350116;
3.華南師范大學 華南先進光電子研究院 廣東省光信息材料與技術(shù)重點實驗室,,廣東 廣州510006)