《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 其他 > 業(yè)界動(dòng)態(tài) > 知識普及:逆馬賽克變換(Demosaicing)

知識普及:逆馬賽克變換(Demosaicing)

2009-09-25
作者:來源:視覺網(wǎng)

? 本文主要講解逆馬賽克變換的原理,,文中照片由映美精DFK 31BF03-Z2.H采集所得,。

?

? 逆馬賽克算法是一種數(shù)字圖像處理方法,用于重建圖像的所有色彩信息,,其算法對象為裝有彩色濾鏡陣列(CFA)的圖像傳感器,,這種彩色濾鏡陣列中所有濾鏡的通過波長是不完全一致的,。逆馬賽克變換也稱作CFA插值或色彩重建。


?? 同當(dāng)前大部分的數(shù)碼相機(jī)一樣,,映美精DFK 31BF03-Z2.H彩色相機(jī)使用一片帶有CFA的圖像傳感器采集圖像,,逆馬賽克變換是把采集數(shù)據(jù)轉(zhuǎn)化成為可視圖像格式的重建過程。

?

逆馬賽克變換的目標(biāo):
?? CFA輸出經(jīng)過空間采樣的色彩通道數(shù)據(jù),,逆馬賽克變換算法的目標(biāo)是使用這些數(shù)據(jù)中重建所有的圖像的所有色彩(例如所有位置的三色值),。這種算法一般包括以下特征:
??避免錯(cuò)誤色彩信息的進(jìn)入,比如色彩混淆,、鋸齒邊(一組相鄰像元亮度不自然地亮暗變化)以及紫邊,。
??保持圖像最大分辨力不變。
??計(jì)算復(fù)雜性低,,可使用相機(jī)硬件資源在內(nèi)部完成快速而有效的計(jì)算,。
??易于圖像分析以進(jìn)行準(zhǔn)確的降噪處理。

??????? ?彩色濾鏡陣列:
?

? 彩色濾鏡陣列位于圖像傳感器前,,是像馬賽克一樣的彩色濾鏡,。實(shí)際應(yīng)用中,最常用的CFA構(gòu)型是Bayer濾鏡,,如上圖所示,。Bayer濾鏡在奇數(shù)行是紅綠交替的濾鏡,,在偶數(shù)行是綠藍(lán)交替的濾鏡。綠色濾鏡的數(shù)量是紅色或藍(lán)色濾鏡的2倍,,目的是模仿人眼對綠光敏感的特性,。
?? 由于CFA的顏色采樣結(jié)果原理上會(huì)產(chǎn)生混疊,通常在圖像傳感器和鏡頭間會(huì)裝有光學(xué)抗混疊濾鏡,,以減少由插值產(chǎn)生的錯(cuò)誤顏色信息(色彩混淆),。
?? 由于每個(gè)傳感器的像元位于濾鏡后面,其輸出值為對應(yīng)的像素值,,該值描述對應(yīng)的三種濾鏡之一的原始亮度信息,。因此,需要相關(guān)的算法去估算每個(gè)像元的顏色值,,而不是某個(gè)顏色分量的數(shù)值,。

逆馬賽克變換示意圖:
?? 如果要以彩色濾鏡陣列中采集到的數(shù)據(jù)重建圖像的所有色彩,就需要插值算法來完成空值的計(jì)算,。這里要求算法不再需要其它的計(jì)算條件,,由此引入逆馬賽克算法。
在本例中的示意色塊圖由映美精出品的Bayer Demonstrator軟件生成,。
下圖表示經(jīng)由Bayer濾鏡后輸出的數(shù)據(jù),,每個(gè)像元只含有一個(gè)紅色、綠色或藍(lán)色分量,。
?????? ? Bayer濾鏡采樣:
?

?????? ? 紅色分量

?

??????? ?綠色分量

?

??????? ?藍(lán)色分量

?

??? 數(shù)字相機(jī)采用的典型算法是通過對以上分量求平均值來重建完整的RGB圖像,。軟件Bayer Demonstrator提供兩種算法:相鄰像元復(fù)制和相鄰像元求平均,結(jié)果如下圖:
直接復(fù)制相鄰像元色彩值及其局部:

?

???????? ?相鄰像元求平均值及其局部:
?

??? 重建出的圖像在純色區(qū)域內(nèi)色彩正確,,但是分辨力(細(xì)節(jié)和銳度)會(huì)降低,,而且會(huì)出現(xiàn)邊緣混淆(比如局部圖像中可以看出色彩混疊和粗糙的邊緣)。

逆馬賽克算法:

簡單插值:
?? 這種算法是典型的均勻網(wǎng)格多元插值算法,,對同樣顏色分量的相鄰像元值進(jìn)行直接插值計(jì)算,。這種最簡單的方法稱為最近像素插值算法,這種算法簡單地把相同色域通道中鄰近的像素值復(fù)制,。在對圖像質(zhì)量有一定要求的場合不宜使用,,但可以應(yīng)用于圖像預(yù)覽中,因?yàn)檫@種算法占用很少的計(jì)算資源,。另外一種簡單的算法為雙線性插值,使用這種算法,,非紅色像元的紅色分量值通過其相鄰2個(gè)或4個(gè)的紅色像素值平均求得,,藍(lán)色與綠色算法類似。各顏色層內(nèi)更復(fù)雜的獨(dú)立插值算法包括雙三次插值,、樣條插值和Lanczos resampling插值,。
?? 盡管這些算法在純色圖像區(qū)域中能夠獲得較佳效果,,但是配合純色CFA使用時(shí)在邊緣及細(xì)節(jié)處容易產(chǎn)生嚴(yán)重的逆馬賽克色彩混淆。另外,,線性插值配合時(shí)空譜(泛色)CFA使用時(shí)可以獲得非常好的效果,。

圖像內(nèi)的像元相關(guān)性:
? 更復(fù)雜的逆馬賽克算法研究彩色圖像內(nèi)像元時(shí)域或頻域內(nèi)的相關(guān)性。時(shí)域相關(guān)性是圖像內(nèi)像素值的變化趨勢,,用于估算類似的色彩值,。頻域相關(guān)性是在較小的圖像區(qū)域內(nèi)像素值與其它顏色層的依賴關(guān)系。
這種算法包括:
??變數(shù)梯度內(nèi)插法:這種算法計(jì)算興趣像元附近的梯度值,,并用較低的梯度(表示圖像更平滑及更相似的部分)估算插值,。這種算法曾用于dcraw軟件的第一版中,容易受顏色混淆的影響,。
??像素組群法:該算法使用自然景物的假設(shè)進(jìn)行估算,。與變數(shù)梯度內(nèi)插法相比,該算法在自然圖像中產(chǎn)生的彩色混淆較少,。在版本為8.71后的dcraw軟件中有所使用,,在軟件中被稱作“像素圖像組群法”。
??自適應(yīng)均質(zhì)導(dǎo)向內(nèi)插法:這種算法選擇內(nèi)插的方向,,以使計(jì)量結(jié)果均勻性最大,,通常可以把色彩混淆減至最小,。在dcraw軟件近期的各版本中均有包含,。

視頻中的超分辨率/逆馬賽克:
?? 從近年的發(fā)展看出超分辨率與逆馬賽克是一個(gè)問題的兩個(gè)方面,將二者歸為一類未嘗不可,。要注意兩者均要對付色彩混淆問題,。因此,尤其在視頻重建領(lǐng)域(多幀),,超分辨率與逆馬賽克處理的綜合應(yīng)用將提供最優(yōu)的重建方法,。

專用算法情況:
?? 許多商用軟件使用專用算法,并不對大眾開放,,不一定與現(xiàn)有的已公布的算法相同,。而映美精DFK 31BF03-Z2.H相機(jī)提供最近色彩、雙線性,、邊界銳化3種插值方法,,對用戶透明,使用者可依據(jù)采集圖像特點(diǎn)酌情選擇,,或直接在原始數(shù)據(jù)基礎(chǔ)上使用自己的插值算法,。

權(quán)衡:
?? 有些算法處理自然景物時(shí)能得到更佳效果,而有些處理掃描文檔時(shí)效果更佳,。這說明在估算像素值時(shí)還有我們所不知道的影響因子存在,。此外,,運(yùn)算速度與圖像質(zhì)量的矛盾也依然存在。
如果使用可以導(dǎo)出原始數(shù)據(jù)格式圖像的相機(jī)(如DFK 31BF03-Z2.H),,就可以使用不同的逆馬賽克算法,,有時(shí)會(huì)得到更高質(zhì)量的圖像。

軟件:
??? 由映美精制作的DeBayer原理演示軟件Bayer Demonstrator能夠形象說明逆馬賽克的過程,,該軟件免費(fèi)為用戶提供,,可從以下鏈接進(jìn)行下載:
?

?http://www.theimagingsource.com/downloads/bayerdemonstrator.en_US.zip

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。