文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2016.12.031
中文引用格式: 張波,,謝明,劉杰. 基于Census變換的自適應(yīng)權(quán)值Hamming距離立體匹配算法[J].電子技術(shù)應(yīng)用,,2016,,42(12):119-121,125.
英文引用格式: Zhang Bo,,Xie Ming,,Liu Jie. Stereo matching algorithm using adaptive weight Hamming distance based on Census transform[J].Application of Electronic Technique,2016,,42(12):119-121,,125.
0 引言
現(xiàn)如今隨著人工智能的發(fā)展,用于獲取三維信息的立體視覺(jué)算法變得越來(lái)越重要,,目前已經(jīng)提出了很多立體視覺(jué)的算法,,并且成功應(yīng)用于機(jī)器人導(dǎo)航[1]、現(xiàn)實(shí)環(huán)境中三維重建[2]以及智能車(chē)輛障礙物的檢測(cè)[3]等,。然而,,現(xiàn)在多數(shù)的實(shí)時(shí)立體視覺(jué)對(duì)于弱紋理區(qū)域缺少足夠的精確性,以至于還需要其他的傳感器來(lái)輔助檢測(cè)這些障礙物,。
立體視覺(jué)匹配算法一般分為:全局匹配算法和局部匹配算法,,本次主要針對(duì)局部匹配算法。通常的局部匹配算法(如:像素差絕對(duì)值(SAD),、像素差平方和(SSD)歸一化互相關(guān)(NCC)等)往往對(duì)畸變引起的圖像失真較為敏感,,為此ZABIN R和WOODFILL J[4]提出了Census和Rank變換。文獻(xiàn)[5]提出將圖像的梯度圖引入Census變換匹配,,需要改變相應(yīng)的系數(shù)才能得到較好的效果,。文獻(xiàn)[6]雖然將原先的密集矩陣變?yōu)橄∈杈仃嚕沁吘墔^(qū)域的誤匹配率還是很高,?;谏鲜鲇懻摚疚奶岢龌贑ensus變換一種新的初始匹配代價(jià)計(jì)算的匹配算法,。
1 傳統(tǒng)的Census變換與初始匹配代價(jià)計(jì)算
傳統(tǒng)Census變換對(duì)于亮度變化具有很高的魯棒性,。Census變換的函數(shù)如式(1):
其中,P(u,,v)為中心像素值,,st為變換窗口,大小為n×m,。Census變換匹配算法的處理速度很大程度上取決于變換窗口st的大小,,窗口越大,匹配的準(zhǔn)確率越高,,相反其視差連續(xù)性越差,,處理的時(shí)間也就越長(zhǎng),,所以選擇合適大小的窗口也是很重要的問(wèn)題,本文將在第4節(jié)進(jìn)行試驗(yàn),,獲得最佳窗口大小,。
傳統(tǒng)Hamming距離并沒(méi)有考慮鄰域像素與中心像素的空間距離關(guān)系,而將像素鄰域的所有像素?zé)o偏差地處理,,很容易造成誤匹配,,如圖1所示兩個(gè)像素窗口并不匹配,但是計(jì)算他們的Hamming距離的結(jié)果顯示這兩個(gè)窗口匹配,。而本文提出的一種新的距離計(jì)算方法能夠解決這個(gè)問(wèn)題,。
2 改進(jìn)的加權(quán)Hamming距離初始匹配代價(jià)計(jì)算
本文提出的初始匹配代價(jià)計(jì)算方法并不是完全使用Census變換之后的比特串。首先根據(jù)式(2)計(jì)算兩個(gè)窗口之間的距離,,也就是初始匹配代價(jià)ecTN:
由上面的計(jì)算說(shuō)明可知,,因?yàn)榧尤肓丝臻g距離的權(quán)重系數(shù),本文提出的加權(quán)Hamming距離測(cè)算比傳統(tǒng)方法更有優(yōu)勢(shì),,更能體現(xiàn)出像素鄰域的信息。
3 稀疏匹配代價(jià)聚合
為了提高census變換匹配的準(zhǔn)確性,,通常的算法是增大變換的窗口,,這樣往往造成邊緣模糊化。而梯度圖像可以表示出圖像的紋理信息,,而且通過(guò)Soble算子計(jì)算梯度并不會(huì)太多地增加算法復(fù)雜度,,所以本文采用梯度圖像來(lái)增加匹配圖像的信息。
在此采用自適用權(quán)重的算法[7],,同時(shí)引入梯度信息和稀疏窗口,,由于在初始匹配代價(jià)計(jì)算的過(guò)程中將空間距離已經(jīng)引入,所以在此并不包括空間距離信息,。
匹配聚合代價(jià)公式如下:
為了降低代價(jià)聚合的復(fù)雜度,,本文還采用了稀疏聚合窗口和分層權(quán)重代價(jià)聚合。稀疏窗口[6]是將原先的密集聚合窗口改為變?yōu)槊扛粢恍羞x擇一次采樣,,每隔一列選擇一次采樣聚合,,實(shí)驗(yàn)證明,采用稀疏聚合窗口不僅不會(huì)降低匹配的準(zhǔn)確率,,而且能夠大幅地降低算法的復(fù)雜度,。并行分層權(quán)重代價(jià)聚合方法,即對(duì)待匹配像素在不同視差等級(jí)d進(jìn)行分層雙通道累加方法,。雙通道累加方法[8]將加權(quán)計(jì)算拆分為行和列兩個(gè)方向進(jìn)行獨(dú)立計(jì)算,,從而快速進(jìn)行代價(jià)累加。該方法首先對(duì)聚合窗口內(nèi)每行初始匹配代價(jià)與相應(yīng)權(quán)值的內(nèi)積進(jìn)行累加,,與相應(yīng)權(quán)重值的累加和進(jìn)行歸一化計(jì)算,,得到行方向匹配代價(jià)的聚合結(jié)果,;對(duì)所得的行代價(jià)聚合結(jié)果與相應(yīng)列的權(quán)重進(jìn)行內(nèi)積,與相應(yīng)權(quán)值的累加和歸一化計(jì)算后得到最后的代價(jià)聚合結(jié)果,。并行多層權(quán)重代價(jià)聚合方法是在每一視差等級(jí)上先后對(duì)行,、列方向上代價(jià)進(jìn)行權(quán)重平均,使復(fù)雜度從原算法的O(w2d)降低為O(2wd),。其中w為聚合窗口大小,。
4 算法對(duì)比
本文對(duì)Middlebury大學(xué)網(wǎng)站的標(biāo)準(zhǔn)立體匹配算法測(cè)試平臺(tái)所提供的4對(duì)基準(zhǔn)彩色圖像Tsukuba、Venus,、Teddy和Cones進(jìn)行匹配測(cè)試,,Census變換窗口從5×5到23×23,密集代價(jià)聚合窗口從5×5到23×23,,稀疏聚合窗口從5×5到19×19,,在電腦上通過(guò)視覺(jué)庫(kù)opencv進(jìn)行處理,電腦CPU主頻為2.6 GHz,,內(nèi)存2 GB,。
本文首先對(duì)Census變換+Hamming立體匹配做了實(shí)驗(yàn),并且采用單個(gè)像素匹配,,Census變換窗口大小由5×5到23×23,。為了獲得較好的效果,本文算法聚合所使用的Census變換窗口大小為17×17,,雖然增大會(huì)進(jìn)一步降低誤匹配率,,但是減少幅度并不大,而且會(huì)增大算法復(fù)雜度,。所以在此將Census+Hamming單像素立體匹配算法的最優(yōu)匹配窗口定為17×17,,然后使用本文所提出的自適用權(quán)值Hamming密集聚合和稀疏聚合算法(Census變換窗口為17×17)進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果見(jiàn)表1,。由表1可知,,隨著聚合的窗口的增大,其平均誤匹配率減小,,并且密集聚合在21×21趨于平穩(wěn),。
圖2是通過(guò)以上實(shí)驗(yàn)得到的最終匹配視差結(jié)果,Census變換窗口大小為17×17,,密集聚合匹配算法聚合窗口大小21×21,,離散聚合匹配算法聚合窗口大小15×15。依次為:匹配原圖,、Hamming稀疏聚合視差圖,、Hamming密集聚合視差圖、真實(shí)視差圖。
圖3,、圖4是對(duì)SAD(見(jiàn)opencv2),、Census聚合(變換窗口17×17)、本文提出的密集聚合算法以及稀疏聚合算法進(jìn)行的對(duì)比試驗(yàn),。 其中圖3是對(duì)加入白噪聲后的圖像進(jìn)行的實(shí)驗(yàn),。由圖3、圖4可知,,在誤匹配率方面,,本文提出的密集和離散聚合算法雖然在處理速度上小于SAD和Census聚合這兩種算法,但是其誤匹配率也遠(yuǎn)遠(yuǎn)小于SAD和Census聚合這兩種算法,。稀疏和密集聚合算法分別在24.7 f/s和19.9 f/s趨于平穩(wěn),,適用于實(shí)時(shí)立體匹配。綜合誤匹配和處理速度來(lái)看,,提出的基于Census變換的權(quán)值稀疏聚合立體匹配算法更有優(yōu)勢(shì),。
表2是與幾種改進(jìn)Census算法的比較,這些算法包括SAD-iGMCT,、RTCensus提出的改進(jìn)Census立體匹配算法[9,,10]。由表2看出,,匹配正確率方面,,本文算法低于RTCensus算法和SAD-IGMCT算法,但是高于其他算法,。本文提出的算法適用于實(shí)時(shí)的立體匹配,。
5 結(jié)束語(yǔ)
本文針對(duì)傳統(tǒng)的Census+Hamming匹配算法的不足,,提出了一種使用變換窗口中空間距離作為權(quán)值的新的初始匹配代價(jià)的計(jì)算方法,。本文將空間距離加入了初始距離的測(cè)算,使初始匹配代價(jià)的計(jì)算更加偏重于距離中心像素較近的像素,;并且引入了梯度圖像和稀疏聚合窗口,,提高匹配程度;加入鄰域像素與像素均值之間的距離,,減少了因中間像素異常而產(chǎn)生的誤匹配,;而稀疏聚合窗口可以在匹配誤差率相差不大的情況下降低算法的復(fù)雜度,適用于實(shí)時(shí)匹配,。
參考文獻(xiàn)
[1] MEGER D,,F(xiàn)ORSSEEN P E,LAI K,,et al.Curious George,,an attentive semantic robot[J].Robotics and Autonomous Systems,2008,,56(6):503-511.
[2] 佟帥,,徐曉剛,,易成濤.基于視覺(jué)的三維重建技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究,2011,,28(7):2411-2417.
[3] BOHREN J,,F(xiàn)OOTE T,KELLER J.The Ben franklin racing teams entry[J].Journal of Field Robotics,,2008,,25(9):598-614.
[4] ZABIH R.WOODFILL J.Non-parametric local transforms for computing visual correspondence[C].ECCV’94.Berlin Heidelberg:Springer,1994:151-158.
[5] AMBROSCH K,,KUBINGER W.Accurate hardware-based stereo vision[J].Computer Vision and Image Understanding,,2010,114(11):1303-1316.
[6] HUMENBERGER M,,ZINNER C.A fast stereo matching algorithm suitable for embedded real-time systems[J].Computer Vision and Image Understanding,,2010,114(11):1180-1202.
[7] YOON K J,,KWEON I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,,2006,28(4):650-656.
[8] 劉天亮,,霍智勇,,朱秀昌,等.基于DAISY描述符和改進(jìn)型權(quán)重核的快速局部立體匹配[J].南郵電大學(xué)學(xué)報(bào):自然科學(xué)版,,2012,,32(4):70-76.
[9] 張晗玥.基于Census變換的區(qū)域立體匹配算法研究[D]. 沈陽(yáng):遼寧大學(xué),2013.
[10] Middlebury.Middlebury stereo evaluation-Version 2[EB/OL].(2015-07-01)[2016-04-01].http://vision.middlebury.edu/stereo/eval/.