摘 要： 針對(duì)目前圖像拼接算法存在對(duì)于圖像配準(zhǔn)過(guò)程中對(duì)應(yīng)特征點(diǎn)對(duì)難以準(zhǔn)確匹配的問(wèn)題,，提出了一個(gè)通過(guò)改進(jìn)的SURF算法提取圖像特征點(diǎn)，然后對(duì)得到的特征點(diǎn)進(jìn)行描述,，利用快速RANSAC算法配準(zhǔn)圖像,，最后采用像素加權(quán)的方法進(jìn)行圖像融合。實(shí)驗(yàn)結(jié)果表明,，提出的改進(jìn)SURF方法有效地提高了特征點(diǎn)提取的準(zhǔn)確性,，去除了錯(cuò)誤的匹配點(diǎn)對(duì)，將整個(gè)拼接過(guò)程的效率從之前的13.03對(duì)/秒提升到15.20對(duì)/秒。
關(guān)鍵詞： 特征提取,；圖像拼接,；SURF；對(duì)稱性
0 引言
在日常生活中人們往往需要一幅大范圍的全景圖像,，以此來(lái)獲得更多的信息,。然而，由于鏡頭拍攝角度的局限性,，一般只能得到局部的圖像,，而全景成像的硬件設(shè)備一般比較昂貴。所以,，人們就想利用多幅圖像拼接成一幅大的圖像,，這樣就可以獲取寬視角、高分辨率的全景圖像,。圖像拼接本質(zhì)上是對(duì)待拼接圖像的重疊部分進(jìn)行圖像配準(zhǔn)和圖像融合,，其一般步驟是：（1）獲取圖像序列；（2）圖像預(yù)處理,，去除噪聲和圖像畸變校正,；（3）圖像配準(zhǔn)，用算法對(duì)圖像進(jìn)行配準(zhǔn)定位,，是圖像拼接的關(guān)鍵步驟,；（4）圖像融合，消除拼接的接縫,；（5）輸出拼接完成的圖像[1-2],。
當(dāng)前圖像拼接的方法主要是包括基于區(qū)域的方法和基于特征的方法?；趨^(qū)域的方法應(yīng)用重疊區(qū)域的所有信息進(jìn)行計(jì)算，因此,，它的精度比較高,。但是，該方法要使用大量的像素信息,，因此計(jì)算量很大,，并且對(duì)光照很敏感[1]。而基于特征的方法則是利用兩幅圖像重疊區(qū)域的點(diǎn),、線或者其他的特征信息來(lái)估算兩幅圖像的對(duì)應(yīng)關(guān)系,。目前，基于不變特征的物體匹配,、識(shí)別的研究比較多,，比如SIFT算法和SURF算法[3-4]。這些不變特征對(duì)于尺度、旋轉(zhuǎn),、光照都具有很高的魯棒性,。對(duì)于SIFT算法，其特征描述向量維度（128維）較高,，計(jì)算量較大[5],。而SURF算法是一種快速魯棒性算法，其特征描述向量維度（64）也相對(duì)較高[6],。針對(duì)特征描述符維度高,、計(jì)算量大的情況，本文提出了一種改進(jìn)的SURF算法,。該方法主要是將對(duì)稱性得分加入到SURF算法的框架中,，其中對(duì)稱性得分就是指每個(gè)特征點(diǎn)和其鄰域內(nèi)點(diǎn)的像素值之差求和。用對(duì)稱性得分的最小值來(lái)表示特征描述符,，降低了特征描述的維度,，提高了算法的效率。通過(guò)對(duì)采用算法改進(jìn)前后特征點(diǎn)對(duì)匹配結(jié)果進(jìn)行的對(duì)比實(shí)驗(yàn),，從特征點(diǎn)對(duì)提取數(shù)量,、時(shí)間、匹配率驗(yàn)證了本算法的正確性,。
1 SURF算法的介紹及其改進(jìn)
1.1 特征點(diǎn)的提取與匹配
基于特征的圖像拼接算法對(duì)于特征點(diǎn)提取的效率和精確度要求比較高,。傳統(tǒng)SURF算法使用64維的特征向量作為后期進(jìn)行特征匹配的向量，雖然比SIFT算法計(jì)算量小,、速度快,，但是計(jì)算效率還不是很高，并且對(duì)于特征點(diǎn)的提取精確度不高降低了圖像拼接的效率,。所以,，本文提出了一種改進(jìn)的SURF算法，使用局部對(duì)稱性來(lái)表示特征向量,，而對(duì)稱性具有尺度,、旋轉(zhuǎn)和光照的不變特性。首先,，根據(jù)Hessian矩陣求出圖像的SURF特征點(diǎn)：
其中,，是二階高斯導(dǎo)數(shù)g與圖像在p點(diǎn)處的卷積，由上式可以得到Hessian矩陣的行列式如式（2）所示,。
det（H）=LxxLyy-L2xy（2）
通過(guò)Hessian矩陣行列式的計(jì)算可以初步得到SURF算法的特征點(diǎn),。
對(duì)于SURF特征向量使用箱式濾波器（如圖1所示）近似代替二階高斯導(dǎo)數(shù)，用積分圖像來(lái)加速卷積運(yùn)算,，因此提高了Hessian矩陣的計(jì)算效率[6-7],。實(shí)驗(yàn)中使用9×9的箱式濾波器來(lái)提取局部最大值[8],，因此，式（2）可以寫(xiě)成：
det（Happrox）=Dxx×Dyy-（0.9Dxy）2（3）
其中,，Dxx,、Dxy、Dyy,、Dxy分別近似代替Lxx,、Lyy、Lxy,。如果det為負(fù)值,，并且特征值是異號(hào)，那該點(diǎn)就不是局部極值點(diǎn),；如果det為正值,，并且特征值同號(hào)，則該點(diǎn)為局部極值點(diǎn),。
其次,，當(dāng)提取到SURF特征點(diǎn)后，就需要對(duì)特征點(diǎn)進(jìn)行特征向量的描述,，以便于后期的特征匹配,。對(duì)于局部圖像區(qū)域中的任意一點(diǎn)p（x，y）,，如果關(guān)于一條直線是滿足軸對(duì)稱,，則可以得到如下公式：
I（x+x′，y）=I（x-x′,，y）
I（x,，y+y′）=I（x，y-y′）（4）
其中,，x′和y′表示點(diǎn)p到對(duì)稱軸的距離,。為了計(jì)算對(duì)稱性得分，定義一個(gè)函數(shù)Mp,，q（q）,，它表示圖像上的點(diǎn)q（x，y）關(guān)于對(duì)稱軸的對(duì)應(yīng)點(diǎn)p（x,，y）,。如果對(duì)于圖像上p點(diǎn)的局部區(qū)域表現(xiàn)出軸對(duì)稱的屬性,，就會(huì)有I（q）=I（Mp,，q（q））。
以p點(diǎn)為圓心,，6 s（s代表當(dāng)前圖像尺度）為半徑定義一個(gè)圓,，則對(duì)于點(diǎn)p和其鄰域范圍內(nèi)的任意一點(diǎn)之間的圖像強(qiáng)度差異函數(shù)可以定義為：
d（p,，q）=|I（p）-I（q）|（5）
接下來(lái)，使用高斯模板來(lái)定義一個(gè)權(quán)重函數(shù)（r）,，它決定了p點(diǎn)周?chē)泥徲螯c(diǎn)對(duì)對(duì)稱性得分的貢獻(xiàn)值,。其中，r代表鄰域點(diǎn)到p點(diǎn)的距離,，代表權(quán)重模板的尺度[9],。最后，計(jì)算60°區(qū)域的扇形窗口內(nèi)所有點(diǎn)的距離,，使用最小距離SD作為一個(gè)向量：
最后,，以p點(diǎn)為中心定義一個(gè)邊長(zhǎng)為20 s的正方形區(qū)域，將它進(jìn)一步分成4×4的子區(qū)域,，對(duì)于每一個(gè)子區(qū)域計(jì)算它在5 s尺度的最小距離SD,。因此，對(duì)于4×4的子區(qū)域,，最終將形成16維的特征向量,。在匹配階段，使用歐式距離來(lái)求取兩個(gè)特征向量的相似度,。一個(gè)n維的歐式距離函數(shù)表示如下：
其中,，xi1表示第一個(gè)點(diǎn)的第i維的坐標(biāo)，xi2表示第二個(gè)點(diǎn)的第i維坐標(biāo),，i=1,，2，…16,。
當(dāng)計(jì)算出的閾值接近之前設(shè)定的閾值,，就可以得到兩個(gè)點(diǎn)匹配。由于這個(gè)向量是16維的,，最多只需要計(jì)SDmin16次,，因此整個(gè)匹配的速度與原始SURF算法相比有了提升。
1.2 圖像拼接和融合
通過(guò)提取到的特征點(diǎn)對(duì),，計(jì)算出兩幅圖像對(duì)應(yīng)的單應(yīng)性矩陣,。把輸入圖像按照單應(yīng)性矩陣映射到參考圖像中，就完成了圖像的拼接[10],。對(duì)于圖像融合采取最基本的取兩張圖像的平均值,，但是這樣會(huì)有明顯的拼接縫[11]。使用如下公式計(jì)算重疊區(qū)域的像素值：
其中,，d1,、d2分別代表重疊區(qū)域中的點(diǎn)到重疊區(qū)域左邊界和右邊界的距離，img1pixel,、img2pixel分別代表重疊區(qū)域左邊圖像和右邊圖像的對(duì)應(yīng)像素點(diǎn)的像素值,。經(jīng)過(guò)式（8）的計(jì)算,，就可以實(shí)現(xiàn)平滑過(guò)渡。
2 實(shí)驗(yàn)結(jié)果及結(jié)論
本實(shí)驗(yàn)是在Win XP,、主頻1.83 GHz,、CPU和內(nèi)存 1 GB的主機(jī)上運(yùn)行的，使用VS2008+OpenCV來(lái)實(shí)現(xiàn)圖像拼接算法,。實(shí)驗(yàn)中的圖像尺度大小為640×480,。本次實(shí)驗(yàn)用來(lái)驗(yàn)證算法改進(jìn)前后特征點(diǎn)對(duì)匹配的情況，如圖2,、圖3所示,。
圖2、圖3中,，圖（a）表示從圖像中提取的待匹配的特征點(diǎn),，而圖（b）表示兩幅圖像對(duì)應(yīng)的特征點(diǎn)匹配對(duì)。從圖2和圖3的對(duì)比實(shí)驗(yàn)來(lái)看,，圖2原始SURF算法提取的特征點(diǎn)對(duì)相比圖3改進(jìn)后的SURF算法要多,，但是原始算法提取的特征點(diǎn)對(duì)存在錯(cuò)誤的匹配對(duì)，而且從特征點(diǎn)對(duì)提取的效率來(lái)看,，原始SURF算法要比改進(jìn)后的SURF算法低,，如表1所示。
最終,，圖像的拼接結(jié)果如圖4所示,。
3 結(jié)論
本文主要是對(duì)原始SURF算法在特征提取階段采用對(duì)稱性的特征，這種對(duì)稱性具有旋轉(zhuǎn),、尺度不變性,，對(duì)光照也有很強(qiáng)的魯棒性。從實(shí)驗(yàn)結(jié)果來(lái)看,，本文算法將提取的特征點(diǎn)對(duì)數(shù)目從132對(duì)減少到71對(duì),，相應(yīng)的特征匹配時(shí)間從10.13 s減少到4.67 s，而算法的效率從13.03對(duì)/秒提高到15.20對(duì)/秒,。因此,，實(shí)驗(yàn)結(jié)果表明，文中提出的方法有效地提高了特征點(diǎn)提取的準(zhǔn)確性和整個(gè)拼接過(guò)程的效率,。
參考文獻(xiàn)
[1] 徐正光,，田清，張利欣.圖像拼接方法探討[J].微計(jì)算機(jī)信息,，2006,，22（30）：255-256.
[2] MATTHEW B， DAVID G. L. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision,， 2007：59-73.
[3] 鄭海珍.圖像拼接技術(shù)的研究與應(yīng)用[D].杭州：杭州電子科技大學(xué),，2009.
[4] 蔡麗歡，廖英豪,，郭東輝.圖像拼接方法及其關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,，2008，18（3）：1-5.
[5] Jing Xing,， Miao Zhenjiang. An improved algorithm on image stitching based on SIFT features[C]. ICICIC′07,， Second Internation Conference on Innovative Computing， Information and Control,， 2007：453-456.
[6] BAY H,， TUYTELAARS T， VAN GOOL L. SURF： speeded up robust features[C]. European Conference on computer Vision,， 2006：404-417.
[7] 周軍太,，龍永紅.一種改進(jìn)SURF算法的圖像配準(zhǔn)[J].湖南工業(yè)大學(xué)學(xué)報(bào)，2011,，25（2）：95-99.
[8] PARK H,， MITSUMINE H， FUJII M. Fast detection of features by reducing the number of box filtering in SURF[C]. IEICE ransactions on Information and Systems,， 2011,，725-728.
[9] HAUAGGE D C， SNAVELY N. Image matching using local symmetry features[C]. IEEE Conference on Computer Vision and Pattern Recognition,， 2012：206-213.
[10] Yi Zhuang,， Hu Xinrong， Wang Jianchun. The implenment of an image stitching algorithm based on feature extraction[C]. International Conference on Education Technology and Training,， 2009：327-330.
[11] 李柏林.基于特征點(diǎn)圖像拼接的配準(zhǔn)算法研究[D].天津：天津大學(xué),，2008.