0 引言

    在現(xiàn)有的目標(biāo)識(shí)別^[1],、目標(biāo)分類^[2],、三維重建^[3]等實(shí)際應(yīng)用中，提取到的特征點(diǎn)匹配數(shù)量越多,，識(shí)別精度越高,，分類則會(huì)越精細(xì)。

    尺度不變模擬^[4-5],、基于仿射變換的SURF描述符^[6],、仿射不變模擬^[7-8]及二值圖像代替灰度圖像^[9]等現(xiàn)有提升特征數(shù)量的方法雖然提升了特征點(diǎn)數(shù)量，然而在進(jìn)行匹配的過程中,，由于直接去掉了很多一對(duì)多、多對(duì)一的特征點(diǎn),，從而導(dǎo)致獲得到的匹配點(diǎn)對(duì)少了很多,，而這些被去掉的特征點(diǎn)中有很多是可以得到正確匹配的。本文方法在ASIFT算法特征匹配的基礎(chǔ)上,，通過在已經(jīng)正確匹配的特征點(diǎn)對(duì)的周圍限定鄰域內(nèi)尋找特征點(diǎn)進(jìn)行匹配,，達(dá)到增加正確匹配的特征點(diǎn)、提升正確匹配點(diǎn)數(shù)量的目標(biāo),。

1 算法模型與方法

    在正確匹配的特征點(diǎn)對(duì)的周圍限定鄰域內(nèi)尋找特征點(diǎn)進(jìn)行匹配的過程如下：

    (1)設(shè)ASIFT算法在參考圖像I₁與測(cè)試圖像I₂中提取到的特征點(diǎn)集合分別為S₁,、S₂，ASIFT算法得到的匹配點(diǎn)集合為MS,，S₁,、S₂中未匹配的點(diǎn)為US₁、US₂,。

    (2)在MS中隨機(jī)選取一個(gè)未計(jì)算過的匹配點(diǎn)對(duì)設(shè)為P₁(x₁,，y₁)、P₂(x₂,，y₂),，設(shè)點(diǎn)P₁、P₂所在的模擬圖像分別為I_p1,、I_p2,。分別求出US₁、US₂中未匹配上的特征點(diǎn)在圖像I_p1,、I_p2上的坐標(biāo),，分別記這些坐標(biāo)集合為S_sim1,、S_sim2。

    (3)分別在S_sim1,、S_sim2中查找在點(diǎn)(x₁,，y₁)、(x₂,，y₂)的限定區(qū)域內(nèi)的點(diǎn),，當(dāng)選取的兩個(gè)點(diǎn)同時(shí)滿足條件時(shí)分別保存在集合S₃和S₄中。

    (4)若集合S₃中的所有點(diǎn)都已經(jīng)計(jì)算過,，則跳至步驟(5),；否則在集合S₃中隨機(jī)選取未計(jì)算過得一個(gè)點(diǎn)，同時(shí)在集合S₄中選取與該點(diǎn)距離最近與次近的點(diǎn),，若與最近點(diǎn)的距離和與次近點(diǎn)的小于給定閾值,，則該點(diǎn)與最近距離的點(diǎn)匹配，將匹配的特征點(diǎn)對(duì)加入集合NS中,，將US₁,、US₂中對(duì)應(yīng)的點(diǎn)標(biāo)記為已匹配。

    (5)若MS中所有的點(diǎn)對(duì)都已經(jīng)計(jì)算過,，則將集合NS中的點(diǎn)加入MS中并結(jié)束,，否則跳至步驟(2)。

    下面對(duì)步驟(2),、步驟(3)和步驟(4)分別進(jìn)行詳細(xì)介紹,。

1.1 將特征點(diǎn)坐標(biāo)映射到對(duì)應(yīng)的模擬圖像上

    設(shè)圖像I₁當(dāng)前某一模擬圖像為I，由于在ASIFT中求得的特征點(diǎn)的坐標(biāo)都是I₁上的坐標(biāo)(需要在I₁上畫出匹配的特征點(diǎn)對(duì)),，因此需要將I₁上的坐標(biāo)映射到模擬圖像I上,。

    由ASIFT算法中從圖像I₁到圖像I的變換，可以得出圖像I₁坐標(biāo)(x,，y)到模擬圖像上的坐標(biāo)(x₁,，y₁)之間的對(duì)應(yīng)關(guān)系為：

其中，w與h分別為圖像I₁的寬度與高度,。

    根據(jù)式(1)和式(2),，在MS中隨機(jī)選取一個(gè)未計(jì)算過的匹配點(diǎn)對(duì)設(shè)為P₁(x₁，y₁),、P₂(x₂,，y₂)，設(shè)點(diǎn)P₁,、P₂所在的模擬圖像分別I_p1,、Ip2，就可以求出US₁,、US₂中未匹配上的特征點(diǎn)在圖像I_p1,、I_p2上的坐標(biāo),，分別記這些坐標(biāo)集合為S_sim1、S_sim2,。

1.2 在未匹配的特征點(diǎn)中查找符合匹配點(diǎn)對(duì)的限定區(qū)域內(nèi)的點(diǎn)

    在S_sim1,、S_sim2中查找在點(diǎn)P₁(x₁，y₁),、P₂(x₂,，y₂)的限定區(qū)域內(nèi)的點(diǎn)，限定區(qū)域范圍為計(jì)算特征點(diǎn)描述符的像素區(qū)域,。當(dāng)S_sim1,、S_sim2中選取的兩個(gè)點(diǎn)同時(shí)滿足條件時(shí)，將這兩個(gè)點(diǎn)記錄下來,，分別保存在集合S₃和S₄中,。限定區(qū)域用如下式表示：

其中，(x₃,，y₃),、(x₄、y₄)分別為集合S_sim1,、S_sim2中未匹配的點(diǎn)在圖像I_p1,、I_p2上的坐標(biāo)，r₁,、r₂分別為點(diǎn)P1(x₁，y₁),、P₂(x₂,，y₂)在圖像I_p1、I_p2上計(jì)算描述符像素區(qū)域的半徑,。

1.3 計(jì)算符合限定區(qū)域內(nèi)的特征點(diǎn)是否為匹配點(diǎn)

    從集合S₃中隨機(jī)取出未計(jì)算過的點(diǎn)設(shè)為Q₁,，從集合S₄中找出與點(diǎn)Q₁最近與次近的兩個(gè)點(diǎn)，設(shè)為Q₂,、Q₃,。若Q₂與Q₁間的距離d₁以及Q₃與Q₁間的距離d₂的比值小于給定閾值t，則認(rèn)為Q1與Q2匹配,。計(jì)算公式為：

其中：

其中,，(l₁，l₂,，…,，l_h)表示點(diǎn)Q1的描述符，(m₁,，m2,，…,，mh)表示點(diǎn)Q₂的描述符，(n₁,，n₂,，…，n_h)表示點(diǎn)Q₃的描述符,，h表示描述符的維數(shù),，t此處取0.36。

    將匹配的特征點(diǎn)對(duì)加入集合NS中,，將US₁,、US₂中對(duì)應(yīng)的點(diǎn)標(biāo)記為已匹配。這樣就把空間約束與局部描述符結(jié)合起來了,。

2 實(shí)驗(yàn)

    本節(jié)主要是通過實(shí)驗(yàn)分析本文算法的性能,，并將結(jié)果與ASIFT算法結(jié)果進(jìn)行比較。通過使用相同的圖像集,，利用本文算法與ASIFT算法來處理圖像集得到匹配實(shí)驗(yàn)結(jié)果,。在比較兩個(gè)算法的性能時(shí)，會(huì)用到兩種算法的匹配結(jié)果圖像以及匹配正確點(diǎn)對(duì)數(shù)目來進(jìn)行對(duì)比分析,。

2.1 絕對(duì)傾斜測(cè)試

    圖1顯示了絕對(duì)傾斜測(cè)試實(shí)驗(yàn)的設(shè)置,。在圖2中的油畫在拍攝時(shí)焦距縮放改變?cè)凇?～×10間，拍攝時(shí)視角的改變范圍在為0°（正面）～80°,。很顯然,，超過80°，在正面圖像與最邊上的圖像之間建立對(duì)應(yīng)關(guān)系是非常復(fù)雜的,。在一個(gè)反射表面存在一個(gè)如此大的視角改變范圍,，傾斜視圖中的圖像在正面視圖中會(huì)完全不同。

    表1給出了在不同的絕對(duì)傾斜角下,，兩個(gè)算法匹配的正確點(diǎn)對(duì)數(shù),。其中表1中相機(jī)的焦距縮放為×1，表1中的圖像在拍攝時(shí)相機(jī)的拍攝角度θ均在45°～80°之間,，其中傾斜度t=1/cosθ,，圖像的尺寸大小均為400×300，表中的正確匹配點(diǎn)對(duì)數(shù)量都是經(jīng)過RANSAC^[10-11]算法處理得到的,。圖3給出了兩個(gè)算法使用部分圖像經(jīng)過RANSAC算法處理得到的匹配結(jié)果,，兩幅用來匹配的圖像是相機(jī)在正面拍攝圖2以及65°拍攝角度拍攝圖2，相機(jī)焦距縮放均為×1,。由表1以及圖3中可以看出,，在相同的條件下，本文算法比ASIFT算法得到的正確匹配點(diǎn)對(duì)數(shù)較多。

    再來比較一下相機(jī)與物體之間的距離放大10 倍的結(jié)果,。表2中的圖像在拍攝時(shí)相機(jī)的拍攝角度均在45°～80°之間,，相機(jī)的焦距縮放為×10，使用圖2兩個(gè)算法匹配得到正確點(diǎn)對(duì)數(shù),，其中圖像的尺寸大小均為400×300,，表中的正確匹配點(diǎn)對(duì)數(shù)量都是經(jīng)過RANSAC算法處理得到的。圖4給出了兩個(gè)算法使用部分圖像經(jīng)過RANSAC算法處理后得到的匹配結(jié)果,，兩幅用來匹配的圖像是相機(jī)在正面拍攝圖2以及45°拍攝角度拍攝圖2,，相機(jī)焦距縮放均為×10。由表2以及圖4可以看出,，仍然能夠得到類似表1以及圖3中給出的結(jié)論,。

    上述的實(shí)驗(yàn)結(jié)果表明在相同的條件下，不管相機(jī)的焦距縮放范圍在×1～×10內(nèi)以及緯度角（絕對(duì)傾斜）在0°～80°范圍內(nèi)如何變化,，本文算法都能得到比ASIFT算法多很多的正確匹配點(diǎn)對(duì),。

2.2 相對(duì)傾斜測(cè)試

    圖5顯示了相對(duì)傾斜測(cè)試實(shí)驗(yàn)的設(shè)置。對(duì)于圖6中的雜志分別設(shè)置相機(jī)使用一個(gè)固定的緯度角θ,，對(duì)應(yīng)t=2和t=4,，經(jīng)度角φ的變化范圍為0°~90°。相機(jī)的焦距和光軸縮放是×4,。在每個(gè)設(shè)置中用作實(shí)驗(yàn)的圖像都有相同的絕對(duì)傾斜度t=2或者t=4,，對(duì)應(yīng)的相對(duì)傾斜τ（相對(duì)于圖像在φ=0°）的范圍為1~t²=4或者16，而φ的范圍為0°~90°,。

    表3顯示了用來匹配的兩幅圖像絕對(duì)傾斜度為t₁=2,，t₂=2，φ₁=0°,，φ和相對(duì)傾斜τ的取值為表中的第一列時(shí)的對(duì)比結(jié)果,。其中所使用的實(shí)驗(yàn)圖像的大小均為400×300，表中的正確匹配點(diǎn)對(duì)數(shù)量都是經(jīng)過RANSAC算法處理得到的,。

    表4顯示了在待匹配的兩幅圖像絕對(duì)傾斜度t₁=4，t₂=4,，φ₁=0°,，φ和相對(duì)傾斜τ的值取表中的第一列時(shí)的對(duì)比結(jié)果。其中所使用的實(shí)驗(yàn)圖像的大小均為400×300,，表中的正確匹配點(diǎn)對(duì)數(shù)量都是經(jīng)過RANSAC算法處理得到的,。

    圖7給出了兩個(gè)算法使用部分圖像得到的匹配結(jié)果，兩幅用來匹配的圖像是在t₁=2,，t₂=2,，φ₁=0°，φ₂=40°(τ=2.5)條件下得到的，正確匹配點(diǎn)對(duì)數(shù)是經(jīng)過RANSAC算法處理后得到的結(jié)果,。

3 結(jié)論

    本文主要研究基于局部限定搜索區(qū)域的特征匹配算法,，介紹了研究方向現(xiàn)狀，針對(duì)經(jīng)典算法ASIFT在特征匹配階段直接去除一對(duì)多,、多對(duì)一的特征點(diǎn)的缺陷做出了改進(jìn),，提出局部限定搜索區(qū)域的特征匹配算法。在實(shí)驗(yàn)階段本文利用大量的實(shí)驗(yàn)詳細(xì)地對(duì)比了本文算法與ASIFT算法,結(jié)果顯示本文算法得到的匹配點(diǎn)對(duì)比ASIFT算法增加大約0.85倍左右,。

    由于本文算法是在ASIFT算法得到的匹配結(jié)果上得到的,，算法的匹配時(shí)間要比ASIFT算法較長(zhǎng)一些，接下來工作的重點(diǎn)是在保證得到大量的正確匹配點(diǎn)對(duì)數(shù)量的情況下,，使算法的效率能夠大大提高,。

參考文獻(xiàn)

[1] He Kaiming，Zhang Xiangyu,，Ren Shanqing,，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on CVPR，2016.

[2] ZENG X,，OUYANG W,，WANG M，et al.Deep learning of scene-specific classifier for pedestrian detection[M].Computer Vision-ECCV 2014.Springer International Publishing,，2014：472-487.

[3] VERGAUWEN M,，GOOL L V.Web-based 3D reconstruction service[J].Machine Vision & Applications，2006,，17(6)：411-426.

[4] SE S,，LOWE D，LITTLE J.Vision-based mobile robot localization and mapping using scale-invariant features[C].IEEE International Conference on Robotics and Automation,，2001.Proceedings.IEEE,，2001，2：2051-2058.

[5] LOWE D G.Object recognition from local scale-invariant features[C].The Proceedings of the Seventh IEEE International Conference on Computer Vision.IEEE,，2002：1150.

[6] 劉欣,，李校林，謝燦,，等.一種基于仿射變換的SURF圖像配準(zhǔn)算法[J].電子技術(shù)應(yīng)用,，2014，40(6)：130-132.

[7] CUI C,，NGAN K N.Global propagation of affine invariant features for robust matching[J].IEEE Transactions on Image Processing,，2013，22(7)：2876-2888.

[8] TUYTELAARS T,，GOOL L V.Matching widely separated views based on affine invariant regions[J].International Journal of Computer Vision,，2004，59(1)：61-85.

[9] 彭興璇，唐雪嬌,，董星.基于改進(jìn)SIFT算法在圖像匹配中的研究[J].微型機(jī)與應(yīng)用,，2015，34(20)：36-38.

[10] LUO J,，GWUN O.A comparison of SIFT,，PCA-SIFT and SURF[J].International Journal of Image Processing，2009,，3(4)：143-152.

[11] FISCHLER M A,，BOLLES R C.Random sample consensus；a paradigm for model fitting with applications to image analysis and automated cartography[M].ACM,，1981.

作者信息:

張振寧,，李  征，鄭俊偉

（四川大學(xué) 計(jì)算機(jī)學(xué)院,，四川 成都610065）