摘  要： 無人機(jī)低空拍攝的圖像具有成本低,、方便快捷的優(yōu)點,，但也存在重疊度高,、覆蓋范圍小等問題，需通過圖像拼接來獲得更大范圍的圖像,。目前,，無人機(jī)圖像拼接效率不高。針對此問題,，提出了一種結(jié)合Harris與SURF算法優(yōu)點的改進(jìn)Harris-SURF算法,，并將該算法應(yīng)用于無人機(jī)圖像的自動配準(zhǔn)；采用加權(quán)平滑融合算法消除亮度差異,，較好地實現(xiàn)了無人機(jī)圖像的無縫拼接,。實驗結(jié)果表明，該算法在效率方面較SURF算法有較大提高,，對存在旋轉(zhuǎn),、光照及視角變化的圖像均有較好的匹配效果，實現(xiàn)了無人機(jī)圖像的快速拼接,。

　　關(guān)鍵詞： 無人機(jī),；Harris；SURF,；圖像匹配,；圖像拼接

　　無人機(jī)UAV（Unmanned Aerial Vehicle）具有運行簡單、反應(yīng)迅速,、飛行靈活,、成本低等優(yōu)點，已被廣泛應(yīng)用于抗災(zāi)救災(zāi),、軍事偵察、海上監(jiān)測,、環(huán)境保護(hù)和土地動態(tài)監(jiān)測等領(lǐng)域[1-2],。受飛機(jī)飛行高度和相機(jī)焦距的限制，無人機(jī)圖像具有數(shù)量多,、像幅小,、重疊度高、航帶多等特點,，為了得到整個測區(qū)的全景圖像,，圖像的快速自動拼接成為必不可少的一步[1-3],。

　　圖像拼接是指將具有一定重疊區(qū)域的兩幅或多幅圖像進(jìn)行無縫連接，以獲得更高分辨率和更寬視場的圖像[4],。圖像拼接主要包括圖像配準(zhǔn)和圖像融合兩部分,，其中圖像配準(zhǔn)是其核心。目前,，圖像配準(zhǔn)主要采用基于灰度信息和基于圖像特征兩類算法,。基于灰度信息的算法包括歸一化互相關(guān)匹配[5],、模板匹配等,，該算法實現(xiàn)簡單，但計算量大,，尤其是存在平移,、旋轉(zhuǎn)、縮放等圖像畸變時,，該算法性能急劇下降,。基于特征的匹配算法主要有輪廓,、矩,、點等，由于點特征對圖像的平移,、旋轉(zhuǎn),、分辨率、光照等具有不變性,，因此廣泛應(yīng)用于圖像配準(zhǔn),，如Harris算法、SUSAN算法等,。2004年,，LOWE DG等人[6-7]提出的SIFT（Scale Invariant Feature Transform）算法得到的特征點穩(wěn)定性好，且對旋轉(zhuǎn),、光照改變等情況具有較好的適應(yīng)性,，但該算法也存在計算數(shù)據(jù)量大、時間復(fù)雜度高等問題,。針對以上問題,，Ke Yan等人[8]提出用PCA-SIFT方法降維特征描述數(shù)據(jù)；DELPONTE E等人[9]提出基于SVD的特征匹配方法,；GRABNER M[10]等人用積分圖像提高計算速度,；BAY H等人[11]提出的SURF（Speeded Up Robust Features）算法速度明顯快于SIFT。這些算法雖然提高了運算速度,，但仍難滿足應(yīng)用需要,。

　　為提高無人機(jī)圖像拼接速度,，本文提出一種改進(jìn)Harris-SURF的圖像拼接算法。首先利用改進(jìn)的Harris算子提取特征點,，再用SURF算法生成64維特征向量,，然后用最近鄰匹配法得到匹配對，再利用RANSAC剔除誤匹配對并求解圖像間的透視變換矩陣,，最后使用加權(quán)平滑法融合圖像以實現(xiàn)圖像的無縫自動拼接,。為提高Harris特征點的穩(wěn)定性，本文在Canny算子邊緣圖像上提取角點以限制其出現(xiàn)的位置,，同時通過限制其個數(shù)來提高特征描述及匹配效率,。

1 Harris算子和SURF算法

　　1.1 Harris算子

　　HARRIS C和STEPHENS M J[12]提出的Harris算子具有計算簡單、可定量提取特征點,、提取的角點均勻穩(wěn)定等特點,。定義矩陣Ｍ：

　　Ｍ=G?茚Ix2  IxIyIxIy  Iy2 ->R-1λ1  00  λ2R（1）

　　其中,，Ix是圖像I在x方向的梯度,，Iy是圖像I在y方向的梯度，G為高斯模板,，?茚為高斯模型和函數(shù)卷積,，R是旋轉(zhuǎn)因子，λ1,、λ2是矩陣的兩個特征值,。

　　角點響應(yīng)函數(shù)CRF定義為：

　　CRF=det（M）-Ktr2（M）（2）

　　det（M）=λ1λ2=Ix2Iy2-（IxIy）2（3）

　　tr（M）=λ1+λ2=Ix2+Iy2（4）

　　其中，det為矩陣的行列式,；tr為矩陣的跡（矩陣對角線的和）,；K為經(jīng)驗值，一般取0.04~0.06,。若某點的CRF值大于設(shè)定的閾值T時則為角點,。

　　1.2 SURF算法

　　SURF算法[11]利用盒子濾波、積分圖像及Haar小波加速算法,，該算法包括5個步驟：（1）建立尺度空間,，確定極值點位置；（2）剔除不穩(wěn)定極值點,，精確確定特征點位置,，提高匹配的穩(wěn)定性和抗噪能力；（3）計算特征點主方向,，使其具備旋轉(zhuǎn)不變性；（4）提取特征點描述符,，生成SURF特征向量,；（5）利用特征描述符尋找匹配點,。

　　1.2.1 構(gòu)建尺度空間檢測極值

　　SURF算法利用盒子濾波構(gòu)建尺度空間，并用積分圖像來加速卷積以提高計算速度,。SURF算法尺度空間金字塔的最底層利用一個大小為9×9的盒子濾波得到,，為保證盒子濾波的結(jié)構(gòu)不變，后面的盒子濾波大小至少要有6個像素步長的變換,，即第一層為9×9,，第二層最小為15×15。式（5）為當(dāng)前大小的盒子濾波對應(yīng)的高斯尺度值的計算公式：

　　其中,，N表示當(dāng)前的盒子濾波尺寸,。

　　若要構(gòu)建4度4層的尺度空間，如圖1所示,，最低層的盒子濾波器的大小為9×9,，各層中盒子濾波器的大小變化分別為6、12,、24,、48。

　　為了尋找尺度空間中的極值點,，每一采樣點需要與它同尺度的8個相鄰點及上下相鄰尺度對應(yīng)的9×2個點共26個點比較,，以確保在尺度空間和二維圖像空間均檢測到極值點。若采樣點為最大或最小值,，則該點是圖像在該尺度下的一個極值點,。

　　1.2.2 確定特征點位置

　　得到極值點后需要消除不穩(wěn)定的極值點，以確定特征點的位置,。在SURF算法中利用一個近似det（H）的  ?駐（H）確定特征點的位置：

　　?駐（H）=DxxDyy-（0.9Dxy）2（6）

　　若?駐（H）為正,，則該點為一個特征點。

　　SURF算法具有較強(qiáng)的魯棒性,，但時間復(fù)雜度較高,。為了分析SURF耗時情況，對一張480×360的圖片進(jìn)行實驗,，共檢測特征點592個,。為分析特征個數(shù)對運算時間的影響，通過人為設(shè)定檢測到200個特征點就終止檢測,，使其繼續(xù)實現(xiàn)后續(xù)步驟,。各步耗時情況如表1所示。

　　從表1可以看出,，SURF耗時主要在構(gòu)建尺度空間檢測特征點和特征描述上,，而且特征點數(shù)直接影響特征描述速度。對于大旋轉(zhuǎn)、小尺度縮放的圖像拼接應(yīng)用,，可采用一種能快速檢測到穩(wěn)定特征點的方法減少特征檢測時間,。對于特征描述耗時長問題，則可通過提高特征點的穩(wěn)定性來降低個數(shù),，從而有效地提高運算速度,。本文將在Canny算子邊緣圖像上使用改進(jìn)的Harris算法檢測特征點以提高特征的穩(wěn)定性和檢測速度。

2 改進(jìn)的Harris-SURF算法

　　2.1 改進(jìn)的Harris算子

　　對于經(jīng)典的Harris算子,，其穩(wěn)定性與K有關(guān),，但K是個經(jīng)驗值。為此,，改進(jìn)的Harris方法不計算Harris響應(yīng)函數(shù)而直接計算λ1,、λ2兩個特征值。對于一個點,，若M的特征值λ1,、λ2有：

　　min（λ1，λ2）>λ（7）

　　則該點為角點,。其中,，λ是一個預(yù)定閾值。

　　為使角點分布均勻,，改進(jìn)的方法不再用非極大值抑制,，而選取容忍距離：對于兩個候選角點I1（x，y）和I2（x,，y）,，若其距離d12>dt（dt為容忍距離），則兩點均為角點,，否則舍棄后者,，即容忍距離內(nèi)只有一個角點。

　　在上面的實驗中已知,，特征點越多,，特征描述時間越長，而對于圖像匹配,，只需適量的特征點便可實現(xiàn),。為避免不必要的計算，可將角點min（λ1,，λ2）>λ從大到小排列,，即：

　　max（min（λ1，λ2））（8）

　　順序選取角點,，當(dāng)角點數(shù)滿足預(yù)先設(shè)定個數(shù)則停止檢測,。

　　2.2 SURF特征描述

　　2.2.1 計算特征點主方向

　　為了提高魯棒性，SURF算法利用了Haar小波。首先以特征點為圓心,，以6δ為半徑做圓,，在這個圓形區(qū)域內(nèi)計算其中的點在x方向和y方向上大小為4δ的Haar小波響應(yīng),，其中δ表示特征點所在的尺度空間的尺度值,。然后對這些響應(yīng)加權(quán)值，使距離特征點越近的響應(yīng)具有越大的權(quán)重值,，而距離特征點越遠(yuǎn)的響應(yīng)具有較小的權(quán)重值,。最后以60°范圍為一個區(qū)域遍歷整個圓形區(qū)域，可得到6個扇形區(qū)域,。把每個區(qū)域內(nèi)的響應(yīng)相加形成一個新的矢量,，在6個新的矢量中找到模值最大的矢量，把其方向作為該特征點的主方向,，如圖2所示,。這樣就得到了SURF特征點的主方向，同時也保證了SURF特征的旋轉(zhuǎn)不變性,。

　　2.2.2 生成SURF特征描述符

　　生成SURF特征描述符首先需把坐標(biāo)軸旋轉(zhuǎn)到SURF特征的主方向,，再以特征點為中心構(gòu)造一個20δ×20δ的正方形窗口，其中δ為特征點所在尺度空間的尺度值,。以5×5大小為一個小塊劃分窗口,，計算每個小塊中采樣點相對于主方向水平與垂直方向的Haar小波的響應(yīng)，把每一個小塊中的25個采樣點的響應(yīng)值及其絕對值分別進(jìn)行累加,，所得結(jié)果記為dx,，dy，|dx|,，dy,。這樣，每一子區(qū)域就形成一個4×4×4=64維的向量,，對其歸一化去除亮度變化的影響,，就得到了SURF特征的描述符。

　　2.2.3 特征點匹配

　　常用的特征匹配方法有相似性度量法,、不變距,、相關(guān)系數(shù)法、Hausdorff距離,、各種距離度量值等,。本文采用向量的最近鄰匹配法匹配特征，并用簡單有效的歐式距離準(zhǔn)則作為特征匹配的相似性度量準(zhǔn)則,，利用K-D樹搜索每一個特征點的歐氏距離最近鄰特征點和次近鄰特征點,。設(shè)特征點p的最近特征點為q，次近特征點為q′，分別計算p與q的歐氏距離d1及p與q′的歐氏距離d2,。r為d1與d2的比值,，若r小于閾值T，則（p,，q）是一個匹配的特征點對,。閾值T一般取0.4~0.6，為保證匹配對的穩(wěn)定性,，本文取T=0.5,。

　　2.3 透視變換

　　利用最近鄰匹配法得到的匹配對必然存在誤匹配對，需要提純匹配對并求解圖像間的變換模型參數(shù)以實現(xiàn)圖像配準(zhǔn),。消除誤匹配對的方法主要有霍夫聚類法,、最小中位數(shù)法和RANSAC[13]（Random Sample Consensus）等，本文采用RANSAC算法,。對于圖像間的變換模型,，本文則用透視變換表示。設(shè)I1和I2分別為待拼接的兩幅圖像,，點（x,，y）和點（x′，y′）為這兩幅圖上的一個匹配點對,，根據(jù)透視變換模型有：

　　x′y′1=m0  m1  m2m3  m4  m5m6  m7  1xy1（9）

　　模型變換參數(shù)矩陣M一共有8個參數(shù),，只要知道4對任意3點不共線的特征點就可求出矩陣M。

　　利用RANSAC算法[13]和八參數(shù)模型估計方法計算變換模型參數(shù)矩陣步驟如下：（1）在特征點對中隨機(jī)抽取4對任意3點不共線的特征點對,，如果存在3點共線的情況則重新選取,，直到不存在3點共線的情況為止；（2）利用最小二乘法根據(jù)步驟（1）選取的4對匹配特征點求出變換模型的參數(shù)矩陣,；（3）計算出所有匹配點對的距離d,，當(dāng)d小于閾值時，這對匹配特征點為內(nèi)點,，并記錄下內(nèi)點的個數(shù)n,，若d大于閾值則此對匹配特征點為外點；（4）重復(fù)步驟（1）~（3）,，直到內(nèi)點的數(shù)目n足夠大為止,，把具有最大內(nèi)點數(shù)目n的模型作為最后的計算結(jié)果，并記錄下所有內(nèi)點的位置,。

3 圖像融合

　　對配準(zhǔn)后的圖像進(jìn)行融合就可得到全景圖像,。因為圖像間一般存在亮度差異，拼接后的圖像會出現(xiàn)明顯的亮度變化,，所以需要處理縫合線,。圖像拼接縫合線處理方法較多,，如多分辨率樣條技術(shù)、顏色插值等,。為實現(xiàn)快速拼接,，本文采用簡單快速的加權(quán)平滑融合算法。該算法的主要思想是：圖像重疊區(qū)域中像素點的灰度值由兩幅圖像中對應(yīng)點的灰度值加權(quán)得到,。設(shè)f1（x,，y）和f2（x，y）分別是待融合的兩幅圖像,，則融合結(jié)果圖像F（x,，y）的像素值通過式（10）求解。

　　F（x,，y）=f1（x，y）                （x,，y）∈f1kf1（x,，y）+（1-k）f2（x，y） （x,，y）∈f1∩f2 f2（x,，y）                （x，y）∈f2（10）其中,，k是可調(diào)因子,，0<k<1。本文令k=d1/（d1+d2）,，其中d1,、d2表示重疊區(qū)域中的點到兩圖像重疊區(qū)域左、右邊界的距離,，即重疊區(qū)域像素值為：

　　F（x,，y）=f1（x，y）+f2（x,，y）（11）

4 實驗結(jié)果與分析

　　本實驗環(huán)境為：Pentium Dual-Core E5500 2.80 GHz CPU,、2 GB內(nèi)存的PC，Windows XP操作系統(tǒng),，VC++6.0,，OpenCV1.0。本文選取兩組存在旋轉(zhuǎn),、光照差異和尺度縮放的480×360尺寸的圖像進(jìn)行實驗,。

　　圖3和圖4為特征匹配結(jié)果，其中圖3（a）和圖4（a）為SIFT算法匹配結(jié)果,，圖3（b）和圖4（b）為SURF算法匹配結(jié)果,，圖3（c）和圖4（c）為本文算法匹配結(jié)果,。可以看出這4種算法對旋轉(zhuǎn),、光照和較小尺度縮放均有一定的魯棒性,，但得到的匹配對數(shù)有較大差異，經(jīng)過RANSAC提純處理的匹配結(jié)果較精確,。

　　表2和表3分別為圖3和圖4匹配實驗的統(tǒng)計數(shù)據(jù),，其主要記錄了3種算法得到的特征點數(shù)、匹配對數(shù)及各階段耗時情況,?？梢钥闯觯赟IFT的圖像配準(zhǔn)得到的特征點數(shù),、匹配對數(shù)眾多,，但耗時較長；基于SURF的圖像配準(zhǔn)得到的特征點數(shù),、匹配對數(shù)較SIFT算法有所減少,，但運算速度明顯提高；本文提出的改進(jìn)Harris-SURF圖像配準(zhǔn)算法采用Harris算子提高了特征檢測速度,，通過限制Harris角點個數(shù)（綜合考慮算法準(zhǔn)確性及速度,，本文取為200）使生成SURF特征描述符階段速度明顯提高，較少的特征點也使得特征匹配階段速度加快,，從而縮減了整個圖像配準(zhǔn)時間,。雖然較少的特征點減少了匹配對，但仍能準(zhǔn)確求得圖像間的變換參數(shù),。在整個配準(zhǔn)過程中,，本文提出的圖像配準(zhǔn)方法運行速度快，在保證正確匹配的前提下大幅提高了運算速度,。

　　圖5為用本文算法進(jìn)行圖像拼接的結(jié)果,，5（a）為待拼接3張原無人機(jī)圖像，其中前兩張是匹配實驗中的原圖,，尺寸均為480×360,。首先采用本文提出的算法配準(zhǔn)圖像，再用加權(quán)平滑算法融合圖像,，其結(jié)果如圖5（b）所示,。從圖5（b）可以看出，本算法較好地完成了圖像的無縫拼接,，有效擴(kuò)大了測區(qū)范圍,。

　　本文將Harris與SURF算法結(jié)合應(yīng)用于無人機(jī)圖像拼接。通過改進(jìn)的Harris算法對Canny算子邊緣圖像進(jìn)行特征點提取,，有效地限制了特征點出現(xiàn)的位置,，從而提高了Harris角點的穩(wěn)定性,；利用SURF特征描述方法減小了圖像旋轉(zhuǎn)和光照的影響，同時通過限制角點個數(shù)提高了特征描述及匹配效率,；結(jié)合RANSAC算法提純匹配對,，準(zhǔn)確求解透視變換模型參數(shù)；采用加權(quán)平滑算法消除亮度差異,，實現(xiàn)了對無人機(jī)圖像的無縫拼接,。實驗證明，本方法準(zhǔn)確實現(xiàn)了無人機(jī)圖像拼接,，更大幅提高了運算速度,，為解決無人機(jī)圖像拼接問題提供了一種新的快速有效的方法。

　　參考文獻(xiàn)

　　[1] 王曉麗,，戴華陽,，余濤，等.基于多分辨率融合的無人機(jī)圖像拼接勻色研究[J].測繪通報,，2013（4）：27-30.

　　[2] 袁媛,，李冬梅，田金炎,，等.無人機(jī)序列影像快速無縫拼接方法研究[J].計算機(jī)工程與應(yīng)用，2013,，49（17）：139-142.

　　[3] 劉如飛,，劉冰，盧秀山,，等.無人機(jī)原始影像快速拼接系統(tǒng)的設(shè)計與實現(xiàn)[J].測繪科學(xué),，2013，38（5）：170-171,，182.

　　[4] 尹衍升,，趙秀陽，田曉峰,，等.基于特征點提取的復(fù)合材料顯微圖像自動拼接[J].科學(xué)通報,，2006，51（22）：2695-2698.

　　[5] Zhang Zhengyou,， DERICHE R,， FAUGERAS O， et al. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry[J]. Artificial Intelligence,， 1995（78）：87-119.

　　[6] LOWE D G. Object recognition from local scale-invariant features[C]. International Conference on Computer Vision,， 1999：1150-1157.

　　[7] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004,， 60（2）：91-110.

　　[8] Ke Yan,， SUKTHANKAR R. PCA-SIFT： a more distinctive representation for local image descriptors[C]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,， 2004：511-517.

　　[9] DELPONTE E， ISGRO F,， ODONE F,， et al. SVD-matching using SIFT features[J]. Graphical Models， 2006（68）：415-431.

　　[10] GRABNER M,， GRABNER H,， BISCHOF H. Fast approximated SIFT[C]. Proceedings of Asian Conference on Computer Vision， 2006：918-927.

　　[11] BAY H,， TUYTELAARS T,， GOOL L V. SURF： speeded up robust Features[C]. Proceedings of the European Conference on Computer Vision， 2006：404-417.

　　[12] HARRIS C,， STEPHENS M. A combine dcorner and edge detector[C]. Processings Fourth Alvey Vision Conference,， 1988：147-151.

　　[13] FISCHLER M A， BOLLES R C . Random sample consensus： A Paradigm for model fitting with apphcatlons to image analysis and automated cartography[J]. Graphics and Image Processing,， 1981,， 24（6）：381-395.