《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 一種改進(jìn)的航拍圖像序列自動(dòng)排序算法
一種改進(jìn)的航拍圖像序列自動(dòng)排序算法
2017年電子技術(shù)應(yīng)用第9期
李校林1,,2,李 銀1,何 強(qiáng)1
1.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心,,重慶400065;2.重慶信科設(shè)計(jì)有限公司,,重慶400065
摘要: 為實(shí)現(xiàn)無人機(jī)航拍圖像中圖像序列自動(dòng)排序,,提出了一種基于相位相關(guān)法改進(jìn)的圖像序列自動(dòng)排序算法。該算法利用對(duì)數(shù)極坐標(biāo)的方式來表示圖像間的平移,、旋轉(zhuǎn),、尺度縮放的關(guān)系,并利用最大相關(guān)度準(zhǔn)則以及峰值坐標(biāo)判斷相鄰圖像的位置關(guān)系,。實(shí)驗(yàn)結(jié)果表明,,此算法能有效地解決全景圖像拼接中序列圖像混亂的問題,避免了人工干預(yù),增強(qiáng)了算法的應(yīng)用范圍,,具有很強(qiáng)的實(shí)用價(jià)值,。
中圖分類號(hào): TP391.41
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.166289
中文引用格式: 李校林,李銀,,何強(qiáng). 一種改進(jìn)的航拍圖像序列自動(dòng)排序算法[J].電子技術(shù)應(yīng)用,,2017,43(9):137-140.
英文引用格式: Li Xiaolin,,Li Yin,,He Qiang. An improved automatic sorting algorithm for aerial image sequences[J].Application of Electronic Technique,2017,,43(9):137-140.
An improved automatic sorting algorithm for aerial image sequences
Li Xiaolin1,,2,Li Yin1,,He Qiang1
1.New Technology Application Research Center,,Chongqing University of Posts and Telecommunications,Chongqing 400065,,China,; 2.Chongqing Information Technology Designing CO.LTD,Chongqing 400065,,China
Abstract: In order to realize the automatic image sequence sequencing in UAV aerial images, an improved image sequence automatic sorting algorithm based on phase correlation is proposed. The algorithm uses the logarithmic polar coordinates to represent the relationship between the image translation, rotation, scaling, and use the maximum correlation criterion and the peak coordinates to determine the positional relationship between adjacent images. Experimental results show that this algorithm can effectively solve the problem of chaotic image sequence in panorama image mosaic, avoids human intervention and enhances the application range of the algorithm, and has a strong practical value.
Key words : aerial image,;automatic sorting;phase correlation method,;logarithmic polar coordinates,;panorama image

0 引言

    近年來,由于無人機(jī)航拍具有高靈活性,、高效率以及低成本的優(yōu)勢(shì),,已經(jīng)被廣泛應(yīng)用于自然災(zāi)害評(píng)估、戰(zhàn)場(chǎng)偵察,、環(huán)境監(jiān)測(cè)等領(lǐng)域[1-2],。為了擴(kuò)大視野、全面了解和分析拍攝信息,,有效的圖像拼接技術(shù)非常重要,。通過無人機(jī)遙感平臺(tái)獲得的圖像具有數(shù)據(jù)量大、相位振幅小,、重疊度高等特點(diǎn),,在后期處理圖像時(shí)很容易混亂圖像序列的次序,這樣會(huì)給后續(xù)的圖像配準(zhǔn)和融合帶來一定的困擾,,不能達(dá)到理想的拼接效果,。而目前很多的拼接涉及的算法[3-4]都要求人為地將圖像序列排好才能進(jìn)行有效的拼接,,這樣的人工設(shè)定是非常耗時(shí)的,特別是對(duì)航拍圖像數(shù)據(jù)來說,,不能滿足實(shí)時(shí)性的要求,。

    利用計(jì)算機(jī)來完成圖像序列的自動(dòng)排序技術(shù)已經(jīng)被提出,并且得到廣泛的研究[5-9],。文獻(xiàn)[6]提出了一種利用等距離匹配的思路來實(shí)現(xiàn)圖像序列的自動(dòng)排序,,該方法不僅計(jì)算量大,對(duì)各種干擾環(huán)境的魯棒性也較差,。文獻(xiàn)[7]利用相位相關(guān)法來實(shí)現(xiàn)圖像序列的自動(dòng)排序,,該方法具有一定的抗干擾能力,但是需要人工選定閾值,,算法的適應(yīng)和自動(dòng)性明顯降低,。文獻(xiàn)[8]利用相位相關(guān)法圖像間的相關(guān)性來判別位置關(guān)系,,但是要求序列圖像的大小必須相同,,且圖像的位置關(guān)系的確定說明的不夠明了。文獻(xiàn)[9]利用尾部補(bǔ)零的方法使圖像大小相同,,再運(yùn)用相位相關(guān)法排序圖像,,但該方法在增加了算法復(fù)雜度的同時(shí),又沒有考慮旋轉(zhuǎn)因素的影響,。本文在總結(jié)相位相關(guān)法的基礎(chǔ)上,,針對(duì)無人機(jī)獲取的遙感圖像存在平移、旋轉(zhuǎn),、尺度縮放的情形,,提出了利用對(duì)數(shù)極坐標(biāo)的方式來表示圖像間的關(guān)系,建立圖像序列排序模型并通過公式推導(dǎo)驗(yàn)證,,突破了圖像大小相同的限制,,增強(qiáng)了算法的適用范圍。

1 相位相關(guān)法原理

    相位相關(guān)方法是基于二維傅里葉變換的特性,,即空域平移相當(dāng)于頻域,。1975年,KUGLIN C和HINES D[10]發(fā)現(xiàn)相位相關(guān)方法與場(chǎng)景無關(guān),,可以準(zhǔn)確地在良好條件下對(duì)二維平移圖像進(jìn)行對(duì)齊,。相位相關(guān)法通過利用傅里葉變化變換得到互功率譜的相位信息,其對(duì)圖像的灰度信息依賴性較小,,因此具有一定的抗干擾能力,,設(shè)計(jì)流程圖如圖1。

jsj4-t1.gif

    相位相關(guān)法原理可描述為:

    設(shè)兩幅圖像A(x,,y)和B(x,,y),,它們之前僅存在著平移關(guān)系,相對(duì)水平,、垂直平移量為x0,、y0,則有:

jsj4-gs1-4.gif

    在空間域中找出式(4)中沖擊函數(shù)對(duì)應(yīng)的峰值位置,,其值反映了兩幅圖像的相關(guān)性,,同時(shí)確定平移參數(shù)(x0,y0),。當(dāng)圖像間有噪音,、復(fù)雜透視,甚至存在運(yùn)動(dòng)物體時(shí),,沖擊函數(shù)的能量會(huì)從單一峰值分布到其他小峰值上,,但是最大峰值所在的位置仍然具有一定的穩(wěn)定性,保證了平移量的不變性,。

    圖2(a)和圖2(b)是具有重疊區(qū)域的低空航拍圖像,,大小為500×750,圖2(c)和圖2(d)分別為圖2(a),、圖2(b)加入高斯噪聲(均值為0,、方差為10)后對(duì)應(yīng)的灰度圖像。圖3(a)是圖2(a),、圖2(b)運(yùn)用相位相關(guān)法在空間域中檢測(cè)到的沖擊函數(shù)δ,,圖3(b)是圖2(c)、圖2(d)運(yùn)用相位相關(guān)法在空間域中檢測(cè)到的沖擊函數(shù)δ,。從圖3中可以看出,,利用相位相關(guān)法檢測(cè)到的δ峰值點(diǎn)對(duì)噪聲具有一定的抗干擾能力,并且可以計(jì)算水平量(124,,23),,表示圖2(b)相對(duì)于圖2(a)右移124 pixel,上移為23 pixel,。

jsj4-t2.gif

jsj4-t3.gif

2 改進(jìn)相位相關(guān)算法方案

    上節(jié)介紹經(jīng)典的相位相關(guān)法嚴(yán)格要求待排序的圖像尺寸大小相同,,通過對(duì)互功率譜進(jìn)行逆傅里葉變換得到的歸一化相關(guān)系數(shù)是一個(gè)與f1(x,y),、f2(x,,y)大小相同的矩陣,所以存在左右平移的混淆問題,。同時(shí),,對(duì)于從傳感器中提取出來的航拍圖像,不僅包含平移,、旋轉(zhuǎn),,還極大可能存在尺度縮放的情況,。本文提出對(duì)數(shù)極坐標(biāo)的方式來表示兩幅待匹配圖像的關(guān)系,建立了旋轉(zhuǎn),、平移,、尺度變換的排序模型,增強(qiáng)了算法的適用范圍,。

    原理描述:定義兩幅待拼接圖像間的平移參量x0,、y0,旋轉(zhuǎn)角度α,,縮放因子σ,,則f1(x,y)和f2(x,,y)的位置關(guān)系可表示為:

jsj4-gs5-10.gif

    式(10)轉(zhuǎn)化成了同式(1)簡(jiǎn)單平移類似的形式,,采用上節(jié)普通的相位相關(guān)法可以計(jì)算出旋轉(zhuǎn)角度α=α0

    (2)當(dāng)確定下來旋轉(zhuǎn)角度α0時(shí),,同樣代入式(9)中得:

jsj4-gs11-13.gif

    同樣,,式(13)化為與式(1)類似的形式,運(yùn)用普通的相位相關(guān)法可以計(jì)算出n和旋轉(zhuǎn)因子σ,。

    至此把計(jì)算出的旋轉(zhuǎn)角度α0和縮放因子σ0代回到式(5)中,,再次運(yùn)用相位相關(guān)法就可以計(jì)算出平移參數(shù),。

    根據(jù)上述原理可設(shè)計(jì)改進(jìn)相位相關(guān)算法方案流程圖,,如圖4。

jsj4-t4.gif

3 序列圖像的自動(dòng)排序算法

    假設(shè)有N幅待拼接的圖像,,根據(jù)改進(jìn)的相位相關(guān)算法方案,,設(shè)計(jì)以下自動(dòng)排序算法:

    (1)構(gòu)建二維最大相關(guān)度數(shù)組,。對(duì)每一幅圖像根據(jù)上節(jié)提出的相位相關(guān)算法計(jì)算與其他圖像的歸一化互功率譜,,并求得其逆傅里葉變換的峰值作為圖像間的相關(guān)度,這樣每一幅圖像可到N-1個(gè)相關(guān)度,,從而建立N×N的二維數(shù)組用來存儲(chǔ)圖像間的相關(guān)度,。

    (2)確定頭圖像和尾圖像,。對(duì)于每一幅至少會(huì)與其中一幅圖像相鄰(頭圖像和尾圖像),最多會(huì)與其中兩幅圖像相鄰(中間圖像),。而兩幅相鄰的圖像,,其δ脈沖函數(shù)在空間域中對(duì)應(yīng)著非常尖銳的峰值,即為最大相關(guān)度,,根據(jù)該峰值就可以計(jì)算出兩幅圖像間的平移參量,。因此按照每一幅圖像數(shù)列的行、列找出2個(gè)最大相關(guān)度,,可以得到2N個(gè)最大的相關(guān)度,。而對(duì)于頭,、尾兩幅圖像僅與一幅圖像相鄰,其最大相關(guān)度明顯大于其他相關(guān)度,,則其對(duì)應(yīng)的圖像即為頭圖像和尾圖像,。如果該圖像的最大相關(guān)度對(duì)應(yīng)的水平平移量Δx<0,則其為頭圖像,;反之,,為尾頭像。

    (3)確定相鄰兩幅圖像的左右關(guān)系,。順著頭圖像根據(jù)最大相關(guān)度對(duì)應(yīng)的平移量可依次確定整個(gè)圖像鏈,,如果x0>0,則圖像應(yīng)該排在右邊,,反之排在左邊,。

    由此得到的序列圖像對(duì)應(yīng)于相機(jī)由左向右拍攝的結(jié)果。

4 實(shí)驗(yàn)結(jié)果與分析

    通過無人機(jī)自動(dòng)拍攝獲得的視頻序列圖像,,從每30幀的視頻序列中提取1幀用于拼接,,從實(shí)驗(yàn)中使用的150幀中選擇5幀,初始空間圖像方向角度為60°,,初始接觸中心點(diǎn)為圖像的中心點(diǎn),。5個(gè)重疊無序的UAV圖像序列如圖5所示,其中有323×370,、224×256,、313×302 3種大小類型的圖像,并且這些圖像之間存在著明顯的平移,、旋轉(zhuǎn)和縮放,,運(yùn)用上述提出的相位相關(guān)法計(jì)算出兩兩圖像間的相關(guān)度,統(tǒng)計(jì)數(shù)據(jù)如表1,,根據(jù)最大相關(guān)度可優(yōu)先確定頭圖像和尾圖像(在表中用*標(biāo)出),;同時(shí)計(jì)算出每幅圖像最大相關(guān)度的相關(guān)圖像之間的水平平移量,如表2,,根據(jù)平移量的大小可確定兩幅圖像的左右關(guān)系,,從而完成實(shí)驗(yàn)圖像序列的自動(dòng)排序排序,排序后的圖像序列如圖6,。從實(shí)驗(yàn)結(jié)果上可以看出,,本文提出的相位相關(guān)算法不僅避免了人工設(shè)定閾值以及左右圖像混淆問題,同時(shí)克服了對(duì)序列圖像大小一致的限制,,增強(qiáng)了算法的適用范圍,。由于算法在頻域中計(jì)算相關(guān)度時(shí)耗時(shí)較大,可借助FFT的方法,。并且改進(jìn)后的算法可直接得出圖像間的平移參數(shù),,這對(duì)圖像拼接的后續(xù)的關(guān)鍵技術(shù)具有很大研究?jī)r(jià)值,。

jsj4-t5.gif

jsj4-b1.gif

jsj4-b2.gifjsj4-t6.gif

5 結(jié)論

    本文根據(jù)航拍圖像的特征提出了一種改進(jìn)的相位相關(guān)算法方案,實(shí)現(xiàn)了序列圖像的自動(dòng)排序,。主要采用對(duì)數(shù)極坐標(biāo)的方式表示圖像間平移,、旋轉(zhuǎn)、縮放的復(fù)雜關(guān)系,,突破了已有算法對(duì)圖像尺寸的限制,,并給出了算法實(shí)現(xiàn)的具體方案。通過最大相關(guān)度的確定序列頭,、尾圖像,,再利用峰值所在坐標(biāo)確定平移參數(shù),根據(jù)給定的準(zhǔn)則判斷圖像左右位置關(guān)系,,避免了人工干預(yù),。實(shí)驗(yàn)證明,該算法能夠快速有效地完成航拍圖像序列的自動(dòng)排序,,為全景圖像拼接奠定了一定的基礎(chǔ),。

參考文獻(xiàn)

[1] Wu Bin,Yang Jian.A method of obtaining accurate active area of remote sensing image and application in mosaicking[C].Remote Sensing, Environment and Transportation Engineering(RSETE),,2012 2nd International Conference,,2012:1-4.

[2] 徐麗艷.基于特征點(diǎn)的遙感圖像配準(zhǔn)方法及應(yīng)用研究[D].南京:南京理工大學(xué),2012.

[3] LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,,2004,,60(2):91-110.

[4] BAY H,ESS A,,TUYTELAARS T,,et al.Speeded up robust features(SURF)[J].Computer Vision & Image Understanding,,2008,,110(3):346-359.

[5] SONG R,SZYMANSKI J.Auto-sorting scheme for image ordering application in image mosaicing[J].Electronics Letters,,2008,,44(13):798-799.

[6] 華順剛,曾令宜,,歐宗瑛.一種快速的柱面全景圖像拼接算法[J].數(shù)據(jù)采集與處理,,2006(4):434-438.

[7] 趙輝,陳輝,,于泓.一種改進(jìn)的全景圖自動(dòng)拼接算法[J].中國(guó)圖象圖形學(xué)報(bào),,2007(2):336-342.

[8] 趙萬金,龔聲蓉,,劉全,,等.一種用于圖像拼接的圖像序列自動(dòng)排序算法[J].中國(guó)圖象圖形學(xué)報(bào),,2007(10):1861-1864.

[9] 吳憲祥,郭寶龍,,王娟.一種改進(jìn)的序列圖像自動(dòng)排序算法[J].光電子·激光,,2009(8):1114-1117.

[10] KUGLIN C,HINES D.The phase correlation image alignment method[C].Conference on Cybernetics and Society,,1975:163-165.



作者信息:

李校林1,,2,李  銀1,,何  強(qiáng)1

(1.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心,,重慶400065;2.重慶信科設(shè)計(jì)有限公司,,重慶400065)

此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載。