文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.172745
中文引用格式: 姜德晶,孫濤,,秦錄芳. 基于方向引導(dǎo)優(yōu)化的視覺導(dǎo)航方法[J].電子技術(shù)應(yīng)用,,2018,44(2):52-54,,58.
英文引用格式: Jiang Dejing,,Sun Tao,Qin Lufang. Direction guided optimization based vision navigation method[J]. Application of Electronic Technique,,2018,,44(2):52-54,58.
0 引言
基于計(jì)算機(jī)視覺技術(shù)的視覺導(dǎo)航技術(shù)是人工智能領(lǐng)域的研究重點(diǎn)和熱點(diǎn)[1]。同傳統(tǒng)的衛(wèi)星定位(GPS)導(dǎo)航技術(shù)相比,,基于視覺的導(dǎo)航方法具有實(shí)現(xiàn)方式靈活,、性價(jià)比高、實(shí)時(shí)性好,、導(dǎo)航快速精確等優(yōu)點(diǎn)[2-3],。但是,現(xiàn)有的視覺導(dǎo)航系統(tǒng)多數(shù)都是基于固定攝像機(jī)的限定視角導(dǎo)航方法,,這類導(dǎo)航系統(tǒng)只能適用于在直線行駛或者小彎度行駛情況,,一旦出現(xiàn)大彎度轉(zhuǎn)彎,道路會(huì)偏離攝像機(jī)視場,,導(dǎo)致路徑導(dǎo)航線丟失,、導(dǎo)航失效[4-5]。為改善這種視角范圍的局限,,傳統(tǒng)解決方法主要是將固定的攝像機(jī)改為廣角鏡頭攝像機(jī),,增大視場范圍[6],但是廣角攝像機(jī)的圖像畸變嚴(yán)重,,對圖像前期的處理精度和速度的要求嚴(yán)格,,同時(shí),增加了大量的圖像干擾信息,,為后續(xù)的圖像處理增加了較大的難度,。近年來,有學(xué)者提出了一種主動(dòng)視覺智能導(dǎo)航方法[7],,借鑒人類觀察道路時(shí)的眼球轉(zhuǎn)動(dòng)機(jī)理,,將攝像機(jī)安裝在可旋轉(zhuǎn)控制云臺(tái)系統(tǒng)上,通過一定的反饋控制,,實(shí)時(shí)修正攝像機(jī)焦點(diǎn)和行駛路線正前方的夾角,,保證行駛路線一直處于攝像機(jī)視角范圍內(nèi)。由于該方法在保證視角清晰的前提下,,大幅擴(kuò)展了攝像機(jī)的視角范圍,,近年來在目標(biāo)跟蹤[8]、人臉檢測[6]等領(lǐng)域得到了較多的研究和應(yīng)用,。其中,,如何精確獲取導(dǎo)航參量是主動(dòng)視覺導(dǎo)航系統(tǒng)的關(guān)鍵問題之一[9]。傳統(tǒng)的計(jì)算方法主要通過預(yù)先設(shè)置的高精度標(biāo)定參照物,,通過空間圖像和平面圖像的有效映射關(guān)系求取相關(guān)的參量值,,該類方法標(biāo)定精度高,,但是應(yīng)用范圍有限且標(biāo)定復(fù)雜,不利于變化場景的導(dǎo)航[10],。文獻(xiàn)[11]提出了基于視覺圖像的自計(jì)算方法,,該方法通過前端獲取的視頻幀圖像進(jìn)行系統(tǒng)參量的計(jì)算,利用Kruppa方程和分層逐步標(biāo)定的方式實(shí)現(xiàn)了導(dǎo)航參量的計(jì)算,,該方法靈活性強(qiáng),、使用范圍較廣,但是計(jì)算精度和魯棒性較差,,在背景存在干擾的情況下計(jì)算誤差較大,,甚至引起導(dǎo)航失敗[12]。文獻(xiàn)[13]利用相機(jī)進(jìn)行可控運(yùn)動(dòng),,通過約束運(yùn)動(dòng)的性質(zhì)來實(shí)現(xiàn)導(dǎo)航參量的計(jì)算,,提升了主動(dòng)視覺導(dǎo)航的參量計(jì)算精度和魯棒性。在此基礎(chǔ)上,,先后發(fā)展出了旋轉(zhuǎn)計(jì)算方法[14],、平面正交計(jì)算方法[15]以及基于無窮遠(yuǎn)平面單應(yīng)性矩陣[16]的計(jì)算方法。該類方法計(jì)算精度高,、魯棒性好,,但是該類方法需要計(jì)算的參量過多且計(jì)算復(fù)雜,在實(shí)時(shí)導(dǎo)航系統(tǒng)中很難應(yīng)用,。文獻(xiàn)[17]在此基礎(chǔ)上進(jìn)一步對計(jì)算復(fù)雜性進(jìn)行優(yōu)化,,利用二維頻移運(yùn)動(dòng)的相對計(jì)算方法求解線性模型的部分參數(shù),并通過畸變的方法引入非線性優(yōu)化,,有效地簡化了計(jì)算過程,,但是這種非線性畸變的過程對系統(tǒng)的初值和噪聲都非常敏感,計(jì)算穩(wěn)定性較差,。
針對這些問題,,本文提出了一種基于方向引導(dǎo)優(yōu)化的主動(dòng)視覺導(dǎo)航參量計(jì)算方法。該方法的實(shí)現(xiàn)過程可以大致概括為三個(gè)步驟:(1)坐標(biāo)系的變換,。為了實(shí)現(xiàn)理論計(jì)算與實(shí)際導(dǎo)航系統(tǒng)的高精度擬合,,首先給出了車輛物理坐標(biāo)系與視覺圖像坐標(biāo)系的變換方程。(2)車道邊緣線的精確檢測,。精確地獲取車道邊緣線是進(jìn)行視覺導(dǎo)航的前提,,為了解決道路積水、陰影等背景干擾問題,,在傳統(tǒng)Canny算子初步檢測的基礎(chǔ)上,,提出了方向引導(dǎo)優(yōu)化的方法。(3)大曲率彎道線精確檢測問題。為了保證在大曲率轉(zhuǎn)彎情況下車道線的精確檢測問題,,在前期優(yōu)化的基礎(chǔ)上,,提出了基于直線與曲線閾值優(yōu)化的廣義Hough變換方法,對不同曲率的線段進(jìn)行優(yōu)化選擇,,精確檢測道路標(biāo)志線和邊緣線,,實(shí)時(shí)計(jì)算和修正導(dǎo)航中心引導(dǎo)線的偏離角度。
1 坐標(biāo)變換
坐標(biāo)變換是進(jìn)行視覺導(dǎo)航實(shí)現(xiàn)的首要條件,,為了實(shí)現(xiàn)圖像坐標(biāo)與實(shí)際車輛物理坐標(biāo)的意義映射,,本文基于車輛行駛的實(shí)際道路環(huán)境構(gòu)建坐標(biāo)系,將攝像機(jī)中心定為坐標(biāo)原點(diǎn),,X軸為車輛行駛方向,Y軸為行駛方向的正左方,,將控制云臺(tái)的縱向軸設(shè)置為Z軸,。為便于后續(xù)云臺(tái)控制的分析,將車輛物理坐標(biāo)系獲取的圖像表示為(xr,,yr,,zr),相應(yīng)的像素坐標(biāo)系可以表示為(u,,v),,圖1表示了坐標(biāo)變換前后之間的關(guān)系,具體的變換關(guān)系計(jì)算如下[10]:
由于車輛導(dǎo)航過程中需要檢測的道路標(biāo)志線一直處于平面狀態(tài)(zr=0),,為方便計(jì)算,,可將坐標(biāo)系重新修正為xrOyr坐標(biāo)系,將式(1)重新計(jì)算為:
2 道路邊緣檢測及方向引導(dǎo)優(yōu)化實(shí)現(xiàn)
2.1 方向引導(dǎo)優(yōu)化實(shí)現(xiàn)
首先通過Canny算進(jìn)行初步檢測,,獲取圖像邊緣信息以后,,保留圖像中的輪廓信息,但是由于陰影,、積水和路面裂縫等路面特征的干擾,,導(dǎo)致雜波輪廓信息同樣得到了保留,因此,,該部分主要采用方向引導(dǎo)搜索優(yōu)化去除陰影干擾[14],。假設(shè)攝像機(jī)前端獲取的圖像被劃分為3×3圖像塊,當(dāng)前像素點(diǎn)(如圖2(a)中的灰色中心點(diǎn))具有8個(gè)鄰接的像素,。為說明搜索的方向性,,假設(shè)目前的像素處于左車道,則車輛行駛的方向只有3個(gè)方向,,如圖2(a)所示,。同樣,處于右車道也具有3個(gè)行駛方向,如圖2(b)所示,。
根據(jù)車輛在道路上的行駛規(guī)則,,可以定義為最優(yōu)選擇方向?yàn)?0°、次優(yōu)選擇為45°,、級(jí)別最低為0°,,以車輛在左邊車道行駛為例給出搜索過程描述如下[15]。
(1)以圖像的左下角為參考進(jìn)行平面掃描,,如果當(dāng)前像素判定為邊緣,,記錄并創(chuàng)建候選線段;否則,,繼續(xù)掃描直到找到邊緣點(diǎn),,并執(zhí)行第(2)步。
(2)根據(jù)方向優(yōu)先原理進(jìn)行掃描,,判定邊緣點(diǎn)在3個(gè)方向中的位置并記錄坐標(biāo),,繼續(xù)掃描,直到結(jié)束,;如果3個(gè)方向均未掃描到邊緣點(diǎn),,則跳轉(zhuǎn)第(3)步。
(3)遍歷整幅圖像,,尋找新的邊緣點(diǎn),,直到結(jié)束。
上面的方向優(yōu)先搜索完成以后,,可以建立線段集合,,并記錄每一條線段的起始坐標(biāo)。
2.2 導(dǎo)航參量的計(jì)算
在2.1小節(jié)檢測的基礎(chǔ)上,,為進(jìn)一步精確引導(dǎo)車輛的行駛,,需基于檢測的邊緣線和道路標(biāo)志線進(jìn)行導(dǎo)航中心引導(dǎo)線的提取以及偏離角度的計(jì)算。首先采用圖像重心分割的方法獲取精確的導(dǎo)航引導(dǎo)線[16],,具體如圖3所示,。
通過計(jì)算兩個(gè)標(biāo)志線以內(nèi)的圖像(包括邊緣線與標(biāo)志線以內(nèi)的圖像,主要是機(jī)器人行駛路線所在的邊界標(biāo)志)的重心,,基于中心的縱坐標(biāo)進(jìn)行二次分割,,獲取上下圖像的中心A和B點(diǎn),直線AB即為機(jī)器人行駛區(qū)域內(nèi)的中心引導(dǎo)線,。如圖3(b)所示,,O為該幀圖像的整體重心,I1和I2主要用于偏離角度的計(jì)算,。具體的計(jì)算過程如圖4所示,。
為計(jì)算機(jī)器人的行駛偏角及偏距,,在獲取機(jī)器人引導(dǎo)線以后,利用線段端點(diǎn)坐標(biāo)及長度畫圓,,并結(jié)合線段另一端點(diǎn)像素所在的坐標(biāo)位置,,計(jì)算引導(dǎo)線的偏角。實(shí)驗(yàn)中,,首先將機(jī)器人放置在行駛的路段進(jìn)行引導(dǎo)線初始化,,利用圖3(a)擬合道路引導(dǎo)線,進(jìn)而基于圖3(b)計(jì)算引導(dǎo)線的線性方程,,并確定其具體的位置m,。以相機(jī)為O點(diǎn),基于I1和I2計(jì)算機(jī)器人的位置偏移D和偏角α,。
3 實(shí)驗(yàn)與結(jié)果分析
為驗(yàn)證本文方法的有效性,,該部分主要針對路況復(fù)雜的彎道行駛進(jìn)行分析,視頻幀圖像大小為400像素×300像素,。圖5(a)所示為在校園內(nèi)彎道測試實(shí)驗(yàn)現(xiàn)場獲取的彎道導(dǎo)航圖像,,圖5(b)為本文優(yōu)化后的檢測結(jié)果。
表1為彎道視頻幀序列計(jì)算結(jié)果平均比較結(jié)果,,從表中可以看出在彎道行駛情況下,,3種方法的計(jì)算精度均有所下降,,其中,,文獻(xiàn)[13]和文獻(xiàn)[17]的性能明顯變差,而本文方法針對該序列的計(jì)算精度仍然保持了相當(dāng)高的精度,,平均偏航角度的計(jì)算誤差控制在1.5°以內(nèi),,平均行駛偏距控制在5個(gè)像素左右。
4 結(jié)論
本文主要針對主動(dòng)視覺導(dǎo)航系統(tǒng)參量的計(jì)算方法展開研究,,提出了一種基于方向引導(dǎo)優(yōu)化的主動(dòng)視覺導(dǎo)航參量計(jì)算方法,。該方法是在文獻(xiàn)[13]的基礎(chǔ)上進(jìn)行優(yōu)化和改進(jìn),利用主動(dòng)視覺相機(jī)的運(yùn)動(dòng)可控性進(jìn)行參量的計(jì)算,。通過對傳統(tǒng)Canny算子檢測結(jié)果進(jìn)行方向引導(dǎo)優(yōu)化以后,,明顯降低了道路陰影、路面積水等雜波的干擾,,在此基礎(chǔ)上,,進(jìn)一步采用閾值優(yōu)化的廣義Hough變換方法對檢測結(jié)果進(jìn)行分類優(yōu)化,實(shí)現(xiàn)車道線的內(nèi)外邊緣及道路標(biāo)志線的精確檢測,。實(shí)驗(yàn)結(jié)果表明,,本文方法在彎道行駛情況下導(dǎo)航參量的計(jì)算精度明顯提升,具有優(yōu)秀的性能指標(biāo),。
參考文獻(xiàn)
[1] 姬長英,,周俊.農(nóng)業(yè)機(jī)械導(dǎo)航技術(shù)發(fā)展分析[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(9):4-54.
[2] 李林,,魏新華,,朱文靜,等.機(jī)器視覺輔助導(dǎo)航系統(tǒng)研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),,2015,,46(5):1-7.
[3] 張志斌,羅錫文,,周學(xué)成,,等.基于Hough變換和Fisher準(zhǔn)則的壟線識(shí)別算法[J].中國圖象圖形學(xué)報(bào),2007,,12(12):2164-2168.
[4] GUERRERO J M,,GUIJARRO M,MONTALVO M,,et al.Automatic expert system based on images for accuracy crop row detection in maize fields[J].Expert Systems with Applications,,2013,40(2):656-664.
[5] WALKER J S,,CHEN Y J.Image denoising using tree base wavelet subband correlation and shrinking[J].Optical Engineering,,2000,39(11):2900-2908.
[6] Ji Wei,,Zhao Dean,,Cheng Fengyi,et al.Automatic recognition vision system guided for apple harvesting robot[J].Computers and Electrical Engineering,,2012,,38(5):1186-1195.
[7] Li Bin,Wang Maohua.In-field recognition and navigation path extraction for pineapple harvesting robots[J].Intelligent Automation & Soft Computing,,2013,,19(1):9-20.
[8] Wei Xiangqin,Jia Kun,,Lan Jinhui,,et al.Automatic method of fruit object extraction under complex agricultural back-ground for vision system of fruit picking robot[J].Optik International Journal for Light and Electron Optics,2014,,125(19):5684-5689.
[9] Tang Jinglei,,Jing Xu,He Dongjian,,et al.Visual navigation control for agricultural robot using serial BP neural network[J].Transactions of the Chinese Society of Agricultural Engineering,,2011,27(2):194-198.
[10] 李景彬,,陳兵旗,,劉陽.棉花鋪膜播種機(jī)導(dǎo)航路線圖像檢測方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),,2014,40(1):40-45.
[11] 張征明,,盧偉,,陸靜霞.基于快速偽球?yàn)V波的智能拖拉機(jī)視覺導(dǎo)航中場景去霧方法[J].機(jī)器人,2015,,37(5):603-613.
[12] 李顥,,楊明.基于非線性逆透視變換的攝像機(jī)畸變參數(shù)標(biāo)定[J].上海交通大學(xué)學(xué)報(bào),2008,,42(10):1136-1139.
[13] Su Jianbo.Camera calibration based on receptive fields[J].Pattern Recognition,,2007,40(10):2837-2845.
[14] DANG T,,HOFFMANN C,,STILLER C.Continuous stereo self-calibration by camera parameter tracking[J].IEEE Transactions on Image Processing,2009,,18(7):1536-1550.
[15] 胡占義,,吳福朝.基于主動(dòng)視覺攝像機(jī)標(biāo)定方法[J].計(jì)算機(jī)學(xué)報(bào),2002,,25(11):1149-1156.
[16] BAKKER T,,WOUTERS H,ASSELT K V,,et al.A vision based row detection system for sugar beet[J].Computers and Electronics in Agriculture,,2008,60(1):87-95.
[17] 朱嘉,,李醒飛,,徐穎欣.攝像機(jī)的一種主動(dòng)視覺標(biāo)定方法[J].光學(xué)學(xué)報(bào),,2010,,30(5):1297-1303.