《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 測試測量 > 設(shè)計(jì)應(yīng)用 > 基于方向引導(dǎo)優(yōu)化的視覺導(dǎo)航方法
基于方向引導(dǎo)優(yōu)化的視覺導(dǎo)航方法
2018年電子技術(shù)應(yīng)用第2期
姜德晶1,,孫 濤1,2,,秦錄芳1
1.徐州工程學(xué)院 機(jī)電工程學(xué)院,,江蘇 徐州221111,;2.南京航空航天大學(xué) 機(jī)電學(xué)院,,江蘇 南京210016
摘要: 為解決主動(dòng)視覺導(dǎo)航在復(fù)雜路況條件下精度較差的問題,,提出了一種基于方向引導(dǎo)優(yōu)化的主動(dòng)視覺導(dǎo)航參量計(jì)算方法,。首先,,建立了車輛物理坐標(biāo)系與視覺圖像坐標(biāo)系的變換方程,,通過Canny算子對視頻圖像進(jìn)行初步的車道邊緣線和道路標(biāo)志線檢測;接著,,基于方向引導(dǎo)優(yōu)化有效降低了陰影,、積水等雜波對檢測性能的干擾,并通過閾值優(yōu)化的廣義Hough變換實(shí)現(xiàn)車道線的內(nèi)外邊緣及道路標(biāo)志線的精確檢測,;最后,,基于檢測結(jié)果計(jì)算出用于導(dǎo)航的中心引導(dǎo)線、偏離角度,、距離等參量,。實(shí)驗(yàn)結(jié)果表明,該方法能夠有效且精確地獲取主動(dòng)導(dǎo)航系統(tǒng)的偏移參量,。
中圖分類號(hào): TN94,;TP242
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.172745
中文引用格式: 姜德晶,孫濤,,秦錄芳. 基于方向引導(dǎo)優(yōu)化的視覺導(dǎo)航方法[J].電子技術(shù)應(yīng)用,,2018,44(2):52-54,,58.
英文引用格式: Jiang Dejing,,Sun Tao,Qin Lufang. Direction guided optimization based vision navigation method[J]. Application of Electronic Technique,,2018,,44(2):52-54,58.

Direction guided optimization based vision navigation method
Jiang Dejing1,,Sun Tao1,,2,Qin Lufang1
1.School of Mechanical and Electrical Engineering,,Xuzhou Institute of Technology,,Xuzhou 221111,China,; 2.College of Mechanical and Electrical Engineering,,Nanjing University of Aeronautics & Astronautics,Nanjing 210016,,China
Abstract: In order to solve the problem of poor precision of active vision navigation in complex road conditions, a new direction guided optimization based vision navigation method is proposed. Firstly, the transformation equations of the vehicle physical coordinate system and the visual image coordinate system are established, and the detection of video image by Canny operator is proposed. Secondly, the shadow and water clutter on the detection performance interference is reduced based on the direction optimization, and the road sign line, inner and outer edge are accurately detected based on the generalized Hough transform threshold optimization. Finally, the center guide line for navigation, the deviation angle and the distance are calculated based on the test experiment. The experimental results show that the proposed method can effectively and accurately obtain the offset parameters of active navigation system.
Key words : computer vision,;active navigation,;road edge detection;road mark detection,;offset parameter

0 引言

    基于計(jì)算機(jī)視覺技術(shù)的視覺導(dǎo)航技術(shù)是人工智能領(lǐng)域的研究重點(diǎn)和熱點(diǎn)[1]。同傳統(tǒng)的衛(wèi)星定位(GPS)導(dǎo)航技術(shù)相比,,基于視覺的導(dǎo)航方法具有實(shí)現(xiàn)方式靈活,、性價(jià)比高、實(shí)時(shí)性好,、導(dǎo)航快速精確等優(yōu)點(diǎn)[2-3],。但是,現(xiàn)有的視覺導(dǎo)航系統(tǒng)多數(shù)都是基于固定攝像機(jī)的限定視角導(dǎo)航方法,,這類導(dǎo)航系統(tǒng)只能適用于在直線行駛或者小彎度行駛情況,,一旦出現(xiàn)大彎度轉(zhuǎn)彎,道路會(huì)偏離攝像機(jī)視場,,導(dǎo)致路徑導(dǎo)航線丟失,、導(dǎo)航失效[4-5]。為改善這種視角范圍的局限,,傳統(tǒng)解決方法主要是將固定的攝像機(jī)改為廣角鏡頭攝像機(jī),,增大視場范圍[6],但是廣角攝像機(jī)的圖像畸變嚴(yán)重,,對圖像前期的處理精度和速度的要求嚴(yán)格,,同時(shí),增加了大量的圖像干擾信息,,為后續(xù)的圖像處理增加了較大的難度,。近年來,有學(xué)者提出了一種主動(dòng)視覺智能導(dǎo)航方法[7],,借鑒人類觀察道路時(shí)的眼球轉(zhuǎn)動(dòng)機(jī)理,,將攝像機(jī)安裝在可旋轉(zhuǎn)控制云臺(tái)系統(tǒng)上,通過一定的反饋控制,,實(shí)時(shí)修正攝像機(jī)焦點(diǎn)和行駛路線正前方的夾角,,保證行駛路線一直處于攝像機(jī)視角范圍內(nèi)。由于該方法在保證視角清晰的前提下,,大幅擴(kuò)展了攝像機(jī)的視角范圍,,近年來在目標(biāo)跟蹤[8]、人臉檢測[6]等領(lǐng)域得到了較多的研究和應(yīng)用,。其中,,如何精確獲取導(dǎo)航參量是主動(dòng)視覺導(dǎo)航系統(tǒng)的關(guān)鍵問題之一[9]。傳統(tǒng)的計(jì)算方法主要通過預(yù)先設(shè)置的高精度標(biāo)定參照物,,通過空間圖像和平面圖像的有效映射關(guān)系求取相關(guān)的參量值,,該類方法標(biāo)定精度高,,但是應(yīng)用范圍有限且標(biāo)定復(fù)雜,不利于變化場景的導(dǎo)航[10],。文獻(xiàn)[11]提出了基于視覺圖像的自計(jì)算方法,,該方法通過前端獲取的視頻幀圖像進(jìn)行系統(tǒng)參量的計(jì)算,利用Kruppa方程和分層逐步標(biāo)定的方式實(shí)現(xiàn)了導(dǎo)航參量的計(jì)算,,該方法靈活性強(qiáng),、使用范圍較廣,但是計(jì)算精度和魯棒性較差,,在背景存在干擾的情況下計(jì)算誤差較大,,甚至引起導(dǎo)航失敗[12]。文獻(xiàn)[13]利用相機(jī)進(jìn)行可控運(yùn)動(dòng),,通過約束運(yùn)動(dòng)的性質(zhì)來實(shí)現(xiàn)導(dǎo)航參量的計(jì)算,,提升了主動(dòng)視覺導(dǎo)航的參量計(jì)算精度和魯棒性。在此基礎(chǔ)上,,先后發(fā)展出了旋轉(zhuǎn)計(jì)算方法[14],、平面正交計(jì)算方法[15]以及基于無窮遠(yuǎn)平面單應(yīng)性矩陣[16]的計(jì)算方法。該類方法計(jì)算精度高,、魯棒性好,,但是該類方法需要計(jì)算的參量過多且計(jì)算復(fù)雜,在實(shí)時(shí)導(dǎo)航系統(tǒng)中很難應(yīng)用,。文獻(xiàn)[17]在此基礎(chǔ)上進(jìn)一步對計(jì)算復(fù)雜性進(jìn)行優(yōu)化,,利用二維頻移運(yùn)動(dòng)的相對計(jì)算方法求解線性模型的部分參數(shù),并通過畸變的方法引入非線性優(yōu)化,,有效地簡化了計(jì)算過程,,但是這種非線性畸變的過程對系統(tǒng)的初值和噪聲都非常敏感,計(jì)算穩(wěn)定性較差,。

    針對這些問題,,本文提出了一種基于方向引導(dǎo)優(yōu)化的主動(dòng)視覺導(dǎo)航參量計(jì)算方法。該方法的實(shí)現(xiàn)過程可以大致概括為三個(gè)步驟:(1)坐標(biāo)系的變換,。為了實(shí)現(xiàn)理論計(jì)算與實(shí)際導(dǎo)航系統(tǒng)的高精度擬合,,首先給出了車輛物理坐標(biāo)系與視覺圖像坐標(biāo)系的變換方程。(2)車道邊緣線的精確檢測,。精確地獲取車道邊緣線是進(jìn)行視覺導(dǎo)航的前提,,為了解決道路積水、陰影等背景干擾問題,,在傳統(tǒng)Canny算子初步檢測的基礎(chǔ)上,,提出了方向引導(dǎo)優(yōu)化的方法。(3)大曲率彎道線精確檢測問題。為了保證在大曲率轉(zhuǎn)彎情況下車道線的精確檢測問題,,在前期優(yōu)化的基礎(chǔ)上,,提出了基于直線與曲線閾值優(yōu)化的廣義Hough變換方法,對不同曲率的線段進(jìn)行優(yōu)化選擇,,精確檢測道路標(biāo)志線和邊緣線,,實(shí)時(shí)計(jì)算和修正導(dǎo)航中心引導(dǎo)線的偏離角度。

1 坐標(biāo)變換

    坐標(biāo)變換是進(jìn)行視覺導(dǎo)航實(shí)現(xiàn)的首要條件,,為了實(shí)現(xiàn)圖像坐標(biāo)與實(shí)際車輛物理坐標(biāo)的意義映射,,本文基于車輛行駛的實(shí)際道路環(huán)境構(gòu)建坐標(biāo)系,將攝像機(jī)中心定為坐標(biāo)原點(diǎn),,X軸為車輛行駛方向,Y軸為行駛方向的正左方,,將控制云臺(tái)的縱向軸設(shè)置為Z軸,。為便于后續(xù)云臺(tái)控制的分析,將車輛物理坐標(biāo)系獲取的圖像表示為(xr,,yr,,zr),相應(yīng)的像素坐標(biāo)系可以表示為(u,,v),,圖1表示了坐標(biāo)變換前后之間的關(guān)系,具體的變換關(guān)系計(jì)算如下[10]

ck4-gs1.gif

ck4-t1.gif

    由于車輛導(dǎo)航過程中需要檢測的道路標(biāo)志線一直處于平面狀態(tài)(zr=0),,為方便計(jì)算,,可將坐標(biāo)系重新修正為xrOyr坐標(biāo)系,將式(1)重新計(jì)算為:

ck4-gs2-3.gif

2 道路邊緣檢測及方向引導(dǎo)優(yōu)化實(shí)現(xiàn)

2.1 方向引導(dǎo)優(yōu)化實(shí)現(xiàn)

    首先通過Canny算進(jìn)行初步檢測,,獲取圖像邊緣信息以后,,保留圖像中的輪廓信息,但是由于陰影,、積水和路面裂縫等路面特征的干擾,,導(dǎo)致雜波輪廓信息同樣得到了保留,因此,,該部分主要采用方向引導(dǎo)搜索優(yōu)化去除陰影干擾[14],。假設(shè)攝像機(jī)前端獲取的圖像被劃分為3×3圖像塊,當(dāng)前像素點(diǎn)(如圖2(a)中的灰色中心點(diǎn))具有8個(gè)鄰接的像素,。為說明搜索的方向性,,假設(shè)目前的像素處于左車道,則車輛行駛的方向只有3個(gè)方向,,如圖2(a)所示,。同樣,處于右車道也具有3個(gè)行駛方向,如圖2(b)所示,。

ck4-t2.gif

    根據(jù)車輛在道路上的行駛規(guī)則,,可以定義為最優(yōu)選擇方向?yàn)?0°、次優(yōu)選擇為45°,、級(jí)別最低為0°,,以車輛在左邊車道行駛為例給出搜索過程描述如下[15]

    (1)以圖像的左下角為參考進(jìn)行平面掃描,,如果當(dāng)前像素判定為邊緣,,記錄并創(chuàng)建候選線段;否則,,繼續(xù)掃描直到找到邊緣點(diǎn),,并執(zhí)行第(2)步。

    (2)根據(jù)方向優(yōu)先原理進(jìn)行掃描,,判定邊緣點(diǎn)在3個(gè)方向中的位置并記錄坐標(biāo),,繼續(xù)掃描,直到結(jié)束,;如果3個(gè)方向均未掃描到邊緣點(diǎn),,則跳轉(zhuǎn)第(3)步。

    (3)遍歷整幅圖像,,尋找新的邊緣點(diǎn),,直到結(jié)束。

    上面的方向優(yōu)先搜索完成以后,,可以建立線段集合,,并記錄每一條線段的起始坐標(biāo)。

2.2 導(dǎo)航參量的計(jì)算

    在2.1小節(jié)檢測的基礎(chǔ)上,,為進(jìn)一步精確引導(dǎo)車輛的行駛,,需基于檢測的邊緣線和道路標(biāo)志線進(jìn)行導(dǎo)航中心引導(dǎo)線的提取以及偏離角度的計(jì)算。首先采用圖像重心分割的方法獲取精確的導(dǎo)航引導(dǎo)線[16],,具體如圖3所示,。

ck4-t3.gif

    通過計(jì)算兩個(gè)標(biāo)志線以內(nèi)的圖像(包括邊緣線與標(biāo)志線以內(nèi)的圖像,主要是機(jī)器人行駛路線所在的邊界標(biāo)志)的重心,,基于中心的縱坐標(biāo)進(jìn)行二次分割,,獲取上下圖像的中心A和B點(diǎn),直線AB即為機(jī)器人行駛區(qū)域內(nèi)的中心引導(dǎo)線,。如圖3(b)所示,,O為該幀圖像的整體重心,I1和I2主要用于偏離角度的計(jì)算,。具體的計(jì)算過程如圖4所示,。

ck4-t4.gif

    為計(jì)算機(jī)器人的行駛偏角及偏距,,在獲取機(jī)器人引導(dǎo)線以后,利用線段端點(diǎn)坐標(biāo)及長度畫圓,,并結(jié)合線段另一端點(diǎn)像素所在的坐標(biāo)位置,,計(jì)算引導(dǎo)線的偏角。實(shí)驗(yàn)中,,首先將機(jī)器人放置在行駛的路段進(jìn)行引導(dǎo)線初始化,,利用圖3(a)擬合道路引導(dǎo)線,進(jìn)而基于圖3(b)計(jì)算引導(dǎo)線的線性方程,,并確定其具體的位置m,。以相機(jī)為O點(diǎn),基于I1和I2計(jì)算機(jī)器人的位置偏移D和偏角α,。

3 實(shí)驗(yàn)與結(jié)果分析

    為驗(yàn)證本文方法的有效性,,該部分主要針對路況復(fù)雜的彎道行駛進(jìn)行分析,視頻幀圖像大小為400像素×300像素,。圖5(a)所示為在校園內(nèi)彎道測試實(shí)驗(yàn)現(xiàn)場獲取的彎道導(dǎo)航圖像,,圖5(b)為本文優(yōu)化后的檢測結(jié)果。

ck4-t5.gif

    表1為彎道視頻幀序列計(jì)算結(jié)果平均比較結(jié)果,,從表中可以看出在彎道行駛情況下,,3種方法的計(jì)算精度均有所下降,,其中,,文獻(xiàn)[13]和文獻(xiàn)[17]的性能明顯變差,而本文方法針對該序列的計(jì)算精度仍然保持了相當(dāng)高的精度,,平均偏航角度的計(jì)算誤差控制在1.5°以內(nèi),,平均行駛偏距控制在5個(gè)像素左右。

ck4-b1.gif

4 結(jié)論

    本文主要針對主動(dòng)視覺導(dǎo)航系統(tǒng)參量的計(jì)算方法展開研究,,提出了一種基于方向引導(dǎo)優(yōu)化的主動(dòng)視覺導(dǎo)航參量計(jì)算方法,。該方法是在文獻(xiàn)[13]的基礎(chǔ)上進(jìn)行優(yōu)化和改進(jìn),利用主動(dòng)視覺相機(jī)的運(yùn)動(dòng)可控性進(jìn)行參量的計(jì)算,。通過對傳統(tǒng)Canny算子檢測結(jié)果進(jìn)行方向引導(dǎo)優(yōu)化以后,,明顯降低了道路陰影、路面積水等雜波的干擾,,在此基礎(chǔ)上,,進(jìn)一步采用閾值優(yōu)化的廣義Hough變換方法對檢測結(jié)果進(jìn)行分類優(yōu)化,實(shí)現(xiàn)車道線的內(nèi)外邊緣及道路標(biāo)志線的精確檢測,。實(shí)驗(yàn)結(jié)果表明,,本文方法在彎道行駛情況下導(dǎo)航參量的計(jì)算精度明顯提升,具有優(yōu)秀的性能指標(biāo),。

參考文獻(xiàn)

[1] 姬長英,,周俊.農(nóng)業(yè)機(jī)械導(dǎo)航技術(shù)發(fā)展分析[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(9):4-54.

[2] 李林,,魏新華,,朱文靜,等.機(jī)器視覺輔助導(dǎo)航系統(tǒng)研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),,2015,,46(5):1-7.

[3] 張志斌,羅錫文,,周學(xué)成,,等.基于Hough變換和Fisher準(zhǔn)則的壟線識(shí)別算法[J].中國圖象圖形學(xué)報(bào),2007,,12(12):2164-2168.

[4] GUERRERO J M,,GUIJARRO M,MONTALVO M,,et al.Automatic expert system based on images for accuracy crop row detection in maize fields[J].Expert Systems with Applications,,2013,40(2):656-664.

[5] WALKER J S,,CHEN Y J.Image denoising using tree base wavelet subband correlation and shrinking[J].Optical Engineering,,2000,39(11):2900-2908.

[6] Ji Wei,,Zhao Dean,,Cheng Fengyi,et al.Automatic recognition vision system guided for apple harvesting robot[J].Computers and Electrical Engineering,,2012,,38(5):1186-1195.

[7] Li Bin,Wang Maohua.In-field recognition and navigation path extraction for pineapple harvesting robots[J].Intelligent Automation & Soft Computing,,2013,,19(1):9-20.

[8] Wei Xiangqin,Jia Kun,,Lan Jinhui,,et al.Automatic method of fruit object extraction under complex agricultural back-ground for vision system of fruit picking robot[J].Optik International Journal for Light and Electron Optics,2014,,125(19):5684-5689.

[9] Tang Jinglei,,Jing Xu,He Dongjian,,et al.Visual navigation control for agricultural robot using serial BP neural network[J].Transactions of the Chinese Society of Agricultural Engineering,,2011,27(2):194-198.

[10] 李景彬,,陳兵旗,,劉陽.棉花鋪膜播種機(jī)導(dǎo)航路線圖像檢測方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),,2014,40(1):40-45.

[11] 張征明,,盧偉,,陸靜霞.基于快速偽球?yàn)V波的智能拖拉機(jī)視覺導(dǎo)航中場景去霧方法[J].機(jī)器人,2015,,37(5):603-613.

[12] 李顥,,楊明.基于非線性逆透視變換的攝像機(jī)畸變參數(shù)標(biāo)定[J].上海交通大學(xué)學(xué)報(bào),2008,,42(10):1136-1139.

[13] Su Jianbo.Camera calibration based on receptive fields[J].Pattern Recognition,,2007,40(10):2837-2845.

[14] DANG T,,HOFFMANN C,,STILLER C.Continuous stereo self-calibration by camera parameter tracking[J].IEEE Transactions on Image Processing,2009,,18(7):1536-1550.

[15] 胡占義,,吳福朝.基于主動(dòng)視覺攝像機(jī)標(biāo)定方法[J].計(jì)算機(jī)學(xué)報(bào),2002,,25(11):1149-1156.

[16] BAKKER T,,WOUTERS H,ASSELT K V,,et al.A vision based row detection system for sugar beet[J].Computers and Electronics in Agriculture,,2008,60(1):87-95.

[17] 朱嘉,,李醒飛,,徐穎欣.攝像機(jī)的一種主動(dòng)視覺標(biāo)定方法[J].光學(xué)學(xué)報(bào),,2010,,30(5):1297-1303.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載,。