《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > 一種機器視覺距離補償路面破損位置定位方法
一種機器視覺距離補償路面破損位置定位方法
2018年電子技術(shù)應(yīng)用第10期
繆誠鈺1,2,,3,,李 鵬1,2,,3,張精榕1,2,,3,顧彬彬1,,2,,3,蔣 威1,,2,,3
1.南京信息工程大學(xué) 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,江蘇 南京210044,; 2.南京信息工程大學(xué) 江蘇省氣象傳感網(wǎng)技術(shù)工程中心,,江蘇 南京210044; 3.南京信息工程大學(xué) 江蘇省氣象探測與信息處理重點實驗室,,江蘇 南京210044
摘要: 實時準確的路面破損自動檢測技術(shù)對于公路管理養(yǎng)護有重要的意義,。結(jié)合基于FPGA的路面破損識別檢測系統(tǒng)進行定位精度的研究。由于該系統(tǒng)設(shè)備安裝視角和載體運動速度等因素的影響,,會造成路面定位精度的下降,。提出了一種機器視覺距離補償?shù)穆访嫫茡p定位算法,實驗結(jié)果表明,,當車的行駛速度在72 km/h以下時,,定位誤差從5 m減少到2 m,滿足了系統(tǒng)設(shè)計的要求,。
中圖分類號: TN911.73
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.181149
中文引用格式: 繆誠鈺,,李鵬,張精榕,,等. 一種機器視覺距離補償路面破損位置定位方法[J].電子技術(shù)應(yīng)用,,2018,44(10):68-72,,77.
英文引用格式: Miao Chengyu,,Li Peng,Zhang Jingrong,,et al. A pavement damage location algorithm based on machine vision distance compensation[J]. Application of Electronic Technique,,2018,,44(10):68-72,77.
A pavement damage location algorithm based on machine vision distance compensation
Miao Chengyu1,,2,,3,Li Peng1,,2,,3,Zhang Jingrong1,,2,,3,Gu Binbin1,,2,,3,Jiang Wei1,,2,,3
1.Jiangsu Collaborative Innovation Center on Atmospheric Environment and Equipment Technology, Nanjing University of Information Science and Technology,,Nanjing 210044,,China; 2.Jiangsu Meteorological Sensor Network Technology Engineering Center,,Nanjing University of Information Science and Technology,, Nanjing 210044,China,; 3.Jiangsu Key Laboratory of Meteorological Observation and Information Procession, Nanjing University of Information Science and Technology,,Nanjing 210044,,China
Abstract: The real-time and accurate automatic detection technology of road surface damage has important significance for highway management and maintenance. This paper combines the FPGA-based pavement damage detection system to research the positioning accuracy. Due to the influence of factors such as the installation perspective of the system equipment and the speed of the carrier, the accuracy of the road surface positioning may be reduced. This paper proposes a pavement damage location algorithm based on machine vision distance compensation. The experimental results show that when the vehicle′s driving speed is below 72 km/h, the positioning error is reduced from 5 m to 2 m. It meets the requirements of the system design.
Key words : pavement damage;automatic detection,;extended Kalman filtering,;machine vision;distance compensation

0 引言

    我國高等級公路網(wǎng)的建設(shè)已躋身于世界領(lǐng)先水平[1],。高性能,、高可靠性、高效率和多信息化的路面檢測裝備已經(jīng)成為路面檢測部門的迫切需要,。傳統(tǒng)的人工檢測算法效率低,、精度差、勞動強度大和安全性差已無法滿足道路養(yǎng)護作業(yè)需求,。隨著圖像處理技術(shù)和人工視覺技術(shù)的快速發(fā)展,,基于機器視覺路面檢測識別系統(tǒng)得以發(fā)展。同時為檢測載體在快速行駛下準確的識別路面破損類型以及確定高精度路面破損位置提出了更高的要求。

    20世紀90年代,,美國的Earth公司研制出PCES系統(tǒng),,瑞典一家公司推出PAVUE系統(tǒng),但是這兩個系統(tǒng)實時性較差,,同時對于裂縫的定位精度較低[2],。我國在路面破損的自動檢測識別研究方面起步較晚。長安大學(xué)的徐志剛,、趙祥模等人一直在對路面裂縫的識別與檢測系統(tǒng)進行研究,,同時實現(xiàn)對圖像中有裂縫部分的精確定位[3]

    高速載體運動下的導(dǎo)航定位精度是衛(wèi)星導(dǎo)航領(lǐng)域下的熱點問題,,同時實現(xiàn)路面破損的高精度定位一直是路面破損智能識別與檢測系統(tǒng)的重點研究方向之一,。近年來,我國全球北斗定位系統(tǒng)的快速發(fā)展,,為實現(xiàn)路面破損的智能,、快速、高精度的定位提供了有效的手段,。雖然目前差分技術(shù),、組合導(dǎo)航的技術(shù)可以有效地提高定位精度,但是實用性不強且成本較高,。本文結(jié)合基于FPGA的路面破損的智能識別和檢測系統(tǒng),,提出了一種基于機器視覺距離補償的北斗路面破損智能識別定位算法,提高了在高速運動情況下路面破損定位的精度,。

1 路面破損識別檢測系統(tǒng)和高精度定位的實現(xiàn)

1.1 基于FPGA的路面破損監(jiān)測系統(tǒng)

    基于FPGA的路面破損識別檢測系統(tǒng)[4]的實現(xiàn)包括路面信息的采集,、路面破損檢測算法、硬件系統(tǒng)的設(shè)計,、北斗定位,、無線傳輸五大部分組成。系統(tǒng)的結(jié)構(gòu)見圖1,。

qrs4-t1.gif

    減少由于光線不均勻的照射和傳感器的感光問題帶來的誤差噪聲,。同時對CMOS攝像頭進行初始化配置:從設(shè)備操作視頻圖像為每秒30幀、輸出高8 bit的RAW RGB格式視頻信號,,默認采取VGA分辨率輸出,、開啟自動增益AGC功能、開啟自動白平衡AWB功能,、開啟自動曝光AEC功能以及亮度值補償功能等,。

    工作流程為首先提出一種基于公路路面圖像特征提取和分析的路面破損檢測方法[5],并用FPGA構(gòu)建硬件系統(tǒng)進行處理,,然后將處理結(jié)果通過SDRAM進行緩存然后進行VGA顯示,,當判定有破損時會向定位模塊獲取定位信息,,并將進行運動補償后的破損定位信息在LCD上進行顯示,最后通過無線傳輸模塊把獲取到的圖像信息和破損位置信息發(fā)送至后臺服務(wù)器顯示并存儲,。

1.2 高精度破損定位算法的實現(xiàn)

    實現(xiàn)高精度的路面裂破損定位的流程如圖2所示,。首先對北斗定位原始數(shù)據(jù)進行擴展卡爾曼濾波[6]處理,消除車載北斗信號容易受到遮擋和干擾的影響,。消除誤差之后將車載北斗接收機接收到的經(jīng)緯度信息經(jīng)過高斯投影坐標轉(zhuǎn)換到平面坐標系,。對CMOS相機采集的圖像幀數(shù)據(jù)進行數(shù)字圖像處理,得到裂縫的在實際中的物理距離,,最后進行FPGA運算耗時的運動補償,,進行坐標轉(zhuǎn)換得到裂縫的經(jīng)緯度。

qrs4-t2.gif

2 基于EKF的北斗高精度的定位數(shù)據(jù)的獲取

    本系統(tǒng)首先通過擴展卡爾曼濾波(EKF)將北斗接收機接收到的數(shù)據(jù)進行濾波處理[7],,建立系統(tǒng)模型消除由于高樓建筑物和樹木遮擋導(dǎo)致定位精度偏差和數(shù)據(jù)丟失的問題,。

    假設(shè)車輛在行駛過程中是一個二維運動,則車輛運動的軌跡,、實時速度都可以通過加速度的運動來推算出來,,從而建立系統(tǒng)的運動狀態(tài)模型。因此,,只需要將加速度變化的模型建立出來就可以表示運動載體當前的運動狀態(tài)[8],。

2.1 加速度模型的建立

    由于汽車在做加速運動時,它的下一瞬間的加速度的值是在一個有限范圍內(nèi)的,,也就是在當前加速度的領(lǐng)域內(nèi),。用一階馬爾科夫過程表示加速度的變化:

qrs4-gs1-2.gif

2.2 狀態(tài)方程

qrs4-gs3.gif

2.3 觀測方程的建立

    將北斗接收機接收到的數(shù)據(jù)東向位置信息ze、北向位置信息zn,、實時速度v和方向角θ建立觀測方程,,離散化可得:

qrs4-gs4.gif

    由于該方程是非線性的,采用EKF進行線性化,,即將預(yù)測值處泰勒級數(shù)展開,,保留一階項。

qrs4-gs5-10.gif

    通過EKF來對裂縫識別車在行駛過程中由于樹木或者高樓引起的多徑效應(yīng)的誤差進行修正,,來得到更加精確的識別車的定位精度。

3 距離補償定位校正

3.1 FPGA圖像處理的運算時間補償

    考慮到裂縫種類的特殊性,,因此在裂縫判定分類時應(yīng)該根據(jù)收集的大量不同裂縫圖像的投影特征,,設(shè)定不同的閾值標準且安排一定的順序,設(shè)定閾值較高的應(yīng)該事先判定分類,,具體的設(shè)置方法在這里就不再贅述,。

    整個系統(tǒng)的圖像處理設(shè)計流程如圖3所示。

qrs4-t3.gif

    為得到FPGA圖像處理得到的運算時間,,對圖像處理過程通過ModelSim-Altera仿真軟件進行功能性仿真,,得到完成中值濾波耗時t1=1.200 ms,,邊緣檢測耗時t2=1.205 ms,膨脹算法耗時t3=1.278 ms,,腐蝕算法耗時t4=1.126 ms和計算裂縫物理距離耗時t5=1.002 ms,,通過仿真,可以知道該系統(tǒng)的實時性較好,。但是考慮到本系統(tǒng)的使用場景,,當裂縫識別車在高速運動時,F(xiàn)PGA進行圖像處理時的計算速度造成的定位延時,,需要對經(jīng)緯度的信息進行誤差運動補償,。

    北斗接收機可以實時地提供裂縫識別車的運動速度,在1 s內(nèi)將車行駛的速度近似為勻速運動,。通過經(jīng)過濾波后的速度v,,與FPGA進行圖像處理的時間總和t,計算公式如下:

    qrs4-gs11.gif

3.2 基于機器視覺的誤差校正

    本系統(tǒng)采用的是OV7725攝像頭進行圖像采集,,采集速度為30 f/s,,采集的圖像大小是640×480。采集系統(tǒng)模型如圖4所示,。

qrs4-t4.gif

    由于攝像頭固定在車的頂部位置,,對OV7725攝像機進行定標處理后[9],僅需要對特征提取裂縫圖像后的二值化圖像幀數(shù)據(jù)進行運算,,計算裂縫A點位置裂縫在這一幀圖像中的距離,。

    當OV7725攝像頭固定在汽車上時,裂縫識別車到攝像頭采集到的視角的邊距S1是固定值為2 m,由于物距是固定的,,經(jīng)過大量的統(tǒng)計測量可以得到單位長度對應(yīng)的像素數(shù)為σ,,通過對二值化后的裂縫像素點在圖像坐標系中坐標(u,v)進行差分,,并迭代相加,,統(tǒng)計出像素點的個數(shù)n,最后轉(zhuǎn)換為物理距離,,計算公式如下:

    qrs4-gs12.gif

    圖5是經(jīng)過FPGA圖像處理后二值化圖像進行物理距離的運算,,與實際的測量距離比較得到誤差值如表1所示。

qrs4-t5.gif

qrs4-b1.gif

4 北斗數(shù)據(jù)的轉(zhuǎn)換

    由于北斗接收機輸出數(shù)據(jù)采用的是2000國家大地坐標系,,因此需要運用CGCS2000坐標系進行高斯投影坐標正反轉(zhuǎn)換計算[10],。本系統(tǒng)采用的是6°帶投影算法。南京地區(qū)中央子午線為117°,,建立高斯投影平面坐標,。

    CGCS2000坐標(B,L)轉(zhuǎn)換成平面直角坐標(x,,y)的高斯投影坐標正算公式為:

qrs4-gs13-16.gif

5 算法測試與實驗結(jié)果分析

    為了驗證該算法的有效性和實時性,,本課題組于2017年12月20日在南京信息工程大學(xué)進行路面破損采集定位測試,。試驗設(shè)備是由泰斗D303北斗芯片接收數(shù)據(jù),在一定時間內(nèi)進行定位數(shù)據(jù)的采集,,如時間,、緯度、經(jīng)度,、速度,、航向和方位角等。采樣頻率為1 Hz,。圖6是經(jīng)緯度運動軌跡,,圖7是速度的變化量.

qrs4-t6.gif

qrs4-t7.gif

    圖8是濾波后的緯度和濾波前的緯度比較,圖9是濾波后的經(jīng)度和濾波前的經(jīng)度比較,。以經(jīng)度為118.425 123°,,緯度為32.125 222°坐標為起始位置,從圖中可以看出由于實驗過程中學(xué)校內(nèi)部的高樓和樹木較多,,導(dǎo)致系統(tǒng)的誤差較大,。通過EKF濾波后經(jīng)緯度值更加接近真實值。

qrs4-t8.gif

qrs4-t9.gif

    在運動過程中對路面上破損進行實時采集和運動補償,,對該路段進行了3次裂縫采集,,并將本系統(tǒng)采集的路面裂縫的編號和誤差進行作圖分析。表2給出了在第一次測試采集裂縫的個數(shù),、編號,、實時速度和定位誤差。圖10給出了3次重復(fù)采集的裂縫誤差信息,。表3是3次測試誤差的統(tǒng)計結(jié)果,。

qrs4-b2.gif

qrs4-t10.gif

qrs4-b3.gif

    實驗結(jié)果可以看出,本文提出的基于運動補償?shù)谋倍仿访嫫茡p定位算法具有較高的精度,,通過機器視覺的補償將路面破損定位算法誤差降低到2 m左右,。但是在車速較快時,誤差有較小的波動,。精度滿足本系統(tǒng)的設(shè)計要求,。

6 結(jié)論

    本文針對基于FPGA的北斗路面破損識別系統(tǒng)提出了一種基于機器視覺距離補償?shù)穆访嫫茡p高精度定位算法,對破損信息的經(jīng)緯度的提取具有較高的精度和較好的實時性,。擴展卡爾曼濾波很好地降低了北斗芯片在定位過程中的誤差干擾問題,,并采用了機器視覺距離補償修正算法,很好地提高了基于FPGA的路面破損定位系統(tǒng)的實用性和可靠性,。

參考文獻

[1] 楊愛國.《公路交通“十二五”發(fā)展規(guī)劃》解讀[J].中國公路,,2012:56-58.

[2] HARIS N,,SANHOURI K,,DOWNEY A B.Analysis of segmentation algorithms for pavement distress images[J].Journal of Transportation Engineer,,1993,119(6):391-394.

[3] WEI N,,ZHAO X M,,WANG T.Mathematical morphology based as phalt pavement crack detection[C].Proceedings of the Second International Conference on Transportation Engineering,2009:3883-3887.

[4] 李鵬,,杜敏,,趙芬芬.基于FPGA的圖像分析的路面破損檢測系統(tǒng)的研究與實現(xiàn)[J].微電子學(xué)與計算機,2017,,34(3):100-104.

[5] 李鵬,,趙芬芬,杜敏.基于雙樹復(fù)小波的直方圖路面裂縫檢測算法[J].安徽大學(xué)學(xué)報(自然科學(xué)版),,2018,,42(1):38-44.

[6] 韓春雷,陳赤聯(lián),,宋明,,等.卡爾曼濾波在被動目標跟蹤系統(tǒng)中的應(yīng)用[J].電子科技,2012,,22(4):47-53.

[7] 劉玉杰.基于擴展卡爾曼濾波算法的融合室內(nèi)定位系統(tǒng)研究與實現(xiàn)[D].南京:南京郵電大學(xué),,2016.

[8] YANG L,HILL C,,MENG X.Evaluation of network RTK GPS correction transmission delay and loss[C].ENC GNSS2008,,Toulouse,F(xiàn)rance,,2008.

[9] 孫俊陽,,孫俊,許傳龍,,等.一種基于光場圖像的聚焦光場相機標定方法[J].光學(xué)學(xué)報,,2017(5):176-186.

[10] 王愛生,徐生,,張棋,,等.基于CGCS2000橢球的大地測量實用公式[J].導(dǎo)航定位學(xué)報,2015,,3(3):105-109.



作者信息:

繆誠鈺1,,2,3,,李  鵬1,,2,3,,張精榕1,,2,,3,顧彬彬1,,2,,3,蔣  威1,,2,,3

(1.南京信息工程大學(xué) 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,江蘇 南京210044,;

2.南京信息工程大學(xué) 江蘇省氣象傳感網(wǎng)技術(shù)工程中心,,江蘇 南京210044;

3.南京信息工程大學(xué) 江蘇省氣象探測與信息處理重點實驗室,,江蘇 南京210044)

此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載。