文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.174365
中文引用格式: 朱英凱,羅文廣,,賓洋. 基于改進(jìn)車(chē)底陰影提取算法的前方運(yùn)動(dòng)車(chē)輛實(shí)時(shí)檢測(cè)[J].電子技術(shù)應(yīng)用,,2018,,44(4):86-89,98.
英文引用格式: Zhu Yingkai,,Luo Wenguang,,Bin Yang. Real-time detection of front moving vehicles based on improved vehicle shadow extraction algorithm[J]. Application of Electronic Technique,2018,,44(4):86-89,,98.
0 引言
基于視頻的前車(chē)實(shí)時(shí)檢測(cè)技術(shù),,是利用電荷耦合元件(Charge-Coupled Device,CCD)[1]實(shí)時(shí)采集本車(chē)前方車(chē)輛在公路上行駛的視頻,,然后對(duì)圖像進(jìn)行分析和處理,,由此識(shí)別出視頻中的車(chē)輛。該類(lèi)研究屬于汽車(chē)安全輔助駕駛領(lǐng)域,,對(duì)減輕駕駛員駕駛壓力及減少交通事故有重要意義,。大量文獻(xiàn)[2-7]表明車(chē)輛底部陰影特征較為顯著,因此準(zhǔn)確識(shí)別車(chē)底陰影是車(chē)輛檢測(cè)的前提,。
基于車(chē)底陰影特征車(chē)輛檢測(cè)的方法主要有基于模型和基于特征的方法,。基于模型的方法通常是根據(jù)車(chē)輛,、場(chǎng)景,、光照等先驗(yàn)知識(shí)建立2D或3D陰影模型[3-4],具有較好的適應(yīng)性,,但受建立模型數(shù)量的限制,。基于特征的方法是根據(jù)車(chē)底陰影的灰度值,、紋理,、形狀、梯度特征[5-7],,將車(chē)底陰影與路面分割[6],,通過(guò)車(chē)底陰影檢測(cè)確定車(chē)輛位置,最終達(dá)到車(chē)輛位置檢測(cè)的目的,但該方法易受光線的影響,。
綜上所述,,本文提出一種改進(jìn)的連續(xù)變矩形窗口的自適應(yīng)均值-方差差值法,以準(zhǔn)確地求出車(chē)底陰影閾值,;并提出一種基于汽車(chē)尾部寬度模版的橫向遍歷最小均值法,,生成車(chē)底陰影線假設(shè)的方法,以實(shí)現(xiàn)實(shí)時(shí)前車(chē)檢測(cè),。
1 車(chē)輛檢測(cè)算法
車(chē)輛檢測(cè)算法的實(shí)現(xiàn)過(guò)程為:確定前車(chē)感興趣區(qū)域(ROI),;計(jì)算出車(chē)底陰影閾值,并生成車(chē)底陰影線假設(shè),;對(duì)車(chē)底陰影線假設(shè)進(jìn)行驗(yàn)證,,從而檢測(cè)出車(chē)輛。
1.1 ROI的選取
ROI的選取,,即預(yù)估車(chē)輛可能出現(xiàn)在圖像中的范圍,。合理的ROI區(qū)域的選取能縮小圖像檢測(cè)區(qū)域,提高實(shí)時(shí)性,。研究表明,,基于車(chē)道線的梯形ROI區(qū)域確定可以減小大量的計(jì)算量[8]。本文在車(chē)道線可識(shí)別的假設(shè)前提下確定梯形ROI區(qū)域[9],。梯形ROI區(qū)域內(nèi)完整地保留了車(chē)底陰影信息,,減小了算法檢測(cè)的區(qū)域,提高了算法的實(shí)時(shí)性,。同時(shí)梯形ROI的選取增大了最遠(yuǎn)處車(chē)輛的識(shí)別范圍,,相對(duì)比固定消失點(diǎn)[10]的三角形ROI方法,減小了車(chē)輛漏檢率,。
1.2 車(chē)底陰影閾值的計(jì)算
圖像中車(chē)底陰影在道路上的投影形狀通常近似為矩形[11],,因此本文則將車(chē)底陰影的形狀視為矩形。經(jīng)大量統(tǒng)計(jì)可以得出,,車(chē)底陰影矩形的寬度與高度的比例大約為5:1[11],。因此選擇寬、高比為5:1的矩形窗口作為遍歷模版,,在ROI區(qū)域的所有像素點(diǎn)內(nèi),,按由下至上,、由左至右的順序進(jìn)行遍歷,,求出車(chē)底陰影閾值。變矩形窗口的均值-方差差值自適應(yīng)閾值計(jì)算公式為[12]:
式中,,Th為ROI區(qū)域的閾值,;M為矩形窗口遍歷求得的最小灰度平均值;σ為M對(duì)應(yīng)矩形窗口內(nèi)像素點(diǎn)灰度值的標(biāo)準(zhǔn)差;G(u,,v)為坐標(biāo)點(diǎn)(u,,v)處像素點(diǎn)的灰度值,遍歷過(guò)程中坐標(biāo)點(diǎn)(u,,v)取遍ROI內(nèi)所有像素點(diǎn),,且順序由下至上、由左至右,;(um,,vm)為M對(duì)應(yīng)像素點(diǎn)坐標(biāo);W和H分別為圖像中矩形窗口像素的寬和高,;w,、h分別為遍歷矩形窗口內(nèi)像素點(diǎn)距其左上角像素點(diǎn)橫、縱像素距離,。其中最小單位像素長(zhǎng)度為1,,下文將長(zhǎng)度單位均視為圖像中像素長(zhǎng)度單位。
根據(jù)圖像的透視原理[12],,同一物體越遠(yuǎn),,在圖像上顯示越小,反之亦然,。同理,,在圖像中車(chē)底陰影同樣具有這一特征。圖1近似給出車(chē)底陰影寬度隨著圖像中遠(yuǎn)近程度改變而改變的變化規(guī)律[13],。線段AB為車(chē)底陰影在本圖像中的真實(shí)位置,,若車(chē)底陰影位置分別位于CD、EF處,,則此時(shí)的寬度分別為線段CD,、EF的長(zhǎng)度,近而點(diǎn)ABFE圍成的梯形區(qū)域視為車(chē)底陰影所在區(qū)域假設(shè),。由于實(shí)時(shí)視頻中畫(huà)面的變化是連續(xù)的過(guò)程,,同理車(chē)底陰影大小的變化是連續(xù)的,矩形車(chē)底陰影的寬度,、高度的變化也是連續(xù)的,。
由上述車(chē)底陰影大小的變化規(guī)律可知,使用固定大小的矩形窗口求解車(chē)底陰影灰度閾值并不合理,,從而提出一種連續(xù)變化的矩形窗口閾值求解方法,。圖1中,S為連續(xù)變化的矩形窗口,,其在ROI區(qū)域內(nèi)的所有像素點(diǎn)遍歷時(shí),,縱軸V方向像素點(diǎn)坐標(biāo)每上移一個(gè)單位像素點(diǎn)時(shí),,W的值隨之減小Δw,H的值始終為W的1/5倍,;沿橫軸U方向遍歷時(shí),,S大小不變。S的寬度W縱向變化率為:
式中,,Δw為矩形窗口S的縱向?qū)挾茸兓?,Wmax為梯形ROI下底處矩形窗口S的寬,Wmin為梯形ROI上底處矩形窗口S的寬,,HROI為梯形ROI的高(參見(jiàn)圖1),。
將改進(jìn)的變矩形窗口自適應(yīng)車(chē)底陰影閾值計(jì)算方法與傳統(tǒng)的固定矩形窗口車(chē)底陰影閾值計(jì)算方法[10]進(jìn)行比較,通過(guò)閾值分割二值圖可以看出,,本文改進(jìn)的變矩形窗口自適應(yīng)車(chē)底陰影閾值計(jì)算方法較傳統(tǒng)固定矩形窗口閾值計(jì)算方法求得的閾值更為準(zhǔn)確,。其中,圖2(a)為變矩形窗口自適應(yīng)車(chē)底陰影閾值分割二值圖,,圖2(b),、圖2(c)為固定矩形窗口車(chē)底陰影閾值分割二值圖。
1.3 車(chē)底陰影檢測(cè)
1.3.1 車(chē)底陰影線假設(shè)
車(chē)底陰影檢測(cè)是通過(guò)檢測(cè)車(chē)底陰影與路面相交線位置,,即能確定前方車(chē)輛位置,。而車(chē)底陰影與路面相交線(下文統(tǒng)稱為車(chē)底陰影線)通常為水平線段,其長(zhǎng)度隨縱軸變化而連續(xù)變化,;且車(chē)底陰影線上的像素點(diǎn)灰度均值小于閾值Th,。基于上述車(chē)底陰影線的特征,,本文提出一種基于車(chē)輛尾部寬度模版的橫向遍歷最小灰度均值法,,快速生成車(chē)底陰影假設(shè)。圖3為車(chē)底陰影線假設(shè)生成過(guò)程示意圖,?;谲?chē)輛尾部寬度模版,逐行計(jì)算出ROI區(qū)域內(nèi)每一行中最小灰度均值:
式中,,Mv為最小灰度均值,,即當(dāng)ROI區(qū)域的縱軸坐標(biāo)值v不變時(shí),以車(chē)底陰影線長(zhǎng)度為Wv的車(chē)輛尾部寬度模版,,遍歷第v行上所有像素點(diǎn),,求得第v行處的值;同圖3所述車(chē)底陰影大小變化規(guī)律,,Wv的值隨著縱軸坐標(biāo)值變化而變化,,縱向變化率同式(4)中的Δw。
然后,,將計(jì)算出的Mv與閾值進(jìn)行比較,,若Mv<Th,則記錄下Mv對(duì)應(yīng)的坐標(biāo)值(u,,v),,此時(shí)的坐標(biāo)值即為車(chē)底陰影線假設(shè)左頂點(diǎn)坐標(biāo),陰影線長(zhǎng)度即為該縱軸坐標(biāo)值v處對(duì)應(yīng)的Wv,。若圖3中第v′行求得的Mv′小于Th,,則像素點(diǎn)(u′+g,v′)為車(chē)底陰影線假設(shè)左頂點(diǎn)坐標(biāo),,車(chē)底陰影線長(zhǎng)度為Wv′,。由于車(chē)底陰影形狀為矩形,因此滿足Mv<Th的車(chē)底陰影線不止一條,,如圖4所示,,ROI區(qū)域內(nèi)產(chǎn)生多條車(chē)底陰影線假設(shè)。將車(chē)底陰影放大后可統(tǒng)計(jì)出生成模版的車(chē)底陰影線假設(shè)共有10條(以圖4為例),,為準(zhǔn)確地檢測(cè)車(chē)輛,,還需對(duì)假設(shè)結(jié)果進(jìn)行驗(yàn)證,確定出唯一車(chē)底陰影線,。
1.3.2 車(chē)底陰影線驗(yàn)證
由于車(chē)底陰影線在車(chē)底陰影正下方,,因此利用車(chē)底陰影特征對(duì)車(chē)底陰影線假設(shè)進(jìn)行驗(yàn)證。已經(jīng)知道車(chē)底陰影形狀呈矩形且灰度均值比閾值小,,因此,,利用寬度為Wv、高度為Hv=Wv/5的驗(yàn)證矩形窗口Sv,,求出車(chē)底陰影線假設(shè)處像素點(diǎn)灰度值均值Mean(u,,v)。像素點(diǎn)(u,,v)為車(chē)底陰影線假設(shè)的左頂點(diǎn)坐標(biāo)位置,,同時(shí)也是驗(yàn)證矩形窗口Sv的左下頂點(diǎn)坐標(biāo)。Mean(u,,v)計(jì)算公式為:
車(chē)底陰影線驗(yàn)證按著車(chē)底陰影長(zhǎng)度Wv由大至小順序依次進(jìn)行,,在驗(yàn)證過(guò)程中一旦有車(chē)底陰影線假設(shè)滿足Mean(u,v)<Th,,即確定其為唯一車(chē)底陰影線,,驗(yàn)證過(guò)程結(jié)束。
2 DSP硬件系統(tǒng)及實(shí)時(shí)算法實(shí)現(xiàn)
2.1 DSP硬件系統(tǒng)
本文選用的DSP為T(mén)MS320DM6437,,利用其作為搭建視頻采集硬件系統(tǒng)的核心處理器,,如圖5所示。
圖5中VPFE和VPBE分別為視頻處理子系統(tǒng)(VPSS)的前端和后端,。系統(tǒng)利用CCD攝像機(jī)采集實(shí)時(shí)視頻,,并將視頻信息傳送給VPFE,,VPFE將模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字視頻信號(hào)傳送給DM6437進(jìn)行車(chē)輛位置實(shí)時(shí)檢測(cè)算法處理,最后通過(guò)LED顯示,。
2.2 實(shí)時(shí)算法實(shí)現(xiàn)
在離線車(chē)輛檢測(cè)算法中用時(shí)最長(zhǎng)的部分為車(chē)底陰影閾值計(jì)算,,經(jīng)實(shí)驗(yàn)驗(yàn)證對(duì)每一幀圖像進(jìn)行閾值計(jì)算實(shí)時(shí)性較差。由于車(chē)輛行駛在公路上,,在一定的時(shí)間內(nèi)光照情況及路面結(jié)構(gòu)幾乎不變,,而這恰好是對(duì)車(chē)底陰影閾值影響較大的因素。因此,,本文假設(shè)在一個(gè)單位時(shí)間(1 s)內(nèi)車(chē)底陰影閾值不變,。基于本文算法,,提出一種間隔幀數(shù)閾值求解的方法,。即在實(shí)時(shí)視頻中,每間隔相同圖像幀數(shù)求解一次閾值,。為了直觀體現(xiàn)間隔幀數(shù)求解閾值的實(shí)時(shí)效果,,分別給出3種不同間隔幀數(shù)情況下DSP實(shí)時(shí)算法的實(shí)時(shí)性對(duì)比結(jié)果,見(jiàn)表1,。
由表1可知,,間隔30幀時(shí)DSP的每秒處理速度達(dá)到26幀/s,此速度可以滿足車(chē)輛檢測(cè)實(shí)時(shí)性要求,,因此本算法選擇間隔的幀數(shù)為30,。圖6為運(yùn)動(dòng)車(chē)輛檢測(cè)DSP實(shí)時(shí)算法程序流程圖,主要步驟包括:RIO區(qū)域選取,、閾值計(jì)算,、車(chē)底陰影線假設(shè)、車(chē)底陰影線驗(yàn)證,。
3 檢測(cè)結(jié)果分析
本文實(shí)驗(yàn)所用的視頻來(lái)源于行車(chē)記錄儀,,以2015年9月20日至25日拍攝于海門(mén)市人民西路路段、秀山路路段,、上海市河南中路延安高架橋隧道等路段的圖像為例,。
圖7是在不同光照及路面環(huán)境下,從DSP實(shí)時(shí)前車(chē)檢測(cè)結(jié)果中,,隨機(jī)抽取的部分結(jié)果圖,。本算法可以滿足不同光照、不同路面干擾及多種工況下的車(chē)輛檢測(cè),。為更加直觀地體現(xiàn)本算法的實(shí)時(shí)性及準(zhǔn)確性,,本文參照文獻(xiàn)[9]的方法,分別隨機(jī)統(tǒng)計(jì)8 000張簡(jiǎn)單工況下及復(fù)雜工況下視頻圖像檢測(cè)結(jié)果,。其中簡(jiǎn)單工況為光照正常,,路面沒(méi)有干擾,;復(fù)雜工況有光照較弱、道路標(biāo)示干擾,、路面陰影干擾等情況,。兩種工況下車(chē)輛檢測(cè)統(tǒng)計(jì)結(jié)果如表2所示。
4 結(jié)論
實(shí)驗(yàn)結(jié)果表明:采用變矩形窗口自適應(yīng)均值-方差差值閾值求解法,,可以在不同光照及不同路面環(huán)境下準(zhǔn)確、快速地計(jì)算出車(chē)底陰影閾值,;基于車(chē)輛尾部寬度模版的逐行最小均值搜索法生成車(chē)底陰影線假設(shè),,可以大幅度提高算法的實(shí)時(shí)性,為DSP實(shí)時(shí)算法的實(shí)現(xiàn)提供了有利條件,。
綜上所述,,基于改進(jìn)車(chē)底陰影提取算法的前方運(yùn)動(dòng)車(chē)輛實(shí)時(shí)檢測(cè)技術(shù)實(shí)時(shí)性好、魯棒性強(qiáng),,在不同的交通環(huán)境,、天氣情況下均能較好地檢測(cè)出車(chē)輛。
參考文獻(xiàn)
[1] 陳蘇婷,,楊世洪.基于感興趣區(qū)域的可變頻CCD實(shí)時(shí)處理系統(tǒng)[J].電子技術(shù)應(yīng)用,,2012,38(1):34-37.
[2] Qu Shiru,,Li Xu.Research on multi-feature front vehicle detection algorithm based on video image[C].Chinese Control and Decision Conference(CCDC).IEEE,,2016:3831-3835.
[3] COLLADO J M,HILARIO C.Model based vehicle detection for intelligent vehicles[C].IEEE Intelligent Vehicles Symposium(S.l.).IEEE,,2004:572-577.
[4] 胡銦,,楊靖宇.基于模型的車(chē)輛檢測(cè)與跟蹤[J].中國(guó)圖象圖形學(xué)報(bào),2008,,13(3):450-455.
[5] SANIN A,,SANDERSON C,LOVELL B C.Shadow detection:a survey and comparative evaluation of recent methods[J].Pattern Recognition,,2013,,45(4):1684-1695.
[6] Jin Lisheng,Gu Baiyuan,,Wang Rongben,,et al.Preceding vehicle detection based on multi-characteristics fusion[J].IEEE International Conference on Vechicular Electronics and Safety,ICVES 2006,,2007:356-360.
[7] YANG M S,,LAI C Y,LIN C Y.A robust EM clustering algorithm for Gaussian mixture models[J].Pattern Recognition,,2012,,45(11):3950-3961.
[8] 齊美彬,,潘燕,張銀霞.基于車(chē)底陰影的前方運(yùn)動(dòng)車(chē)輛檢測(cè)[J].電子測(cè)量與儀器學(xué)報(bào),,2012,,26(1):54-59.
[9] 胡銦.基于單目視覺(jué)得運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D].南京:南京理工大學(xué),2007.
[10] KROEGER T,,Dai Dengxin,,GOOL L V.Joint vanishing point extraction and tracking[C].IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015:2449-2457.
[11] 顧柏園.基于單目視覺(jué)的安全車(chē)距預(yù)警系統(tǒng)研究[D].長(zhǎng)春:吉林大學(xué),,2006.
[12] 楊必武,,郭曉松.攝像機(jī)鏡頭非線性畸變校正方法綜述[J].中國(guó)圖象圖形學(xué)報(bào),2005,,10(3):269-274.
[13] TSENG S P,,F(xiàn)ONG D.A DSP based real-time front car detection driving assistant system[C].SICE Annual Conference,2010:2419-2423.
作者信息:
朱英凱,,羅文廣,,賓 洋
(廣西科技大學(xué) 電氣與信息工程學(xué)院,廣西 柳州545006)