張金朋,,方千山
?。ㄈA僑大學(xué) 機(jī)電工程及自動(dòng)化學(xué)院,福建 廈門(mén) 361021)
摘 要: 交通標(biāo)志的顏色特征和形狀特征是其最主要的兩個(gè)特征,,為提高檢測(cè)的準(zhǔn)確性和魯棒性,,提出顏色分割和形狀特征相結(jié)合的方法。利用交通標(biāo)志的顏色特征,,采用基于HSV空間的顏色分割方法,,獲得圖像中可能包含交通標(biāo)志的區(qū)域,并提取該區(qū)域,。根據(jù)交通標(biāo)志的形狀特點(diǎn),,利用canny算子獲取提取區(qū)域的輪廓。然后,,采用基于標(biāo)記的形狀檢測(cè)算法判定所分割區(qū)域的形狀,,利用方向梯度直方圖特征結(jié)合支持向量機(jī)(SVM)方法完成交通標(biāo)志識(shí)別。經(jīng)實(shí)驗(yàn)測(cè)試,,該方法對(duì)圖片視點(diǎn)變換,、尺度變換以及亮度變換等情況具有很強(qiáng)的魯棒性。
關(guān)鍵詞: 交通標(biāo)志檢測(cè),;顏色分割,;形狀檢測(cè);HOG特征,;SVM
0 引言
交通標(biāo)志檢測(cè)是智能交通系統(tǒng)的重要組成部分,,對(duì)智能駕駛以及輔助駕駛都具有重要意義。經(jīng)過(guò)各國(guó)研究人員的長(zhǎng)期探索,,交通標(biāo)志檢測(cè)和識(shí)別技術(shù)取得了很大進(jìn)展,,但是仍存在許多問(wèn)題,主要包括:(1)交通標(biāo)志在自然條件下采集,,易受光照,、天氣及背景圖像等干擾,;(2)交通標(biāo)志種類(lèi)繁多,,且易受污損、變形和遮擋,。
針對(duì)交通標(biāo)志的特點(diǎn)和各種干擾因素,,國(guó)內(nèi)外學(xué)者提出許多方法和理論,,黃志勇等人提出顏色分割方法[1];Garcia-Garrido提出基于形狀的檢測(cè)方法[2],;Khan J F提出圖像分割結(jié)合形狀特征匹配的方法[3],;King Hann Lim等人提出利用顏色直方圖特征結(jié)合形狀特征,利用RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)識(shí)別方法[4],。采用RGB空間的分割方法受光照影響較大,,容易失真,為了抑制光照變化的影響,,采用基于HSV空間的分割方法,,H分量、S分量與V分量關(guān)聯(lián)性小,,魯棒性強(qiáng)[5],。基于形狀特征的檢測(cè)方法易受外界干擾,,當(dāng)出現(xiàn)交通標(biāo)志破損,、變形或者被遮擋時(shí),將會(huì)出現(xiàn)魯棒性差的問(wèn)題,。交通標(biāo)志的識(shí)別方法,,其基本思想是獲得目標(biāo)特征,通過(guò)識(shí)別算法進(jìn)行識(shí)別,,目標(biāo)特征主要有:SIFT(尺度不變特征變換),、HOG(梯度方向直方圖)、SURF(角點(diǎn)檢測(cè)),、LBP(局域二值模式),,識(shí)別算法主要有:神經(jīng)網(wǎng)絡(luò)算法、支持向量機(jī)算法,、遺傳算法,、模板匹配等。本文通過(guò)HSV顏色空間分割結(jié)合形狀特征檢測(cè)的方法提取出圖像中交通標(biāo)志,,由于HOG特征是在圖像的局部方格單元上操作得到,,能夠?qū)D像的幾何和光學(xué)的形變保持很好的不變性,因此利用目標(biāo)的HOG特征結(jié)合SVM分類(lèi)器能夠?qū)崿F(xiàn)交通標(biāo)志檢測(cè),。實(shí)驗(yàn)結(jié)果表明該方法具有較好的魯棒性,。
1 顏色分割
由于顏色是交通標(biāo)志的重要特征,所以通過(guò)顏色分割可以快速實(shí)現(xiàn)交通標(biāo)志的粗分割,、定位包含交通標(biāo)志的區(qū)域,,從而提高檢測(cè)效率。本文采用基于HSV空間的分割方法,將輸入圖像從RGB空間轉(zhuǎn)換到HSV空間,。
根據(jù)三基色原理,,設(shè)(r,g,,b)分別是某一種顏色的紅,、綠和藍(lán)坐標(biāo)值,且是區(qū)間[0,,1]內(nèi)的實(shí)數(shù),,設(shè)max等于r,g和b中的最大值,,min等于這些值中的最小值,,RGB到HSV空間轉(zhuǎn)換公式[5]為:
(h,,s,,v)是(r,g,,b)在HSV空間對(duì)應(yīng)的坐標(biāo)值,,色相角h∈[0,360°),,飽和度與亮度s,,v∈[0,1],。
為滿(mǎn)足圖像分割實(shí)時(shí)性要求,,本文采用閾值分割的方法[6]。首先將輸入的RGB圖像轉(zhuǎn)換為HSV圖像,,提取圖像的H通道,、S通道和V通道,對(duì)三個(gè)通道進(jìn)行閾值分割,,分割后得到二值圖像,。三通道閾值范圍經(jīng)實(shí)驗(yàn)測(cè)試如表1所示,實(shí)驗(yàn)結(jié)果表明該方法具有較好的分割效果,,能夠分割出所需區(qū)域,。
2 連通區(qū)域標(biāo)記
HSV閾值分割后的二值圖像中存在許多干擾噪聲,首先需要去除圖像中噪聲,,采用3×3窗口進(jìn)行中值濾波以去除孤立噪聲點(diǎn),;然后,利用形態(tài)學(xué)開(kāi)運(yùn)算操作(腐蝕與膨脹)可以去除大量不相關(guān)區(qū)域并且不破壞感興趣區(qū)域,;最后對(duì)二值圖像進(jìn)行填充并采用連通區(qū)域標(biāo)記的方法把不同物體分開(kāi),。
連通區(qū)域標(biāo)記是把圖像中連接在一起的像素附上相同標(biāo)記,,未連接在一起的像素附上不同標(biāo)記的過(guò)程[7]。本文使用八連通區(qū)域標(biāo)記方法對(duì)二值圖像進(jìn)行標(biāo)記,,并統(tǒng)計(jì)出各個(gè)標(biāo)記區(qū)域的面積、寬度和高度,。設(shè)定區(qū)域面積閾值為1 000,,同時(shí)設(shè)定區(qū)域?qū)捀弑乳撝捣秶?img src="http://files.chinaaet.com/images/2016/03/20/6359407522096011261989621.png" title="1_(@TS{$13ZS0({M%$2[V$3.png" alt="1_(@TS{$13ZS0({M%$2[V$3.png"/>之間,若標(biāo)記區(qū)域像素面積大于1 000且寬高比在之間則認(rèn)為包含交通標(biāo)志區(qū)域,。圖1是分割處理結(jié)果,。
圖1(a)是拍攝的原始圖像,(b)圖是顏色分割后圖像,,(c)圖是中值濾波和腐蝕,、膨脹處理后圖像,(d)圖是將(c)圖填充并用連通區(qū)域標(biāo)記算法提取出的感興趣區(qū)域圖像,??梢钥闯觯煌?biāo)志的區(qū)域被分割出來(lái),,并且沒(méi)有破壞其形狀與面積,,使用連通域標(biāo)記的方法可以獲得較好的效果。雖然經(jīng)過(guò)顏色特征分割得到包含交通標(biāo)志的區(qū)域,,但是實(shí)際道路環(huán)境中存在許多干擾,,例如廣告牌等,因此要通過(guò)形狀特征進(jìn)一步判斷所得區(qū)域是否為交通標(biāo)志區(qū)域,。
3 形狀檢測(cè)
為判定上一步分割得到的交通標(biāo)志區(qū)域的形狀,,本文利用多邊形的兩個(gè)不變特征進(jìn)行檢測(cè):
(1)特定多邊形邊數(shù)不變,;
?。?)多邊形的圓形度。
交通標(biāo)志的形狀主要為圓形,、矩形,、三角形,表2,、表3,、表4中分別表示圓形、三角形,、矩形的特征屬性,。定義多邊形的圓形度,P表示周長(zhǎng),,A表示面積,。
3.1 邊數(shù)計(jì)算
首先計(jì)算出多邊形中心點(diǎn)坐標(biāo)并轉(zhuǎn)化為極坐標(biāo)形式,,用x′表示邊上各點(diǎn)到中心點(diǎn)的相對(duì)距離,x′的變化對(duì)應(yīng)極坐標(biāo)下角度與半徑ρ的變化,。繪制ρ曲線(xiàn)圖,,由圖中峰值個(gè)數(shù)可判斷多邊形邊的個(gè)數(shù),如表2~表4所示,。
具體步驟為:
?。?)通過(guò)連通區(qū)域標(biāo)記方法提取到感興趣的交通標(biāo)志區(qū)域,并分割出該區(qū)域,;
?。?)填充該區(qū)域,采用canny算子提取區(qū)域圖像的邊緣,,讀取并存儲(chǔ)邊緣坐標(biāo),;
(3)計(jì)算出中心點(diǎn)坐標(biāo),,利用各邊緣點(diǎn)坐標(biāo)減去中心點(diǎn)坐標(biāo)得到相對(duì)坐標(biāo)值,,轉(zhuǎn)化為極坐標(biāo)形式并歸一化到[0 1]之間;
?。?)繪制-ρ曲線(xiàn)圖,,統(tǒng)計(jì)波峰個(gè)數(shù)。
如圖2所示,,第一行表示連通標(biāo)記算法分割出的可能交通標(biāo)志區(qū)域,,第二行表示填充后由canny算子得到的輪廓邊緣,第三行表示圖形的-ρ關(guān)系,,表征邊上各點(diǎn)到中心點(diǎn)的距離,,第四行表示根據(jù)-ρ關(guān)系判斷的結(jié)果。由于實(shí)際道路上的干擾較多,,獲得的輪廓通常不是一個(gè)標(biāo)準(zhǔn)的圓形,,本文設(shè)定在-ρ曲線(xiàn)圖中ρ的最小值若大于0.88,即認(rèn)定形狀為圓形,。
3.2 圓形度檢測(cè)
為提高檢測(cè)的魯棒性,,本文結(jié)合邊數(shù)值和周長(zhǎng)平方與面積比兩個(gè)不變性判據(jù)來(lái)判別圖形的形狀。
使用連通標(biāo)記算法將感興趣的交通標(biāo)志區(qū)域提取出來(lái)并填充后,,在MATLAB中使用函數(shù)P=regionprops(L,,′Perimeter′)與A=regionprops(L,′Area′)分別得到該區(qū)域的周長(zhǎng)與面積,,計(jì)算出圓形度,。為得到我國(guó)交通標(biāo)志形狀的圓形度,通過(guò)采集大量的交通標(biāo)志圖片以及標(biāo)準(zhǔn)的交通標(biāo)志庫(kù)圖片,,計(jì)算圓形度,。對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析后,,設(shè)定常見(jiàn)交通標(biāo)志形狀的圓形度閾值區(qū)間,圓形閾值范圍為[12.30,,12.8],,三角形閾值范圍為[17.5,18.8],,矩形閾值范圍為[14.80,,16.00]。圓形標(biāo)志,、矩形標(biāo)志,、三角形標(biāo)志實(shí)驗(yàn)數(shù)據(jù)分別如表5,、表6,、表7所示。
圖2中圓形交通標(biāo)志圖像區(qū)域C=12.33,,三角形圖像C=17.78,,矩形圖像C=14.97,均在閾值范圍內(nèi),。
4 特征提取與識(shí)別
通過(guò)HSV顏色空間分割與形狀檢測(cè),,將滿(mǎn)足條件的交通標(biāo)志區(qū)域提取出來(lái)并標(biāo)準(zhǔn)化為86×86,提取該區(qū)域的方向梯度直方圖特征(Histogram of Oriented Gradient,,HOG),,輸入到支持向量機(jī)(Support Vector Machinc,SVM)分類(lèi)器中,,由SVM分類(lèi)器判定該區(qū)域是否為交通標(biāo)志區(qū)域,。當(dāng)SVM判定該區(qū)域?yàn)榻煌?biāo)志區(qū)域后,在原圖像中標(biāo)記出來(lái),,否則舍棄,,進(jìn)入新一輪的識(shí)別過(guò)程。
HOG特征是一種類(lèi)似于尺度不變特征變換(Scale Invariant Feature Transform,,SIFT)的局域描述符,,HOG特征結(jié)合SVM分類(lèi)器廣泛應(yīng)用于圖像識(shí)別[8]。HOG通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征,,可以準(zhǔn)確地表示圖像的形狀信息,。圖3為提取到的交通標(biāo)志HOG特征。在街面拍攝大量上文中交通標(biāo)志圖像作為訓(xùn)練的正樣本,,以類(lèi)似交通標(biāo)志顏色和形狀的廣告標(biāo)牌作為負(fù)樣本,,構(gòu)建SVM分類(lèi)器。
檢測(cè)流程:首先對(duì)輸入的圖像轉(zhuǎn)換為HSV圖像并進(jìn)行基于HSV空間的顏色分割,,其次采用連通區(qū)域標(biāo)記方法選擇出可能的交通標(biāo)志區(qū)域,,之后對(duì)其進(jìn)行形狀檢測(cè),,將滿(mǎn)足交通標(biāo)志顏色特征和形狀特征的區(qū)域提取出來(lái),并提取該區(qū)域的HOG特征,,最后將HOG特征作為SVM分類(lèi)器的輸入量進(jìn)行識(shí)別和標(biāo)記,。
本文方法對(duì)于光線(xiàn)良好的白天拍攝的圖像處理效果較好,而且對(duì)于樹(shù)蔭下的交通標(biāo)志也具有較好的處理效果,。實(shí)驗(yàn)結(jié)果如圖4,。
5 結(jié)論
本文采用顏色分割與形狀檢測(cè)相結(jié)合的方法,實(shí)現(xiàn)交通標(biāo)志的分割,,利用HOG特征結(jié)合SVM分類(lèi)器進(jìn)行交通標(biāo)志的識(shí)別,。首先在HSV顏色空間對(duì)圖像進(jìn)行顏色分割,用連通域標(biāo)記的方法標(biāo)記與選擇交通標(biāo)志區(qū)域,,能夠快速定位,,減少后續(xù)操作的計(jì)算量。對(duì)感興趣區(qū)域采用基于形狀特征的檢測(cè)方法,,能夠提高檢測(cè)的準(zhǔn)確度,。最后采用目標(biāo)的HOG特征結(jié)合SVM分類(lèi)器的方法,完成交通標(biāo)志的識(shí)別,。實(shí)驗(yàn)結(jié)果表明該算法具有較好的魯棒性,,為以后的研究工作提供了良好的基礎(chǔ)。
參考文獻(xiàn)
[1] 黃志勇,,孫光民,,李芳.基于RGB視覺(jué)模型的交通標(biāo)志分割[J].微電子學(xué)與計(jì)算機(jī),2004,,21(10):147-148.
[2] GARCIA-GARRIDO M A,, SOTELO M A, MARTIN-GOROSTIZA E. Fast road sign detection using hough transform for assisted driving of road vehicles[C]. Proceedings of the 10th International Conference on Computer Aided Systems Theory,, 2005:543-548.
[3] KHAN J F,, BHUIYAN S M A, ADHAMI R R. Image segmentation and shape analysis for road-sign detection[J].IEEE Transactions on Intelligent Transportation Systems,, 2011,,12(1): 83-96.
[4] LIM K H, SENG K P,, ANG L M. Intra color-shape classification for traffic sign recognition[C]. Proceedings of 2010 International Conference of Computer Symposium,, Tainan, 2010,, 642–647.
[5] SHI M,,WU H AND FLEYEH H. A robust model for traffic signs recognition based on Support Vector Machines[J]. Image and Signal Processing, CISP,,2008(8):516-524.
[6] Chen Yixin,, Xie Yi,, Wang Yulin. Detection and recognition of traffic signs based on HSV vision model and shape features[J]. Journal of Computers,2013,,8(5):1366-1370.
[7] 張?jiān)普?,趙海,宋純賀,,等.一種新的連通區(qū)域標(biāo)記算法[J].計(jì)算機(jī)應(yīng)用研究,,2010,27(11):4336-4340.
[8] DALAL N,, TRIGGS B. Histograms of oriented gradients for human detection[C]. International Conference on Computer Vision and Pattern Recognition,,2005:886-893.