文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.2015.10.038
中文引用格式: 隋修武,,田松,,余保付,等. 交通場景中的實(shí)時多目標(biāo)自動跟蹤算法[J].電子技術(shù)應(yīng)用,,2015,,41(10):139-142,146.
英文引用格式: Sui Xiuwu,,Tian Song,,Yu Baofu,et al. Real time multi-objects automatic tracking algorithm in traffic scene[J].Application of Electronic Technique,,2015,,41(10):139-142,146.
0 引言
隨著城市化進(jìn)程的加快,,交通狀況日益惡化,,基于視頻的檢測和跟蹤逐漸成為受到關(guān)注的研究領(lǐng)域。目前目標(biāo)跟蹤技術(shù)的難點(diǎn)有數(shù)據(jù)的關(guān)聯(lián)問題,、顏色的相似性,、背景的穩(wěn)定性和復(fù)雜性,、目標(biāo)尺寸的變化和實(shí)時性等[1-2],。目標(biāo)跟蹤常用的方法有:基于顏色特征的Meanshift和Camshift[3-4],基于貝葉斯估計的卡爾曼濾波[5],,基于蒙特卡洛方法的粒子濾波[6-7],,還有基于光流計算的光流跟蹤[8-9]。然而在跟蹤的過程中,,如果目標(biāo)與背景顏色相近或目標(biāo)之間顏色相近,,則基于顏色特征的跟蹤方法會失效;實(shí)際場景中目標(biāo)的運(yùn)動比較復(fù)雜,,而卡爾曼濾波器要求目標(biāo)具有線性高斯運(yùn)動的特性,,因此跟蹤效果不理想;粒子濾波在跟蹤多目標(biāo)時,,實(shí)時性是一個突出的問題,,時間開銷會隨著目標(biāo)數(shù)的增多而呈指數(shù)性增長;光流分為稠密光流和稀疏光流,,而稠密光流需要計算圖像中的所有像素點(diǎn),,效率低。
針對以上問題,,提出一種結(jié)合混合高斯模型和稀疏光流的多目標(biāo)跟蹤算法,。
1 算法基本思想
本文算法框架如圖1所示,首先通過混合高斯模型進(jìn)行背景建模,,背景差分獲得前景區(qū)域,,形態(tài)學(xué)處理和濾波得到前景目標(biāo),同時在車輛進(jìn)入場景的入口處設(shè)定車輛檢測區(qū)域,,進(jìn)行新目標(biāo)的進(jìn)入檢測,,從而確定進(jìn)入場景中目標(biāo)的個數(shù),這樣可以通過先驗(yàn)知識提前避免對整個場景進(jìn)行目標(biāo)的檢測,,提高效率的同時又能在后續(xù)非檢測區(qū)域進(jìn)行跟蹤時一定程度上規(guī)避目標(biāo)的合并與分離的問題,;然后對檢測到的車輛目標(biāo)進(jìn)行Harris特征點(diǎn)的提取,用提取的特征點(diǎn)對目標(biāo)進(jìn)行標(biāo)識,,這樣不僅對噪聲不敏感,,還可以抵抗光照變換帶來的影響,;接著對提取的特征點(diǎn)進(jìn)行光流運(yùn)動估計,預(yù)測特征點(diǎn)的運(yùn)動位置,,然后在跟蹤的過程中適時地對目標(biāo)跟蹤模版進(jìn)行更新,,從而保證了目標(biāo)跟蹤的準(zhǔn)確性和穩(wěn)定性;而且本算法采用無監(jiān)督的運(yùn)動目標(biāo)檢測,、提取和跟蹤,,實(shí)現(xiàn)在視頻序列中自動檢測并跟蹤多目標(biāo)。
2 新目標(biāo)檢測與提取
2.1 前景分割
利用混合高斯模型建立起背景圖像,,通過當(dāng)前幀圖像與背景圖像的差分獲得包含運(yùn)動目標(biāo)的前景圖像,。由于背景建模的精確性,會有一些前景的像素沒有檢測出來,,形成空洞,,還有一些背景的像素由于誤檢測而被判定為前景,成為一些零星的噪聲點(diǎn),。所以需要對前景圖像進(jìn)行進(jìn)一步的處理,,在對前景圖像進(jìn)行二值化操作之后,利用高斯濾波和中值濾波進(jìn)行平滑處理和去噪處理,,這時得到的圖像再利用形態(tài)學(xué)處理使得前景區(qū)域更加完整,。
2.2 新目標(biāo)的檢測
在視頻圖像上設(shè)定新目標(biāo)的進(jìn)入檢測區(qū)域,來捕捉新目標(biāo)的出現(xiàn),。在這過程中建立潛在目標(biāo)列表(potential_list),,通過測量目標(biāo)的中心位置(xc,yc)記錄目標(biāo)的狀態(tài),,用這個測量和新目標(biāo)建立關(guān)聯(lián)來定義新目標(biāo)的出現(xiàn),,根據(jù)車輛相對場景的位置大小設(shè)立閾值(xT,yT),,若|xc-xT|≤T或|yc-yT|≤T(T為常數(shù))則判定為新目標(biāo)出現(xiàn),,然后用矩形框來擬合目標(biāo)輪廓,把擬合的矩形框加入到待跟蹤目標(biāo)列表(temp_list)當(dāng)中,,得出運(yùn)動目標(biāo)描述的矩形,。
2.3 目標(biāo)提取與標(biāo)識
在捕捉到新目標(biāo)之后,就需要對新目標(biāo)建立跟蹤關(guān)系,。由于車輛目標(biāo)為剛體且紋理豐富,,可以提取出一定數(shù)量而且可以精確定位穩(wěn)定的特征點(diǎn),因此本文采用基于Harris特征點(diǎn)的數(shù)據(jù)關(guān)聯(lián)跟蹤,,利用Harris特征點(diǎn)來標(biāo)識目標(biāo),。Harris特征檢測器是一種經(jīng)典的角點(diǎn)檢測方法,在紋理信息豐富的區(qū)域,,Harris可以提取出大量有用的特征點(diǎn),,而且Harris的計算公式中只涉及到一階導(dǎo)數(shù),,因此對圖像旋轉(zhuǎn)、灰度變化,、噪聲影響和視點(diǎn)變換不敏感,。
3 多目標(biāo)的跟蹤
3.1 Lucas-Kanade(LK)光流
LK光流算法是一種應(yīng)用最廣泛的求稀疏光流的方法, LK光流算法基于以下三點(diǎn)假設(shè):
(1)亮度恒定,,即像素在幀間運(yùn)動時,,像素值保持不變;
(2)圖像的變化相對于時間的變化微??;
(3)在一個小的局部區(qū)域(n×n)內(nèi)像素運(yùn)動一致,亮度恒定,。
由假設(shè)(1)可得:
3.2 特征點(diǎn)聚類成目標(biāo)
通過光流運(yùn)動估計,,在當(dāng)前幀中找到上一幀目標(biāo)框中的特征點(diǎn)在這一幀中的對應(yīng)位置,,然后將這若干個特征點(diǎn)在相鄰兩幀之間的位移變化進(jìn)行排序,,得到位移變化的中值(um,vm),,把(um,,vm)作為目標(biāo)中心點(diǎn)的位移變化,即目標(biāo)中心xci=xci-1+um,,yci=yci-1+vm,,計算特征點(diǎn)之間x向的最大距離Xmax和y向的最大距離Ymax。
3.3 模版更新策略
為了使跟蹤算法能夠適應(yīng)目標(biāo)自身的旋轉(zhuǎn)與尺度變化,,需要在跟蹤過程中對目標(biāo)跟蹤模板進(jìn)行更新,。令n0為目標(biāo)初始特征點(diǎn)個數(shù),ni為第i幀圖像中光流估計目標(biāo)區(qū)域內(nèi)的特征點(diǎn)個數(shù),。當(dāng)著時初步判斷需要更新模板,。然后提取當(dāng)前幀目標(biāo)所在位置的前景區(qū)域,并用矩形框進(jìn)行擬合,,矩形框面積用Si表示,,Si-1表示上一幀目標(biāo)框的面積。若則說明目標(biāo)發(fā)生了遮擋,,則暫時不進(jìn)行模版更新,,否則會出現(xiàn)“漂移”現(xiàn)象,從而可能導(dǎo)致跟蹤目標(biāo)丟失,,直到檢測到遮擋結(jié)束則繼續(xù)進(jìn)行模版更新,,若
則更新目標(biāo)區(qū)域,提取目標(biāo)特征點(diǎn),,然后更新模版,。模版更新流程如圖2所示,。
4 實(shí)驗(yàn)結(jié)果與分析
為了驗(yàn)證本算法的有效性,分別對智能卡口,、城市道路,、高速公路3種不同的場景以及不同的視角進(jìn)行了多個運(yùn)動目標(biāo)的實(shí)時自動跟蹤。
3種場景下的車輛跟蹤結(jié)果如圖3所示,,可以看到本算法整體的跟蹤效果,。如圖3(a)、3(c)所示,,在跟蹤車輛的過程中生成目標(biāo)的運(yùn)動軌跡,;如圖3(c)所示,在車輛跟蹤的同時,,對車流量進(jìn)行了一個統(tǒng)計,。如圖4(a)所示,被跟蹤車輛在發(fā)生轉(zhuǎn)彎時車輛發(fā)生較大形變導(dǎo)致原先的一部分特征點(diǎn)失效,,直至跟蹤丟失,。而在圖4(b)中,本文提出的跟蹤算法具備自檢能力則很好地解決了目標(biāo)發(fā)生形變時跟蹤失敗的問題,。
表1記錄了不同視頻段的跟蹤情況,,以及處理不同視頻段時的處理速度。圖5分別展示了3段視頻每幀的處理時間,,可以看出處理時間呈階梯狀分布,,階梯的高低表示處理目標(biāo)個數(shù)的不同,如表2所示,。
5 結(jié)論
針對車輛的多目標(biāo)跟蹤中出現(xiàn)的難點(diǎn),,本文提出一種車輛的實(shí)時自動跟蹤算法,該算法利用GMM進(jìn)行背景建模,,結(jié)合形態(tài)學(xué)濾波處理分割提取出前景目標(biāo),,利用Harris特征點(diǎn)對目標(biāo)進(jìn)行標(biāo)識,然后運(yùn)用特征光流運(yùn)動估計進(jìn)行基于角點(diǎn)動態(tài)特征的跟蹤,,并在跟蹤的過程中適時進(jìn)行模版的自動更新,。實(shí)驗(yàn)結(jié)果表明,該方法也能很好地適應(yīng)目標(biāo)尺度的變化,,通過設(shè)置車輛的存在和消失參數(shù),,實(shí)現(xiàn)車輛運(yùn)動目標(biāo)的自動跟蹤,并具有較好的實(shí)時性,。本文算法存在的一個局限是當(dāng)目標(biāo)個數(shù)過多或跟蹤目標(biāo)被嚴(yán)重遮擋時,,跟蹤效果則不是很理想。因此,,在今后還需要對目標(biāo)遮擋跟蹤作進(jìn)一步的研究,。
參考文獻(xiàn)
[1] YANG H,,SHAO L,ZHENG F,,et al.Recent advances and trends in visual tracking: a review[J].Neurocomputing,,2011,74(18):3823-3831.
[2] 侯志強(qiáng),,韓崇昭.視覺跟蹤技術(shù)綜述[J].自動化學(xué)報,,2006,32(4):603-617.
[3] LI Z,,TANG Q L,,SANG N.Improved mean shift algorithm for occlusion pedestrian tracking[J].Electronics Letters,2008,,44(10):622-623.
[4] 夏瑜,,吳小俊,馮振華.基于特征貢獻(xiàn)度的Mean Shift 視頻跟蹤算法[J].控制與決策,,2012,,27(7):1021-1026.
[5] 戴洪德,陳明,,周紹磊,,等.基于支持向量機(jī)的自適應(yīng)卡爾曼濾波技術(shù)研究[J].控制與決策,2008,,23(8):949-952.
[6] 陳金廣,馬麗麗,,陳亮.基于邊緣粒子濾波的目標(biāo)跟蹤算法研究[J].計算機(jī)工程與應(yīng)用,,2010,46(28):128-131.
[7] 李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計算機(jī)學(xué)報,,2009,,32(12):2454-2463.
[8] BRUHN A,WEICKERT J.Combining local and global opticflow methods[J].International Journal of Computer Vision,,2005,,61(3):211-231.
[9] TU D W,JIANG J L.Improved algorithm for motion image based on optical flow and its application[J].Optics Precision Engineering,,2011,,19(5):1159-1164.