《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 其他 > 設(shè)計(jì)應(yīng)用 > 基于OpenCV的室內(nèi)環(huán)境下多目標(biāo)跟蹤
基于OpenCV的室內(nèi)環(huán)境下多目標(biāo)跟蹤
來源:微型機(jī)與應(yīng)用2013年第9期
張寶峰,趙建平,朱均超
(天津理工大學(xué) 自動化學(xué)院 天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室,天津 300384)
摘要: 室內(nèi)環(huán)境下多運(yùn)動目標(biāo)跟蹤的核心問題是目標(biāo)的快速識別和準(zhǔn)確匹配,目標(biāo)的快速識別關(guān)鍵在于目標(biāo)對象的特征提取,尋找不變的特征值。針對以上兩個問題,采用基于顏色直方圖的特征提取方法并用歐氏距離匹配法實(shí)現(xiàn)特征值的相似度匹配。提出的區(qū)域相應(yīng)和特征匹配相結(jié)合的多運(yùn)動目標(biāo)跟蹤算法解決了因?yàn)榭焖龠\(yùn)動和長時間遮擋而引起的目標(biāo)跟蹤丟失問題,。
Abstract:
Key words :

摘  要: 室內(nèi)環(huán)境下多運(yùn)動目標(biāo)跟蹤的核心問題是目標(biāo)的快速識別和準(zhǔn)確匹配,目標(biāo)的快速識別關(guān)鍵在于目標(biāo)對象的特征提取,尋找不變的特征值,。針對以上兩個問題,采用基于顏色直方圖的特征提取方法并用歐氏距離匹配法實(shí)現(xiàn)特征值的相似度匹配。提出的區(qū)域相應(yīng)特征匹配相結(jié)合的多運(yùn)動目標(biāo)跟蹤算法解決了因?yàn)榭焖龠\(yùn)動和長時間遮擋而引起的目標(biāo)跟蹤丟失問題,。
關(guān)鍵詞: 多目標(biāo)跟蹤;特征提取;區(qū)域相應(yīng);特征匹配

    視頻跟蹤[1]是指對視頻幀圖像序列中所有動態(tài)目標(biāo)進(jìn)行運(yùn)動檢測、特征提取與匹配和跟蹤,獲得目標(biāo)運(yùn)行參數(shù),如目標(biāo)質(zhì)心位置、速度,、加速度以及運(yùn)動路線等。視頻跟蹤為下一步圖像處理與分析,、運(yùn)動目標(biāo)行為理解奠定了基礎(chǔ),。多運(yùn)動目標(biāo)跟蹤是指在相同的時刻對多個運(yùn)動目標(biāo)進(jìn)行判斷、相似度匹配和跟蹤,其關(guān)鍵是目標(biāo)模型和背景環(huán)境模型的建立、待跟蹤目標(biāo)的判定和對遮擋問題的處理,。視頻跟蹤技術(shù)在民宅安防,、倉庫安全、智能交通監(jiān)控和導(dǎo)彈航跡等方面具有廣泛的應(yīng)用[2],。
    目前,對室內(nèi)靜態(tài)背景下常用的跟蹤方法是基于顏色特征的運(yùn)動目標(biāo)跟蹤方法,。然而,由于背景和目標(biāo)易受顏色相似性的干擾,且人是一個非剛性運(yùn)動物體,活動具有靈活自主性,實(shí)時跟蹤這個運(yùn)動對象是很困難的,尤其是當(dāng)其發(fā)生形變或被嚴(yán)重遮擋時。本文對運(yùn)動目標(biāo)跟蹤主要分為遮擋和不遮擋兩種趨勢進(jìn)行研究,通過對兩種趨勢算法的研究,將基于特征和基于區(qū)域的運(yùn)動目標(biāo)跟蹤方法混合進(jìn)行計(jì)算,。經(jīng)過實(shí)驗(yàn)驗(yàn)證,這種混合算法可以達(dá)到多運(yùn)動目標(biāo)跟蹤快速性,、準(zhǔn)確性和實(shí)時性的要求。
1 無遮擋時多目標(biāo)跟蹤算法
    對視頻序列幀圖像內(nèi)的多個目標(biāo)進(jìn)行跟蹤的算法有很多種,目前常用的算法有Kalman濾波算法[3],、基于均值偏移的Meanshift算法[4],、Camshift算法[5]和粒子濾波算法[6]等。Kalman濾波算法是一個帶回饋估計(jì)的方法,由濾波器先作出與之相適應(yīng)的估計(jì),然后以含有噪聲的測量信息進(jìn)行反饋,。它適合于高斯分布的線性,、正態(tài)系統(tǒng)狀態(tài)的預(yù)測估計(jì),不適合具有隨意運(yùn)動性的人體目標(biāo)的跟蹤。Camshift算法是改進(jìn)的Meanshift算法,它的搜索框可以自由變換,此外,它與粒子濾波算法一樣是基于概率統(tǒng)計(jì)的方法,需要迭代求解,。Camshift算法一般情況下是根據(jù)目標(biāo)顏色特征信息進(jìn)行跟蹤,由于跟蹤特征單一,因此極易發(fā)生漂移現(xiàn)像,但是它的跟蹤速度快,尤其對沒有遮擋情況下的運(yùn)動目標(biāo)可以快速準(zhǔn)確地進(jìn)行跟蹤,。因此,通過Camshift算法可以對發(fā)生遮擋前待跟蹤目標(biāo)的運(yùn)動區(qū)域進(jìn)行提取,并在此基礎(chǔ)上對待跟蹤目標(biāo)是否會發(fā)生遮擋進(jìn)行及時預(yù)測。若遮擋不存在,則需要通過基于顏色直方圖和分塊的方法分別對目標(biāo)的灰度特征進(jìn)行提取,并對最近提取的m幀圖像灰度特征信息進(jìn)行保存;反之,則需進(jìn)入遮擋處理過程[7],。無遮擋處理流程框圖如圖1所示,。

2 區(qū)域相應(yīng)與特征匹配相結(jié)合的跟蹤方法
    基于區(qū)域的運(yùn)動目標(biāo)跟蹤方法[8]是指:首先把圖像分為不同的小區(qū)域塊,然后對各個小區(qū)域塊采用高斯分布建立它們的目標(biāo)模型和背景模型,最后將屬于待跟蹤目標(biāo)的像素劃分為一些與背景不同的小區(qū)域塊,通過跟蹤包含目標(biāo)的小區(qū)域塊完成整個待定目標(biāo)的跟蹤。由于人體運(yùn)動目標(biāo)在慢速運(yùn)動時各幀之間的位移通常很小,因此可以在目標(biāo)當(dāng)前幀所處地點(diǎn)的小鄰域內(nèi)尋找是否有除待跟蹤目標(biāo)外運(yùn)動物體的對應(yīng)像素,如果有,則表明目標(biāo)有遮擋的趨勢,?;趨^(qū)域相應(yīng)跟蹤算法只能判定目標(biāo)是否存在遮擋,并不能解決遮擋問題?;谔卣鞯倪\(yùn)動目標(biāo)跟蹤是指通過提取一些可以比較明顯地表示待跟蹤目標(biāo)信息的特征描述運(yùn)動目標(biāo),運(yùn)用特征匹配方法實(shí)現(xiàn)對視頻圖像中多運(yùn)動目標(biāo)的跟蹤,。通常情況下,可以用顏色、邊緣,、紋理,、有明顯標(biāo)記區(qū)域?qū)?yīng)的點(diǎn)、線,、曲線等特征描述運(yùn)動目標(biāo),再通過目標(biāo)區(qū)域與候選區(qū)域進(jìn)行特征相似度匹配,實(shí)現(xiàn)運(yùn)動目標(biāo)跟蹤,。目前,最常用的基于特征的跟蹤方法是顏色直方圖法,對顏色直方圖的提取可以采用二階直方圖或加權(quán)顏色直方圖。當(dāng)目標(biāo)顏色與背景顏色相似度很大時,基于顏色直方圖特征的跟蹤方法會導(dǎo)致錯誤跟蹤,。本文將區(qū)域相應(yīng)和顏色特征匹配相結(jié)合,對多運(yùn)動目標(biāo)進(jìn)行跟蹤,將室內(nèi)靜態(tài)背景中的待跟蹤目標(biāo)分為進(jìn)入室內(nèi),、離開室內(nèi)、合并,、分離和正常5種運(yùn)動狀態(tài),。首先,需要對輸入視頻序列的各幀圖像進(jìn)行圖像預(yù)處理,預(yù)處理的關(guān)鍵是對目標(biāo)區(qū)域進(jìn)行分塊,得到運(yùn)動目標(biāo);然后,利用區(qū)域相應(yīng)法判別目標(biāo)處于哪種狀況;最后,當(dāng)目標(biāo)處于分離狀況時,采用基于顏色直方圖的特征提取方法,利用基于余弦匹配進(jìn)行顏色相似度計(jì)算,從而再次跟蹤運(yùn)動目標(biāo),。圖2所示為存在遮擋時跟蹤算法框圖。

2.2 基于區(qū)域的跟蹤
    經(jīng)過圖像預(yù)處理,各個運(yùn)動目標(biāo)塊在空間中所處的具體位置已經(jīng)明確,假設(shè)視頻幀率為30 f/s,則相鄰兩幀圖像間隔小于33.4 ms,。對于室內(nèi)環(huán)境下運(yùn)動的人體目標(biāo),相鄰兩幀空間范圍上位置變化很小,。所以只要第i幀與第i+1幀目標(biāo)塊有重合的部分,就可以判定前后兩幀中運(yùn)動目標(biāo)屬于同一目標(biāo)??赡艹霈F(xiàn)以下5種情形:
    (1)合并事件:第i幀上的兩個或兩個以上目標(biāo)塊同時與第i+1幀上的一個目標(biāo)塊在位置上重合,。
    (2)分離事件:第i幀上的一個目標(biāo)塊同時與第i+1幀上的兩個或兩個以上目標(biāo)塊重合。
    (3)進(jìn)人室內(nèi):第i+1幀上的目標(biāo)塊在第i幀上沒有一個目標(biāo)塊與其在位置上有重合,可判斷目標(biāo)在第i+1幀進(jìn)人室內(nèi),。
    (4)離開室內(nèi):第i幀上的目標(biāo)塊在第i+1幀上找不到一個目標(biāo)塊與其在位置上有重合,可判斷目標(biāo)在第i+1幀離開室內(nèi),。
    (5)正常:第i幀上的一個目標(biāo)塊與第i+1幀上的一個目標(biāo)塊在位置上有重合區(qū)域,判斷它們屬于同一運(yùn)動目標(biāo)。
    從上面的分析可以看出,區(qū)域相應(yīng)法可以對目標(biāo)進(jìn)入室內(nèi),、離開室內(nèi),、一般情況和合并事件進(jìn)行直接判定,但是對于分離后的目標(biāo)還需要采用顏色特征描述對其加以區(qū)分,因?yàn)楦鱾€目標(biāo)的顏色分布不同。首先需要建立目標(biāo)顏色直方圖模型,然后按照一定的相似度匹配準(zhǔn)則對目標(biāo)進(jìn)行再次跟蹤判定,。


    本文通過簡單的Camshift跟蹤算法處理無遮擋情況下多目標(biāo)的跟蹤,采用基于區(qū)域與基于特征匹配相結(jié)合的算法處理多遮擋情況下目標(biāo)的跟蹤問題,。首先采用基于區(qū)域相應(yīng)的方法進(jìn)行初次跟蹤判定,然后利用顏色模型的相似性按照一定的匹配原則進(jìn)行二次判定。但是該方法不能解決遮擋時的跟蹤問題,分塊的方法很好地解決了這一問題,。當(dāng)遮擋過程中目標(biāo)的姿勢,、形態(tài)和體積發(fā)生較大的變化時,這些跟蹤方法有一定的局限性。
參考文獻(xiàn)
[1] 伏亞文.結(jié)合模糊理論的視覺識別與跟蹤技術(shù)研究[D].南京:南京理工大學(xué),2009.
[2] 李谷全,陳忠澤.視覺跟蹤技術(shù)研究現(xiàn)狀及其展望[J].計(jì)算機(jī)應(yīng)用研究,2010,27(8):2814-2818.
[3] 蔣戀華,甘朝暉.多目標(biāo)跟蹤綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2010,19(12):271-274.
[4] KALMAN R E. A new approach to linear filtering and prediction problems[C]. Transactions of the ASME-Journal of Basic Engineering, 1960,82:35-45.
[5] Cheng Yizong. Mean shift, mode seeking and clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995,17(8):790-799.
[6] BRADSKI G R. Computer vision face tracking for use in a perceptual user interface[J]. Intel Technology Journal, 1998,2(2):1-15.
[7] CARPENTER J,CLIFFORD P. Improved particle filter for non linear problems[J]. IEEE Proof Radar. Sonar and Navigation, 1999,146(1):2-7.
[8] 白金濤.視頻序列中運(yùn)動目標(biāo)跟蹤算法的研究[D].天津:天津大學(xué),2009.
[9] 陸玉傳.基于PTZ相機(jī)的運(yùn)動目標(biāo)檢測與跟蹤技術(shù)研究[D].南京:東南大學(xué),2010.

此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載,。