文獻(xiàn)標(biāo)識(shí)碼: A
文章編號(hào): 0258-7998(2013)12-0141-04
運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是在動(dòng)態(tài)圖像分析的基礎(chǔ)上,,結(jié)合圖像模式識(shí)別和圖像跟蹤方法對(duì)圖像序列中的目標(biāo)進(jìn)行檢測(cè)、識(shí)別,、跟蹤的過(guò)程,。人體目標(biāo)識(shí)別與跟蹤是該領(lǐng)域的重要課題之一,在安防監(jiān)控,、客流統(tǒng)計(jì)等方面應(yīng)用廣泛,。
目前目標(biāo)跟蹤算法可以分為兩類:(1)基于模型的方法,,如模板匹配、圖像分割和活動(dòng)輪廓法[1],。以Mean Shift算法和Snake算法為代表,,其中Mean Shift以目標(biāo)顏色進(jìn)行建模,具有較好的實(shí)時(shí)性和跟蹤性能,,但目標(biāo)顏色與背景顏色接近時(shí)跟蹤失?。籗nake算法基于目標(biāo)輪廓進(jìn)行跟蹤,,受目標(biāo)初始形狀和位置影響較大,,計(jì)算量大不適合實(shí)時(shí)操作。(2)基于運(yùn)動(dòng)的方法,,如光流法和特特征點(diǎn)法[1],,現(xiàn)有的基于特征點(diǎn)跟蹤算以目標(biāo)的質(zhì)心或任意特征點(diǎn)實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤,在處理多目標(biāo)跟蹤時(shí)效果較差[2],。
本文提出了將檢測(cè)區(qū)按32×32像素點(diǎn)進(jìn)行分割,,以圖像序列多狀態(tài)轉(zhuǎn)移綜合判定前景目標(biāo)和背景的情況,完成背景的提取與更新,;基于運(yùn)動(dòng)的方法,,提出利用目標(biāo)的亮度和顏色信息,以及在圖像序列中的相對(duì)位置來(lái)構(gòu)建代價(jià)函數(shù)的算法,,進(jìn)行目標(biāo)特征匹配與跟蹤,,改善多目標(biāo)情況下的跟蹤性能。以商場(chǎng)客流統(tǒng)計(jì)為例,從人體目標(biāo)運(yùn)動(dòng)檢測(cè),、特征匹配跟蹤和計(jì)數(shù)三方面展開(kāi)論述,。
1 人體運(yùn)動(dòng)檢測(cè)
在客流量統(tǒng)計(jì)中運(yùn)動(dòng)目標(biāo)檢測(cè)有獲取目標(biāo)在場(chǎng)景中的位置信息及獲取目標(biāo)盡可能多的特征信息兩個(gè)任務(wù)。
商場(chǎng)客流統(tǒng)計(jì)攝像頭常安裝于出入口正上方垂直向下攝取圖像,,屬于靜止背景的目標(biāo)識(shí)別,,常用算法有幀間差分法、背景差分法和光流法,。
1.1 幀間差分法
幀差法具有運(yùn)算量小,、對(duì)光照和陰影等外界因素不敏感的優(yōu)點(diǎn)。但其缺點(diǎn)也非常明顯:無(wú)法檢測(cè)出靜止或移動(dòng)速度緩慢的目標(biāo),,相反在目標(biāo)移動(dòng)較快時(shí),,檢測(cè)出來(lái)的目標(biāo)又遠(yuǎn)大于實(shí)際目標(biāo);亮度,、顏色等特征單一的目標(biāo)在差分運(yùn)算后將形成較大的空洞,,造成差分結(jié)果不連通,即便進(jìn)行圖像的膨脹和腐蝕等形態(tài)學(xué)方面的處理,,也不能消除空洞的影響,。圖1所示為相鄰兩幀差分結(jié)果信息相對(duì)豐富,,而圖2(a)中目標(biāo)信息單一,圖2(b)差分結(jié)果只有目標(biāo)輪廓,,采用參考文獻(xiàn)[3]等改進(jìn)的差分算法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行提取,,結(jié)果如圖2(c)所示。
1.2 背景分塊更新算法
背景差與幀間差相比,,檢測(cè)出的目標(biāo)內(nèi)部區(qū)域不會(huì)出現(xiàn)較大的空洞,,可以將目標(biāo)完整提取出來(lái),獲取豐富的特征信息,,便于目標(biāo)的匹配跟蹤,。
常用的方法包括基于卡爾曼濾波模型、基于高斯背景模型和基于簡(jiǎn)單概率統(tǒng)計(jì)的方法等,,前兩種方法實(shí)現(xiàn)過(guò)程較為復(fù)雜,且算法的實(shí)現(xiàn)對(duì)硬件要求高,。第三種方法在沒(méi)有運(yùn)動(dòng)目標(biāo)長(zhǎng)時(shí)間滯留的情況下效果較好,,且運(yùn)算量不大,符合實(shí)時(shí)性要求,;在實(shí)際應(yīng)用中,,由于天氣、光照等外界條件的變化,,或目標(biāo)長(zhǎng)時(shí)間滯留,,影響了背景的準(zhǔn)確更新,由此可能會(huì)得到虛假的運(yùn)動(dòng)目標(biāo),,從而造成誤判,。
基于概率統(tǒng)計(jì)的背景更新方法,常以一段時(shí)間內(nèi)序列幀圖像每個(gè)像素做差分運(yùn)算,,滿足預(yù)設(shè)條件,,則進(jìn)行背景更新[4]。如圖3所示,,按32×32像素大小將檢測(cè)區(qū)域進(jìn)行分割,,對(duì)每個(gè)分塊圖像按照?qǐng)D4所示將其分成初始狀態(tài)Status0,當(dāng)三幀差結(jié)果判定圖像無(wú)前景目標(biāo)和干擾時(shí),進(jìn)入Status1取背景數(shù)據(jù)BG1;在該狀態(tài)若有前景目標(biāo)運(yùn)動(dòng),則進(jìn)入Status2;當(dāng)前景目標(biāo)消失、圖像恢復(fù)靜止,則進(jìn)入Status3取背景數(shù)據(jù)BG3,,據(jù)BG1,、BG3差分運(yùn)算判定進(jìn)行背景更新,否則返回Status0,。
圖4中,,②主要判斷是否有前景運(yùn)動(dòng)目標(biāo)存在,與①檢測(cè)圖像細(xì)微變化不同,,人體運(yùn)動(dòng)時(shí)幀差結(jié)果較大,、差分像素點(diǎn)數(shù)也較大,,故將步驟(2)中的亮度閾值LumT1修改為L(zhǎng)umT2=2LumT1,步驟(4)中閾值CntT1修改為CntT2=10CntT1,。當(dāng)Cnti i=1,2,3均大于CntT2時(shí)判定有前景目標(biāo)移動(dòng)Flag2=1,,由Status1跳轉(zhuǎn)到Status2。
對(duì)所有分塊區(qū)域按照?qǐng)D4方法進(jìn)行背景更新,,可以得到整個(gè)檢測(cè)區(qū)的背景數(shù)據(jù),。
1.3 光流法
光流法的優(yōu)點(diǎn)在于能夠檢測(cè)獨(dú)立運(yùn)動(dòng)的目標(biāo),對(duì)背景處于靜態(tài)或是動(dòng)態(tài)的環(huán)境均能適用,,但是計(jì)算量較大,,無(wú)法保證實(shí)用性和實(shí)時(shí)性[1]。
2 人體運(yùn)動(dòng)目標(biāo)跟蹤和計(jì)數(shù)
采用分塊更新的方法可準(zhǔn)確提取背景信息有效檢測(cè)出前景目標(biāo),,識(shí)別人體運(yùn)動(dòng),。在此基礎(chǔ)上實(shí)現(xiàn)人體特征結(jié)點(diǎn)的創(chuàng)建、跟蹤和計(jì)數(shù),。
2.1 虛擬檢測(cè)區(qū)
圖3中將檢測(cè)區(qū)域劃分為3個(gè)區(qū)域,、2條計(jì)數(shù)線,分別是:
①③創(chuàng)建區(qū),,創(chuàng)建人體特征結(jié)點(diǎn),;
②跟蹤區(qū),匹配人體特征信息,,跟蹤人體運(yùn)動(dòng),;
④出計(jì)數(shù)線,當(dāng)人體從③區(qū)域跨過(guò)該計(jì)數(shù)線時(shí),出計(jì)數(shù)值加1,,標(biāo)注為⑦,。
⑤進(jìn)計(jì)數(shù)線,當(dāng)人體從①區(qū)跨過(guò)該計(jì)數(shù)線時(shí),,進(jìn)計(jì)數(shù)值加1,,標(biāo)注為⑥。
2.2 人體特征結(jié)點(diǎn)的創(chuàng)建
采用9宮格方法查找背景差結(jié)果的連通域[5],,得到圖3中⑧所示的人體目標(biāo)的位置,、長(zhǎng)寬信息,綜合判斷其是否在①③區(qū)域,,以及長(zhǎng)寬大小,、比例等信息,創(chuàng)建該目標(biāo)Person[i], i為人體目標(biāo)序號(hào), i=[1:I],,I為當(dāng)前場(chǎng)景下目標(biāo)個(gè)數(shù),,其信息如下:
Person[i].x第i個(gè)人中心位置x坐標(biāo);
Person[i].y第i個(gè)人中心位置y坐標(biāo),;
Person[i].W人體寬度,;
Person[i].H人體高度,;
Person[i].Cnt包含的特征方塊個(gè)數(shù);
Person[i].Dir 創(chuàng)建區(qū)域,。
而該目標(biāo)的特征信息由PsnFeature[i][m]表示,,m表示特征方塊序號(hào),m=[1:Person[i].Cnt]
PsnFeature[i][m].x該特征方塊x坐標(biāo),;
PsnFeature[i][m].y該特征方塊y坐標(biāo),;
PsnFeature[i][m].Ymean 該特征塊Y分量均值;
PsnFeature[i][m].Umean 該特征塊U分量均值,;
PsnFeature[i][m].Vmean 該特征塊V分量均值,;
Y、U,、V均值采用算術(shù)平均的方法獲得,。
2.3 特征匹配與跟蹤
目標(biāo)在檢測(cè)區(qū)域內(nèi)運(yùn)動(dòng)軌跡無(wú)規(guī)律可循,特別是當(dāng)人流量較大時(shí),,人體的運(yùn)動(dòng)軌跡雜亂,。提出以目標(biāo)特征信息進(jìn)行匹配、跟蹤的算法,,步驟如下:
(1)獲取當(dāng)前幀數(shù)據(jù)與背景做差分運(yùn)算;
(2)查找連通域,,去除干擾點(diǎn)保存變量為:
Zone[k].x 第k個(gè)連通域中心x坐標(biāo);
Zone[k].y第k個(gè)連通域中心y坐標(biāo);
Zone[k].Cnt 第k個(gè)連通域特征方塊個(gè)數(shù),。
k=[1:K],K為當(dāng)前計(jì)算的滿足條件的連通域個(gè)數(shù),隸屬于第k個(gè)連通域的特征信息方塊,表示為變量ZoneFeature[k][m],,其中m=[1:Zone[k].Cnt]
ZoneFeature[k][m].x第m個(gè)方塊x坐標(biāo);
ZoneFeature[k][m].y第m個(gè)方塊y坐標(biāo);
ZoneFeature[k][m].Ymean特征塊Y分量均值;
ZoneFeature[k][m].Umean特征塊U分量均值;
ZoneFeature[k][m].Vmean特征塊V分量均值,。
(3)計(jì)算第i個(gè)目標(biāo)與第k個(gè)連通域(k=[1:K])的距離和顏色特征差異保存為變量CompDist[i][k]和CompRes[i][k],并做歸一化處理,構(gòu)建代價(jià)函數(shù),,得到第i個(gè)目標(biāo)與所有連通域的代價(jià)函數(shù)值CstFun[i][k]=0.6CompDist[i][k]+0.4CompRes[i][k],。
(4)將步驟(3)重復(fù)I次,得到I×K的代價(jià)函數(shù)矩陣CstFun,;
(5)由CstFun得到與第i個(gè)目標(biāo)最為匹配的連通域,,即滿足CstFun[i][k]最小的序號(hào)k,用Zone[k]變量更新Person[i]變量,,用ZoneFeature[k]更新PsnFeature[i]變量,,完成目標(biāo)跟蹤。
圖5所示為采用該算法對(duì)走出某賣場(chǎng)出入口的兩人進(jìn)行跟蹤的結(jié)果,。
2.4 計(jì)數(shù)
Person[i]跟隨第i個(gè)目標(biāo)的運(yùn)動(dòng)不斷被更新,,當(dāng)滿足2.1節(jié)所述條件時(shí)計(jì)數(shù),之后將Person[i]結(jié)點(diǎn)刪除,,其他出邊界的情況則只刪除結(jié)點(diǎn)不計(jì)數(shù),。
3 算法實(shí)現(xiàn)和結(jié)果分析
TMS320DM648是一款針對(duì)多媒體處理和視頻安全與監(jiān)控領(lǐng)域,基于VelociTITM超長(zhǎng)指令結(jié)構(gòu)的高性價(jià)比的單核DSP芯片,。結(jié)合視頻解碼芯片TVP5154,視頻編碼SAA7015實(shí)現(xiàn)了4路PAL格式視頻輸入,,1路PAL格式視頻輸出的商場(chǎng)客流統(tǒng)計(jì)系統(tǒng),,其結(jié)構(gòu)如圖6所示[6]。
將該系統(tǒng)成功應(yīng)用于某家電賣場(chǎng),,其中抽取了2個(gè)時(shí)間段共7 h,統(tǒng)計(jì)結(jié)果如表1所示,,現(xiàn)場(chǎng)人工計(jì)數(shù)為實(shí)際值,系統(tǒng)計(jì)數(shù)為檢測(cè)值,。由表1可見(jiàn)統(tǒng)計(jì)準(zhǔn)確率保持在95%左右,,注意到 “正大門”、“通信門”和“數(shù)碼門”這3個(gè)門在2個(gè)時(shí)間段內(nèi)系統(tǒng)均多計(jì),,而“服務(wù)門”均少計(jì),,說(shuō)明算法性能穩(wěn)定,不會(huì)出現(xiàn)忽多計(jì),、忽少計(jì)的情況,。
本文針對(duì)基于概率模型的背景更新方法進(jìn)行了改進(jìn),更新了背景分區(qū)域,,提高了背景更新的可靠性和準(zhǔn)確性,。在此基礎(chǔ)上提出了以目標(biāo)位置、亮度和顏色構(gòu)建代價(jià)函數(shù)的特征匹配和跟蹤算法,,并將其成功應(yīng)用于商場(chǎng)客流統(tǒng)計(jì)系統(tǒng),,在TMS320DM648硬件平臺(tái)同時(shí)處理4路PAL視頻,且客流統(tǒng)計(jì)準(zhǔn)確率穩(wěn)定在95%,。結(jié)果表明,,該算法有較好的目標(biāo)識(shí)別、匹配和跟蹤能力,。
參考文獻(xiàn)
[1] 趙艷啟. 運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤算法的研究[D].南京:河海大學(xué),2005.
[2] 金鑫.基于改進(jìn)特征跟蹤的客流量統(tǒng)計(jì)[J].計(jì)算機(jī)工程,,2012,38(15):175-178.
[3] 丁磊,宮寧生.基于改進(jìn)的三幀差分法運(yùn)動(dòng)目標(biāo)檢測(cè)[J].電視技術(shù),2013,37(1):151-153.
[4] 曹海青.基于全局和局部特征的目標(biāo)識(shí)別研究[J].微型機(jī)與應(yīng)用,,2011,30(14):41-43.
[5] 孫抗,汪渤,鄭智輝.基于局部亮度直方圖特征的實(shí)時(shí)目標(biāo)識(shí)別與跟蹤[J].系統(tǒng)工程與電子技術(shù),2011,33(9):
1927-1931.
[6] 王文武.嵌入式客流量統(tǒng)計(jì)模塊的設(shè)計(jì)和實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,,2011,37(8):33-35.