0 引言

    視覺(jué)跟蹤是計(jì)算機(jī)視覺(jué)中引人矚目且快速發(fā)展的領(lǐng)域,，主要用于獲取運(yùn)動(dòng)目標(biāo)的位置、姿態(tài),、軌跡等基本運(yùn)動(dòng)信息,，是理解服務(wù)對(duì)象或?qū)δ繕?biāo)實(shí)施控制的前提和基礎(chǔ)。其涉及許多具有挑戰(zhàn)性的研究熱點(diǎn)并常和其他計(jì)算機(jī)視覺(jué)問(wèn)題結(jié)合出現(xiàn),，如導(dǎo)航制導(dǎo),、事件檢測(cè)、行為識(shí)別,、視頻監(jiān)控,、自動(dòng)駕駛、移動(dòng)機(jī)器人等^[1-4],。雖然跟蹤方法取得了長(zhǎng)足進(jìn)展,，但由于遮擋,、目標(biāo)的平面內(nèi)/外旋轉(zhuǎn),、快速運(yùn)動(dòng)、模糊,、光照及變形等因素的存在使其仍然是非常具有挑戰(zhàn)性的工作,。

    近年來(lái)，基于相關(guān)濾波器CF(Correlation Filter)的跟蹤方法得到了極大關(guān)注^[5-9],。CF最大的優(yōu)點(diǎn)是計(jì)算效率高,，這歸結(jié)于其假設(shè)訓(xùn)練數(shù)據(jù)的循環(huán)結(jié)構(gòu)，因?yàn)槟繕?biāo)和候選區(qū)域能在頻域進(jìn)行表示并通過(guò)快速傅里葉變換(FFT)操作,。Bolme^[6]等首次將CF應(yīng)用于跟蹤提出MOSSE算法,，其利用FFT的快速性使跟蹤速度達(dá)到了600-700 fps。瑞典林雪平大學(xué)的Martin Danelljan在2016年ECCV上提出的相關(guān)濾波器跟蹤算法C-COT^[7]取得了VOT2016競(jìng)賽冠軍,，2017年其提出的改進(jìn)算法ECO^[8]在取得非常好的精度和魯棒性的同時(shí),，顯著提高運(yùn)算速度至C-COT的6倍之多。

    基于CF的跟蹤算法如此優(yōu)秀,，已然成為研究熱點(diǎn),。近年和相關(guān)濾波有關(guān)的論文層出不窮，很有必要對(duì)這些論文及相關(guān)濾波的發(fā)展等進(jìn)行一個(gè)歸納和總結(jié),，以推動(dòng)該方向的發(fā)展,。文獻(xiàn)[9]雖已做過(guò)綜述并取得了一定效果，但有兩點(diǎn)不足：(1)過(guò)多介紹現(xiàn)有幾種方法的具體細(xì)節(jié),，沒(méi)有對(duì)更多文獻(xiàn)進(jìn)行對(duì)比分析,；(2)缺乏對(duì)基于相關(guān)濾波器跟蹤方法的分類對(duì)比分析,。基于此,，本文的不同之處和特點(diǎn)在于：(1)分析更多更新的文獻(xiàn),，注重分析各文獻(xiàn)的特點(diǎn)及淵源；(2)對(duì)各文獻(xiàn)根據(jù)CF跟蹤方法的思路進(jìn)行歸類分析,，讓讀者更加清楚各文獻(xiàn)的初衷及問(wèn)題所在,。

    本文首先給出了目標(biāo)跟蹤和CF的基本知識(shí)，之后對(duì)CF方法在樸素階段,、循環(huán)結(jié)構(gòu)和核技巧,、多特征通道、與深度特征的結(jié)合,、尺度研究,、邊界效應(yīng)以及其他信息的利用方面進(jìn)行了詳述，最后對(duì)基于CF方法的未來(lái)發(fā)展方向提出了幾點(diǎn)看法,。

1 目標(biāo)跟蹤及CF跟蹤思想

    目標(biāo)跟蹤可以被定義為：在第一幀中給出一個(gè)興趣目標(biāo)(常用方框表示)前提下,，在后續(xù)的每一幀中對(duì)該目標(biāo)定位的任務(wù)。一般地,，目標(biāo)跟蹤可以分為生成式方法(Generative Method),、判別式方法(Discriminative Method)。生成方法的思路是,，先提取目標(biāo)特征學(xué)習(xí)出代表目標(biāo)的外觀模型,，通過(guò)它搜索圖像區(qū)域進(jìn)行模式匹配，在圖像中找到和模型最匹配的區(qū)域,，即為目標(biāo),。判別式跟蹤方法將視覺(jué)目標(biāo)跟蹤視為一個(gè)二分類問(wèn)題，其基本思路是尋求跟蹤目標(biāo)與背景間的決策邊界,，這類方法也常被稱為基于檢測(cè)的跟蹤方法(Tracking by Detection),。判別式方法由于同時(shí)用到了前景和背景信息，近年顯示出非常出色的跟蹤性能,。目前所有基于相關(guān)濾波器的算法都在判別式跟蹤方法的框架下建立的,。

    本文主要對(duì)和相關(guān)濾波器有關(guān)的文獻(xiàn)進(jìn)行綜述，想對(duì)視覺(jué)跟蹤有全面了解的讀者可以參考文獻(xiàn)[9-12],。

    和其他判別式方法類似,，CF也需要一組訓(xùn)練樣本以學(xué)習(xí)一個(gè)濾波器。在跟蹤中,，第一幀中的圖像塊是唯一可用的樣本,，跟蹤器常從離該圖像塊較近的區(qū)域收集正例，而從離其較遠(yuǎn)的區(qū)域收集負(fù)例,，計(jì)算復(fù)雜度會(huì)隨著訓(xùn)練塊數(shù)目的增加而快速上升,。而基于CF的跟蹤器通過(guò)循環(huán)移位收集稠密樣本,，這種移位近似為平移，從而構(gòu)建了一個(gè)具有很好特性的循環(huán)矩陣,。

CF首先通過(guò)最小化嶺回歸問(wèn)題,，并依據(jù)MOSSE濾波原理^[6]尋找一個(gè)濾波器，然后以此濾波器和下一幀中的各搜索窗進(jìn)行相關(guān)運(yùn)算,，其中輸出值最大的搜索窗即為目標(biāo)最佳位置,，最后在下一幀中以線性插值方法對(duì)模型參數(shù)進(jìn)行更新，以此循環(huán)操作,，直至序列最后一幀,。

2 基于CF跟蹤的發(fā)展

2.1 CF方法的開(kāi)創(chuàng)

    CF在計(jì)算機(jī)視覺(jué)中最初被用于眼睛跟蹤^[13]和行人檢測(cè)^[14]，由于需要大量訓(xùn)練數(shù)據(jù),，使得以往的CF在應(yīng)用于跟蹤時(shí)因速度太慢而無(wú)法使用,。2010年，Bolme^[6]等提出一種新型相關(guān)濾波器MOSSE(Minimum Output Sum of Squared Error),，首次將CF應(yīng)用于跟蹤算法,。該跟蹤器框架建立在頻域中，利用FFT的快速性使跟蹤速度達(dá)到了600-700 fps,，顯著超過(guò)當(dāng)時(shí)的先進(jìn)算法(如表1所示),，同時(shí)算法具有卓越性能，在CV界引起劇烈反響,。

    MOSSE的思想是,，當(dāng)初始化給定單幀后,，其能產(chǎn)生一個(gè)穩(wěn)定的相關(guān)濾波器,，然后以自適應(yīng)CF作為目標(biāo)外觀模型，通過(guò)卷積來(lái)跟蹤,。CF通過(guò)MOSSE算法顯示出巨大潛力,，從此CF跟蹤算法得到矚目，大量基于CF的跟蹤算法相繼出現(xiàn),。

2.2 循環(huán)結(jié)構(gòu)和核技巧

    基于檢測(cè)的跟蹤需要大量樣本數(shù)據(jù)進(jìn)行訓(xùn)練,，這導(dǎo)致計(jì)算負(fù)擔(dān)加重，和實(shí)時(shí)需求背道而馳,。但限制樣本數(shù)量又會(huì)犧牲算法性能,。為了加快訓(xùn)練，此前基于CF的算法都采用稀疏采樣策略,，在每幀中,，數(shù)個(gè)同目標(biāo)大小一樣的樣本在目標(biāo)臨域內(nèi)得到，樣本之間很高的重疊率使得數(shù)據(jù)具有很大冗余,，而如果采用下采樣方法,，會(huì)降低背景雜亂序列的跟蹤性能,。牛津大學(xué)的Joao F.Henriques提出樣本之間潛在的結(jié)構(gòu)信息并沒(méi)有被有效利用，他發(fā)現(xiàn)^[15],，當(dāng)有數(shù)千個(gè)平移樣本時(shí),，數(shù)據(jù)矩陣是環(huán)狀的，其依據(jù)循環(huán)矩陣的理論提出一種CSK(Circulant Structure Tracker)跟蹤方法,。CSK應(yīng)用FFT達(dá)到非?？斓膶W(xué)習(xí)和檢測(cè)功能的Fourier分析思想(不同于迭代思想)，以包括高斯和多項(xiàng)式等多個(gè)類型的核得到訓(xùn)練和檢測(cè)的閉環(huán)解,。該算法只通過(guò)簡(jiǎn)單幾行代碼就可以達(dá)到數(shù)百幀的運(yùn)行速度,，并且性能可媲美先進(jìn)算法。

    之后,，Joao F.Henriques在CSK基礎(chǔ)上提出一個(gè)新的核化相關(guān)濾波器KCF(Kernelized Correlation Filter)^[16],，同時(shí)，應(yīng)用線性核提出一個(gè)快速多通道擴(kuò)展的線性相關(guān)濾波器DCF(Dual Correlation Filter),。利用KCF的優(yōu)點(diǎn)執(zhí)行分類器的訓(xùn)練和候選樣本的檢測(cè),，再利用HOG特征達(dá)到精確、魯棒且快速的跟蹤效果,。其精度和速度都超過(guò)了當(dāng)時(shí)OTB50^[17]上最好的Struck^[18]算法,。

    這里要提到的一點(diǎn)是，文獻(xiàn)[16]中雖然加了核技巧的KCF各屬性的準(zhǔn)確度都在DCF（沒(méi)有核技巧）之上,，但其平均精度僅提高了0.4%,，而速度卻降低了41%。Naiyan Wang等研究表明^[19]當(dāng)選擇的特征為弱特征時(shí),，不同的觀察模型確實(shí)影響著跟蹤性能,，然而，當(dāng)選擇的特征足夠強(qiáng)時(shí),，不同模型間的性能基本沒(méi)有差別（即使采用最簡(jiǎn)單的觀察模型）,，即特征在跟蹤中起著重要作用。因此對(duì)于核技巧的使用是一個(gè)開(kāi)放的課題,。

2.3 尺度估計(jì)研究

    CF方法因使用FFT使得跟蹤算法速度大大提高,，但CF本身并不具備尺度估計(jì)能力。

    文獻(xiàn)[20]提出一種新的魯棒尺度估計(jì)方法DSST(Discriminative Scale Space Tracker),。DSST使用HOG特征并在尺度金字塔表示基礎(chǔ)上學(xué)習(xí)判別CF(MOSSE),。使用一維濾波器只估計(jì)尺度，二維濾波器只判斷平移,，三維濾波器窮舉尺度空間以定位目標(biāo),。其將平移濾波器和尺度估計(jì)分開(kāi)學(xué)習(xí)使得該算法可以和任何不具備尺度估計(jì)的跟蹤方法合作達(dá)到尺度估計(jì)，具有通用性。

    文獻(xiàn)[21]在KCF方法的基礎(chǔ)上提出一種新型多特征集成尺度自適應(yīng)核化相關(guān)濾波器跟蹤器SAMF(Scale Adaptive with Multiple Features tracker),。算法以不同尺度對(duì)目標(biāo)采樣,，并調(diào)整樣本大小為一個(gè)固定尺寸以和每幀中的傾斜模型進(jìn)行比較。同時(shí)算法采用一個(gè)多特征集成策略,，該策略使用原始像素,、梯度特征HOG以及顏色特征CN以進(jìn)一步增強(qiáng)跟蹤器處理復(fù)雜場(chǎng)景的能力。

    對(duì)比DSST和SAMF方法可知^[22],，前者將跟蹤分成兩個(gè)問(wèn)題看待,，可以采用不同的方法和特征更加靈活，但需要額外訓(xùn)練一個(gè)濾波器,，每幀尺度檢測(cè)需要采樣33個(gè)圖像塊,，分別計(jì)算特征，加窗,，F(xiàn)FT,，尺度濾波器還要額外訓(xùn)練；SAMF只需要一個(gè)濾波器,，不需要額外訓(xùn)練和存儲(chǔ),，每個(gè)尺度檢測(cè)就一次提特征和FFT，但在圖像塊較大時(shí)計(jì)算量比DSST高,。

    文獻(xiàn)[23]提出一種自適應(yīng)外觀且不易漂移的在線跟蹤器LCT(Long-term Correlation Tracking),。其將跟蹤任務(wù)分解為平移估計(jì)和尺度估計(jì)兩部分，其尺度估計(jì)應(yīng)用HOG特征構(gòu)建一個(gè)多尺度目標(biāo)金字塔并窮盡搜索最優(yōu)尺度,。

    常規(guī)金字塔尺度估計(jì)方法不得不包含幾十層塔,，且必須在跟蹤前進(jìn)行尺度估計(jì)。文獻(xiàn)[24]提出一種基于快速特征金字塔(Dollar的圖像尺度定律)的尺度估計(jì)方法,。這應(yīng)是首次利用真正的最小數(shù)量層特征金字塔并避免了在搜索合適尺度前構(gòu)建金字塔,，且優(yōu)化的尺度估計(jì)具有通用性，可被用于任何不含尺度估計(jì)的跟蹤器中,。

    為解決旋轉(zhuǎn)運(yùn)動(dòng)跟蹤問(wèn)題,，文獻(xiàn)[25]提出RAJSSC(Rotation Adaptive Joint Scale-Spatial Correlation Tracking)跟蹤器算法,。主要做了兩方面內(nèi)容：(1)其以JSSC(Joint Scale-Spatial Correlation Tracking)濾波器進(jìn)行尺度估計(jì),；(2)將笛卡爾坐標(biāo)(Cartesian coordinator)變換成對(duì)數(shù)極坐標(biāo)(Log-Polar coordinator)進(jìn)行旋轉(zhuǎn)估計(jì)。

    文獻(xiàn)[5]在KCF框架基礎(chǔ)上提出一種快速可伸縮核相關(guān)濾波器sKCF(scalable Kernalized Correlation Filter),。由于目標(biāo)的方框表示不能匹配目標(biāo)的確切結(jié)構(gòu),，引入一個(gè)關(guān)鍵點(diǎn)模型進(jìn)行尺度估計(jì)，該尺度估計(jì)具有獨(dú)立性,，可集成到任何多項(xiàng)式以及線性CF中,。

2.4 多特征通道思想

    起初，CF方法受限于單通道特征。而任何特征都具有自己的區(qū)分能力,，在跟蹤中常使用具有不同譜位置的特征互補(bǔ)合作,，使用單核的相關(guān)濾波跟蹤算法不能充分發(fā)揮不同特征的區(qū)分能力。CF框架后來(lái)擴(kuò)展到多通道特征圖^[26-27],，多通道CF使得高維特征應(yīng)用以提高跟蹤性能成為可能,。比如，顏色特征CN(Color Name)在某種程度上對(duì)光測(cè)不敏感,，同時(shí)保持辨別能力,，當(dāng)和亮度結(jié)合時(shí)顏色特征能提高跟蹤性能。瑞典林雪平大學(xué)的Martin Danelljan以CN顏色特征擴(kuò)展CSK為多通道顏色跟蹤器^[28],。文獻(xiàn)[28]提出了一個(gè)低維自適應(yīng)顏色屬性擴(kuò)展,，其應(yīng)用映射原理將計(jì)算機(jī)中的RGB顏色映射為11維顏色表示的概率（概率總和為1），將這11中顏色規(guī)范化為10維正交基子空間,，最后得到顏色特征,。

    此后CF框架下的多通道特征結(jié)合方法廣泛使用。Ming TANG等人在KCF算法的基礎(chǔ)上提出一種多核跟蹤器MKCF(Multi-Kernel Correlation Filter)^[24],，其能同時(shí)發(fā)揮多通道和多核作用,。

    利用HOG和CN具有的互補(bǔ)性質(zhì)，文獻(xiàn)[29]提出一種簡(jiǎn)單的跟蹤器Staple(Sum of Template And Pixel-wise LEarners),，其在嶺回歸框架(ridge regression framework)下將這兩種具有補(bǔ)充特性的線索合并,。和其他將多模型預(yù)測(cè)融合的方法不同，Staples在稠密平移搜索下合并兩個(gè)模型的得分,，這兩個(gè)模型的一個(gè)關(guān)鍵特性是他們的得分在幅度和可靠性表示上相似,，因此，預(yù)測(cè)具有更高可信度,，取得了很好的實(shí)驗(yàn)效果,。此后HOG+CN在近兩年的跟蹤算法中成為了手工特征標(biāo)配，如文獻(xiàn)[7-8]等,。

2.5 與深度特征的結(jié)合

    近年來(lái),，為提高跟蹤器的魯棒性能，許多特征被提出,，如LBP,、Haar-like、HOG,、CN等,，這些手工特征并非適應(yīng)所有通用目標(biāo)，因此常需要更復(fù)雜的學(xué)習(xí)技術(shù)來(lái)提高其表示能力,。而深度學(xué)習(xí)技術(shù)不需要手工干預(yù)能從原始數(shù)據(jù)直接學(xué)習(xí)得到特征,，由于具有強(qiáng)大的特征處理,、表示學(xué)習(xí)性能，近期得到矚目關(guān)注,，大量論文對(duì)深度學(xué)習(xí)進(jìn)行探索并取得重要進(jìn)展,，如圖像分類、目標(biāo)識(shí)別以及檢測(cè)和分割,、跟蹤等,。對(duì)于CF方法來(lái)說(shuō)深度特征有著巨大吸引力。

    隨著深度CNNs的到來(lái),，網(wǎng)絡(luò)的全連接層被用于圖像表示,。不同于目標(biāo)分類，視覺(jué)跟蹤的目的是精確及時(shí)的跟蹤目標(biāo),，而不是要確定目標(biāo)的語(yǔ)義類別^[30],。

    文獻(xiàn)[31]研究了卷積特征在DCF和SRDCF中的影響，結(jié)果顯示,，不同于圖像分類,，和在圖像分類方面表現(xiàn)出優(yōu)秀性能的深層特征比較，來(lái)自第一層的激活提供了更好的跟蹤性能,。對(duì)CF框架來(lái)說(shuō),，關(guān)鍵的問(wèn)題是如何將CNNs的多個(gè)層進(jìn)行融合。文獻(xiàn)[7]提出C-COT(Continuous Convolution Operator Tracker)跟蹤器,，其是一種在連續(xù)空間域?qū)W習(xí)一個(gè)判別式卷積算子的理論框架,，該卷積算子在聯(lián)合學(xué)習(xí)框架下融合多個(gè)具有不同空間分辨率的卷基層。

2.6 邊界效應(yīng)

    這里不得不提CF方法對(duì)快速運(yùn)動(dòng)目標(biāo)的跟蹤效果不好,，這主要由邊界效應(yīng)(Boundary Effets)引起的^[32],。邊界效應(yīng)產(chǎn)生錯(cuò)誤樣本會(huì)造成分類器判別力不夠強(qiáng)，對(duì)跟蹤性能有嚴(yán)重影響,，主要因?yàn)橐韵乱蛩?sup>[33]：(1)從限定移位塊學(xué)習(xí)有可能導(dǎo)致濾波器訓(xùn)練過(guò)擬合而對(duì)變形等泛化能力變差,。(2)由移位產(chǎn)生的負(fù)例訓(xùn)練樣本如果不加窗，則除了原始樣本,，其他產(chǎn)生的樣本都是合成的,，實(shí)際負(fù)例訓(xùn)練樣本的缺乏會(huì)顯著降低跟蹤器對(duì)雜亂背景的魯棒性能。(3)從學(xué)習(xí)過(guò)程中丟棄背景信息會(huì)降低跟蹤器在遮擋下辨別目標(biāo)的能力,。

    一種直觀的處理方法是加余弦窗,，如文獻(xiàn)[6]為解決因FFT的循環(huán)結(jié)構(gòu)引起的邊界效應(yīng)，首先通過(guò)log函數(shù)將像素值轉(zhuǎn)換為對(duì)比度較輕的狀況,，再以余弦窗和圖像相乘將邊界附近像素值逐漸減為零,。但余弦窗具有局限性，如果目標(biāo)變小,，余弦窗會(huì)將背景信息加入到目標(biāo)信號(hào)中，如果目標(biāo)變大，余弦窗會(huì)丟掉目標(biāo)部分信息,，文獻(xiàn)[5]引入一個(gè)可以調(diào)節(jié)的高斯窗函數(shù)代替余弦窗,，達(dá)到了很好的效果。

    在檢測(cè)階段,，相關(guān)濾波器訓(xùn)練的圖像塊和檢測(cè)的圖像塊大小必須一致,，對(duì)于固定的檢測(cè)塊，如果目標(biāo)移到了邊界附近,，加余弦窗后部分目標(biāo)像素會(huì)丟失,，使檢測(cè)響應(yīng)受到影響。如果目標(biāo)大部分或者完全移出邊界,，則會(huì)導(dǎo)致檢測(cè)失敗,。如果采用更大區(qū)域采集訓(xùn)練樣本的措施不但能顯著降低邊界效應(yīng)，而且更多數(shù)量的背景塊可用于濾波器學(xué)習(xí)^[32-33],。文獻(xiàn)[33]提出基于灰度特征MOSSE的CFLB(Correlation Filters with Limited Boundaries)方法,，采用更大的檢測(cè)和更新圖像塊，訓(xùn)練作用域比較小的相關(guān)濾波器,，對(duì)充濾波器邊緣直接用0填充,，應(yīng)用ADMM(Alternating Direction Method of Multipliers)確保正確的濾波器大小。CFLB的不足是在每次ADMM迭代時(shí)空域和頻域就有一次轉(zhuǎn)換,，這導(dǎo)致計(jì)算復(fù)雜度變大,。

    不同于CFLB，文獻(xiàn)[32]提出了空間正則化判別相關(guān)濾波器SRDCF(Spatially Regularized Discriminative Correlation Filters)來(lái)進(jìn)行跟蹤,，主要思路是既然邊界效應(yīng)發(fā)生在邊界附近,，那就忽略所有移位樣本的邊界部分像素，濾波器系數(shù)從中心到邊緣平滑過(guò)渡到零,。其學(xué)習(xí)過(guò)程中引入一個(gè)空間正則化成分,，根據(jù)空間位置用其對(duì)相關(guān)濾波器的系數(shù)進(jìn)行懲罰，SRDCF框架允許相關(guān)濾波器在不影響正例的情況下對(duì)相當(dāng)數(shù)量的負(fù)例進(jìn)行學(xué)習(xí),。雖然SRDCF方法在普通桌面電腦的MATLAB上運(yùn)行的速率只有5幀/秒,，但其精度較高并能處理快速移動(dòng)的目標(biāo)，且該方法獲得了當(dāng)年OpenCV跟蹤挑戰(zhàn)賽的冠軍,。SRDCF的主要不足是,，正則化目標(biāo)函數(shù)即便是在傅氏域中也會(huì)使優(yōu)化難度加大，再者,，為得到正則化權(quán)值,，大量參數(shù)必須謹(jǐn)慎調(diào)節(jié)，否則會(huì)導(dǎo)致跟蹤性能惡化,。

    為利用實(shí)際負(fù)例訓(xùn)練樣本以符合實(shí)際,，文獻(xiàn)[34]提出BACF(Background-Aware Correlation Filters)方法,，為實(shí)時(shí)目標(biāo)跟蹤學(xué)習(xí)背景信息。和常規(guī)CF跟蹤器不同,，BACF從背景中稠密抽取的實(shí)際負(fù)例訓(xùn)練樣本進(jìn)行學(xué)習(xí),，并以ADMM(Alternating Direction Method of Multipliers)方法在多通道特征(如HOG)上學(xué)習(xí)濾波器。該算法在PC上的運(yùn)行速度達(dá)到了35 fps,，精度比SRDCF高,，且速度是其10倍。和C-COT精度相當(dāng),，但速度是C-COT的100倍,，在某些特殊序列上可以達(dá)到C-COT的400倍。

2.7 其他信息的利用

    除過(guò)上述常見(jiàn)問(wèn)題及處理方式外,，為提高CF方法的性能,，廣大學(xué)者也從其他信息的利用方面進(jìn)行了探索使基于CF方法的性能得到了進(jìn)一步的提升。主要包括：

    (1)上下文的利用,。文獻(xiàn)[35]提出STC(Spatio-Temporal Context)跟蹤算法,，在目標(biāo)框周圍使用一個(gè)較大的框以包括目標(biāo)周圍的背景信息，利用稠密的上下文信息達(dá)到快速魯棒的跟蹤效果(350 fps in Matlab),。該方法一方面包括目標(biāo)和相鄰背景的上下文具有判別模型特征,，另一方面，目標(biāo)和背景是一個(gè)整體,，體現(xiàn)了生成方法的優(yōu)點(diǎn),。

    (2)長(zhǎng)短時(shí)記憶跟蹤。為應(yīng)對(duì)跟蹤過(guò)程中的目標(biāo)外觀變化,，文獻(xiàn)[36]提出一種跟蹤器MUSTer（MUlti-Store Tracker),。其包含短時(shí)和長(zhǎng)時(shí)兩種記憶存儲(chǔ)以配合處理圖像輸入和目標(biāo)跟蹤，其在短期存儲(chǔ)和短時(shí)跟蹤中應(yīng)用高效的ICF(Intergrated Correlation Filter),；作為補(bǔ)充,，基于關(guān)鍵點(diǎn)匹配跟蹤以及RANSAC估計(jì)形成的長(zhǎng)時(shí)部分能影響長(zhǎng)時(shí)記憶并為輸出提供附加信息；另外,，在跟蹤過(guò)程中以遺忘曲線對(duì)記憶-遺忘循環(huán)進(jìn)行建模并保留有用特征,。

    (3)空間結(jié)構(gòu)信息的利用。文獻(xiàn)[37]提出將目標(biāo)分成5個(gè)部分,，對(duì)各部分分別運(yùn)行一個(gè)獨(dú)立的KCF跟蹤器并輸出一個(gè)置信圖(Confidence Map)以聯(lián)合定位目標(biāo),。然后多個(gè)置信圖合并成一個(gè)置信圖作為一個(gè)整體應(yīng)用于貝葉斯推理框架，推理候選目標(biāo)以最大后驗(yàn)概率作為跟蹤結(jié)果,。針對(duì)遮擋及魯棒跟蹤文獻(xiàn)[38]提出一種SCF(Structural Correlation Filter)跟蹤器,。其首先將目標(biāo)劃分為一組塊，每個(gè)塊關(guān)聯(lián)一個(gè)CF,，對(duì)所有塊的參數(shù)結(jié)合學(xué)習(xí),；在跟蹤過(guò)程中,，每部分的CF有一個(gè)響應(yīng)圖（response map），通過(guò)搜索響應(yīng)圖中的最大值能協(xié)助預(yù)測(cè)塊的狀態(tài)（位置）,；然后,，目標(biāo)的位置通過(guò)所有塊的權(quán)值化平移平均來(lái)估計(jì),。

3 總結(jié)及展望

    視覺(jué)跟蹤對(duì)算法的要求是具有精確性,、魯棒性、通用性以及實(shí)時(shí)性,。為此,，除了從特征學(xué)習(xí)、外觀表示,、高效搜索以及更新策略等方面研究外,，筆者認(rèn)為從以下幾個(gè)方向切入有助于提高算法性能。

    (1)CF最大缺點(diǎn)是對(duì)快速變形和快速運(yùn)動(dòng)的目標(biāo)跟蹤性能較差,，影響這方面的因素主要是邊界效應(yīng),，邊界效應(yīng)的有效解決也是一個(gè)切入點(diǎn)。

    (2)CF有嚴(yán)格的移位假設(shè),，這種假設(shè)常常不符合實(shí)際場(chǎng)景,。如在能放寬這種假設(shè)的同時(shí)處理好相關(guān)濾波器的要求，將使跟蹤更符合實(shí)際應(yīng)用,。

    (3)CF方法在精度及魯棒性提高的同時(shí),，常常因?yàn)槟Ｐ蛷?fù)雜等原因使得速度嚴(yán)重降低，這不符合跟蹤的實(shí)時(shí)要求,。這可從降低模型復(fù)雜度以及優(yōu)化學(xué)習(xí)及更新機(jī)制方面入手解決,。

    (4)目前提到的很多CF算法，也包括VOT競(jìng)賽,，都是針對(duì)短期跟蹤問(wèn)題,。但在實(shí)際應(yīng)用場(chǎng)合，我們希望達(dá)到長(zhǎng)期跟蹤目的,，但除了文獻(xiàn)[39]外,，很少見(jiàn)到此方面的研究工作。

    目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)方向的一個(gè)熱點(diǎn),，每年都有大量?jī)?yōu)秀論文出現(xiàn),，作者所作的綜述也只是管中窺豹，疏漏不可避免,，但如能起到拋磚引玉的目的,，對(duì)讀者和作者來(lái)說(shuō)都是一種幸事。

參考文獻(xiàn)

[1] 王夢(mèng)來(lái),，李想,，陳奇,，等.基于CNN的監(jiān)控視頻事件檢測(cè)[J].自動(dòng)化學(xué)報(bào)，2016,，42(6)：892-903.

[2] 劉亞偉,，李小民，楊森.基于CamShift融合局部特征匹配的無(wú)人機(jī)目標(biāo)跟蹤研究[J].電子技術(shù)應(yīng)用,，2016,，42(9)：6-9.

[3] 張鐵，馬瓊雄.人機(jī)交互中的人體目標(biāo)跟蹤算法[J].上海交通大學(xué)學(xué)報(bào),，2015,，49(8)：1213-1219，1230.

[4] 周楊,，胡桂明,，黃東芳.基于邊緣自適應(yīng)的Mean Shift目標(biāo)跟蹤方法[J].電子技術(shù)應(yīng)用，2017,，43(5)：138-142.

[5] MONTERO A S,，Lang Jochen，LAGANIERE R.Scalable kernel correlation filter with sparse feature integration[C].InIEEE ICCV,，2015.

[6] BOLME D S,，BEVERIDGE J R，DRAPER B A,，et al.Visual object tracking using adaptive correlation filters[C].In IEEE CVPR,，2010.

[7] DANELLJAN M，ROBINSON A,，KHAN F S,，et al.Beyond correlation filters: learning continuous convolution operators for visual tracking[C].In IEEE ECCV，2016.

[8] DANELLJAN M,，BHAT G,，KHAN F S, et al.ECO：Efficient Convolution Operators for Tracking[C].In IEEE CVPR，2017.

[9] 魏全祿,，老松楊,，白亮.基于相關(guān)濾波器的視覺(jué)目標(biāo)跟蹤綜述[J].計(jì)算機(jī)科學(xué)，2016,，43(11)：1-5,，18.

[10] YILMAZ A，JAVED O,，SHAH M.Object tracking：A survey[J].ACM Computing Surveys,，2006，38(4).

[11] LI X，HU W,，SHEN C,，et al.A survey of appearance models in visual object tracking[C].ACM TIST，2013,，4(4)：58.

[12] SMEULDERS A W M,，CHU D M，CUCCHIARA R,，et al.Visual tracking: An experimental survey[J].IEEE TPAMI,，2014，36(7)：1442-1468.

[13] BOLME D S,，DRAPER B A,，BEVERIDGE J R.Average of synthetic exact filters[C].In CVPR,，2009.

[14] BOLME D S,，LUI Y M，DRAPER B A,，et al.Simple real-time human detection using a single correlation filter[C].In PETS,，2009.

[15] HENRIQUES J F，CASEIRO R,，MARTINS P,，et al.Exploiting the circulant structure of tracking-by-detection with kernels[C].In IEEE ECCV，2012.

[16] HENRIQUES J F,，CASEIRO R,，MARTINS P，et al.High-speed tracking with kernelized correlation filters[C].IEEE TPAMI,，2015.

[17] WU Y,，LIM J，YANG M H.Online object tracking：A benchmark[C].In IEEE CVPR,，2013.

文獻(xiàn)[18]-[43]略

作者信息:

馬曉虹1,，尹向雷2

（1.陜西理工大學(xué) 電工電子實(shí)驗(yàn)中心，陜西 漢中723000,；2.陜西理工大學(xué) 電氣工程學(xué)院,，陜西 漢中723000）