文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.174639
中文引用格式： 張涵，閆懷平,，張展. 多特征融合及最小均方誤差優(yōu)化的陰影檢測(cè)[J].電子技術(shù)應(yīng)用,，2018，44(10)：153-157.
英文引用格式： Zhang Han,，Yan Huaiping,，Zhang Zhan. Shadow detection with multi-feature fusion and MMSE optimization[J]. Application of Electronic Technique，2018,，44(10)：153-157.
0 引言
運(yùn)動(dòng)偵測(cè)是視頻分析與理解的基礎(chǔ)研究課題，通過(guò)運(yùn)動(dòng)偵測(cè)可以將目標(biāo)與背景分離開(kāi)來(lái),，為后續(xù)目標(biāo)的分析與理解奠定基礎(chǔ),。因此，運(yùn)動(dòng)偵測(cè)常作為視頻分析的預(yù)處理過(guò)程,，在視頻分析時(shí),，先對(duì)視頻進(jìn)行運(yùn)動(dòng)偵測(cè)，然后再對(duì)分離出的目標(biāo)進(jìn)行深一層的分析理解,。運(yùn)動(dòng)偵測(cè)的方法很多,，通?？梢苑譃?類：幀差法、背景差法和光流法[1],?？偟膩?lái)說(shuō)，光流法在視頻監(jiān)控領(lǐng)域應(yīng)用很少,，因?yàn)樵摲椒ǖ膹?fù)雜度高,，無(wú)法滿足視頻監(jiān)控系統(tǒng)對(duì)時(shí)效性的要求。幀差法和背景差法在視頻監(jiān)控領(lǐng)域都有廣泛應(yīng)用,。其中,，幀差法的運(yùn)算效率一般高于背景差法。但是,，幀差法對(duì)目標(biāo)的運(yùn)動(dòng)速度比較敏感,，如果目標(biāo)走走停停，那么采用幀差法存在丟失運(yùn)動(dòng)目標(biāo)的可能,。而且,，幀差法對(duì)像素顏色值的變化非常敏感，在處理動(dòng)態(tài)背景,、光照變化和陰影問(wèn)題時(shí)都存在明顯不足,。背景差法通過(guò)訓(xùn)練背景模型可以適應(yīng)動(dòng)態(tài)背景的變化以及光照的變化，提升運(yùn)動(dòng)目標(biāo)檢測(cè)的魯棒性,，應(yīng)用也最廣泛,。該方法的關(guān)鍵是建立合適的背景模型，常用的背景建模方法有單高斯模型,、混合高斯模型,、自組織背景模型、貝葉斯模型等[2-6],。盡管通過(guò)構(gòu)建背景模型可以提高背景對(duì)環(huán)境變化的適應(yīng)能力,，但是，在實(shí)際應(yīng)用中運(yùn)動(dòng)目標(biāo)檢測(cè)還會(huì)受到陰影干擾,，因?yàn)橛白邮桥c目標(biāo)相關(guān)聯(lián)的,，無(wú)法通過(guò)建模來(lái)消除,。對(duì)于視頻監(jiān)控系統(tǒng)中的許多應(yīng)用,，陰影檢測(cè)是提高運(yùn)動(dòng)目標(biāo)檢測(cè)精度的重要環(huán)節(jié)，是運(yùn)動(dòng)偵測(cè)方法的重要補(bǔ)充[7-10],。目前,，陰影檢測(cè)方面也涌現(xiàn)出了不少研究成果。如文獻(xiàn)[9]提出了一種多特征融合陰影檢測(cè)方法,，融合了光照強(qiáng)度,、色度和紋理3個(gè)特征來(lái)檢測(cè)陰影,，使用灰度形態(tài)濾波消除陰影。文獻(xiàn)[10]使用離散小波變換檢測(cè)陰影,，借助小波變換的多分辨率屬性,，將圖像分解成4個(gè)不同的頻帶，以相對(duì)標(biāo)準(zhǔn)偏差準(zhǔn)則計(jì)算自適應(yīng)分割閾值,，檢測(cè)和消除陰影,。然而，現(xiàn)有陰影檢測(cè)方法還存在過(guò)檢測(cè)(將目標(biāo)像素點(diǎn)檢測(cè)為陰影像素點(diǎn))和欠檢測(cè)(將陰影像素點(diǎn)檢測(cè)為目標(biāo)像素點(diǎn))問(wèn)題,，檢測(cè)精度還有待提高,。
為了解決這一問(wèn)題，本文提出了一種多特征融合及最小均方誤差優(yōu)化的陰影檢測(cè)方法,。該方法的主要貢獻(xiàn)有兩個(gè)方面：(1)在相似度度量計(jì)算部分,，該方法針對(duì)R、G,、B 3個(gè)顏色通道提取相鄰幀之間像素點(diǎn)的亮度,、對(duì)比度和結(jié)構(gòu)特征，融合這3類特征生成相似度度量,，提高相似性度量對(duì)環(huán)境干擾的魯棒性,；(2)在分割閾值求解部分，該方法引入最優(yōu)化理論,，依據(jù)最小均方誤差準(zhǔn)則設(shè)計(jì)目標(biāo)函數(shù),，通過(guò)最優(yōu)化方法求解最佳的像素點(diǎn)分割閾值。
通過(guò)這兩個(gè)方面的創(chuàng)新,，該方法可以有效檢測(cè)并消除運(yùn)動(dòng)偵測(cè)目標(biāo)中的陰影像素點(diǎn),。
1 運(yùn)動(dòng)偵測(cè)概述
在視頻監(jiān)控領(lǐng)域，考慮系統(tǒng)對(duì)運(yùn)動(dòng)偵測(cè)方法運(yùn)算效率的要求,，通常采用幀差法和背景差法兩類運(yùn)動(dòng)偵測(cè)方法進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測(cè),，簡(jiǎn)要描述如下[11-12]。
1.1 幀差法
幀差法也稱為時(shí)間差分法,，該方法利用視頻中不同幀之間的差異來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo),。常用的是三幀差法，通過(guò)對(duì)相鄰的3幀圖像進(jìn)行差分運(yùn)算,，檢測(cè)視頻中的運(yùn)動(dòng)目標(biāo),。該方法主要包括3個(gè)步驟：幀間差分、二值分割和“與”運(yùn)算,。
(1)幀間差分
計(jì)算第k幀圖像與前面間隔分別為Δk和2Δk的兩幀圖像之間的差分圖像,，記為：
其中，Tcol為對(duì)應(yīng)顏色通道上設(shè)置的分割閾值，該閾值通常為一全局量,，可以自適應(yīng)求解,。
(3)“與”運(yùn)算
將兩幅二值圖像進(jìn)行“與”運(yùn)算，可以剔除“鬼影”和噪聲干擾,，得到最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果,，表示為：
其中，“&”表示“與”運(yùn)算,。
幀差法的優(yōu)點(diǎn)是計(jì)算量小,，對(duì)運(yùn)動(dòng)很敏感。但缺點(diǎn)是受目標(biāo)運(yùn)動(dòng)速度影響,，而且對(duì)于環(huán)境光照變化和動(dòng)態(tài)背景也過(guò)于敏感,。
1.2 背景差法
2 陰影檢測(cè)
運(yùn)動(dòng)偵測(cè)除了檢測(cè)運(yùn)動(dòng)目標(biāo)之外，還會(huì)將目標(biāo)的影子檢測(cè)出來(lái),。因此,，需要采用陰影檢測(cè)方法檢測(cè)影子并去除。本文提出一種陰影檢測(cè)方法是對(duì)運(yùn)動(dòng)偵測(cè)方法的補(bǔ)充,，也可以說(shuō)是一個(gè)后處理過(guò)程,。具體地，對(duì)于每一幀圖像,，運(yùn)動(dòng)偵測(cè)后可以得到一幅目標(biāo)二值掩膜圖像,。其中，值為255的像素點(diǎn)為目標(biāo),，其他像素點(diǎn)為背景,。本文以目標(biāo)像素點(diǎn)為研究對(duì)象，先進(jìn)行連通域搜索,，得到二值圖像中的目標(biāo)列表,。然后對(duì)每一個(gè)目標(biāo)進(jìn)行陰影檢測(cè)，判斷該目標(biāo)是否存在陰影像素點(diǎn),。如果存在陰影點(diǎn),，則將這些像素點(diǎn)置為背景像素點(diǎn)，從而降低陰影對(duì)運(yùn)動(dòng)偵測(cè)的干擾,。本文所述陰影檢測(cè)方法依據(jù)相鄰幀之間像素點(diǎn)的亮度,、對(duì)比度和結(jié)構(gòu)的多特征融合生成相似度度量，依據(jù)最小均方誤差準(zhǔn)則尋找最優(yōu)解,，生成像素點(diǎn)為目標(biāo)或者背景的最終判決,，剔除前述運(yùn)動(dòng)偵測(cè)階段生成的二值掩膜中的陰影像素點(diǎn)，實(shí)現(xiàn)流程如圖1所示,。
2.1 目標(biāo)列表構(gòu)建
運(yùn)動(dòng)偵測(cè)得到一幅二值圖像,，將每一幀圖像上的像素點(diǎn)分為兩類,，即目標(biāo)像素點(diǎn)和背景像素點(diǎn),。本文先對(duì)二值圖像中的目標(biāo)像素點(diǎn)進(jìn)行8鄰域連通域搜索,，每一個(gè)連通域?qū)?yīng)一個(gè)目標(biāo)，這樣構(gòu)建一個(gè)目標(biāo)列表,，該目標(biāo)列表包含當(dāng)前幀中每一個(gè)目標(biāo)的外接矩形框和二值掩膜,。
記第i個(gè)目標(biāo)的外接矩形框?yàn)椋?/p>
下面針對(duì)目標(biāo)列表中的每一個(gè)目標(biāo)進(jìn)行陰影檢測(cè)。
2.2 多特征融合相似度度量
前述的運(yùn)動(dòng)偵測(cè)主要依據(jù)像素點(diǎn)不同顏色通道上亮度的變化來(lái)檢測(cè)變化區(qū)域,。事實(shí)上,，光照等環(huán)境干擾引起的陰影現(xiàn)象也會(huì)導(dǎo)致像素點(diǎn)的亮度發(fā)生變化。因此,，陰影像素點(diǎn)可能會(huì)被誤檢為目標(biāo)像素點(diǎn),。而且，運(yùn)動(dòng)偵測(cè)節(jié)點(diǎn)亮度變化的閾值選擇通常是針對(duì)整幅圖像的,，而事實(shí)上場(chǎng)景中不同位置的亮度一般存在較大差異,，也即亮度不均勻。因此,，相同的閾值可能不適合不同位置的目標(biāo)的運(yùn)動(dòng)偵測(cè),。為了解決這一問(wèn)題，本文對(duì)運(yùn)動(dòng)偵測(cè)得到的二值目標(biāo)掩膜再進(jìn)行一次判決,。這里,，需要對(duì)每一個(gè)目標(biāo)的二值掩膜區(qū)域構(gòu)建一個(gè)相似度度量，降低圖像整體亮度不均勻?qū)Ψ指铋撝涤?jì)算的影響,。
本文針對(duì)R,、G、B 3個(gè)顏色通道提取相鄰幀之間像素點(diǎn)的亮度,、對(duì)比度和結(jié)構(gòu)特征,，融合這3類特征生成相似度度量。對(duì)于第k幀圖像中第i個(gè)目標(biāo),，其相似度度量可以表示為：
3 實(shí)驗(yàn)與分析
下面通過(guò)實(shí)驗(yàn)分析來(lái)驗(yàn)證本文所述的陰影檢測(cè)方法的性能,。首先，本文選擇Changedetection.net中的shadow子集作為測(cè)試數(shù)據(jù)集,。該數(shù)據(jù)集是運(yùn)動(dòng)偵測(cè)領(lǐng)域的公開(kāi)測(cè)試數(shù)據(jù)集,，目前大部分運(yùn)動(dòng)偵測(cè)算法都是在該數(shù)據(jù)集下進(jìn)行測(cè)試和評(píng)價(jià)的，具有權(quán)威性,。shadow子集共包含了6個(gè)視頻圖像序列,，分別是backdoor、bungalows,、busStation,、copyMachine、cubicle和peopleInShade。這些圖像序列的共同特點(diǎn)是都存在陰影干擾,。本文針對(duì)這6個(gè)視頻圖像序列進(jìn)行仿真實(shí)驗(yàn),，實(shí)驗(yàn)平臺(tái)為Intel I5臺(tái)式計(jì)算機(jī)，內(nèi)存為16 GB,，操作系統(tǒng)為Windows 7,，軟件平臺(tái)為Visual Studio 2013。運(yùn)動(dòng)偵測(cè)方法采用的是文獻(xiàn)[6]所述方法,。針對(duì)運(yùn)動(dòng)偵測(cè)的結(jié)果,，采用本文所述陰影檢測(cè)方法和文獻(xiàn)[9]、[10]所述陰影檢測(cè)方法進(jìn)行陰影檢測(cè),，去除陰影,。通過(guò)對(duì)比3種陰影檢測(cè)方法的檢測(cè)結(jié)果來(lái)評(píng)價(jià)本文方法的性能。其中,，本文方法中參數(shù)設(shè)置為：t1=t2=t3=1,，Δk=1。
圖2展示了3幅視頻幀圖像所對(duì)應(yīng)的Groundtruth以及采用3種陰影檢測(cè)方法得到的檢測(cè)結(jié)果,?？梢?jiàn)，文獻(xiàn)[9]所述方法能夠消除部分陰影,，但仍有明顯的陰影存在,，存在欠檢測(cè)問(wèn)題。文獻(xiàn)[10]所述方法消除陰影的同時(shí)還消除了部分目標(biāo),，存在過(guò)檢測(cè)問(wèn)題,。而本文方法基本上能夠消除所有陰影，而且基本上沒(méi)有破壞目標(biāo),，所得目標(biāo)檢測(cè)結(jié)果與Groundtruth最為接近,。
為了定量評(píng)價(jià)本文陰影檢測(cè)方法的性能，本文采用檢測(cè)率和檢測(cè)耗時(shí)兩個(gè)指標(biāo)進(jìn)行性能評(píng)價(jià),。其中,，檢測(cè)率表示為：
其中，AS是指檢測(cè)到的陰影像素點(diǎn)的總數(shù),，RS是指檢測(cè)正確的陰影像素點(diǎn)比例,，由檢測(cè)正確的陰影像素點(diǎn)總數(shù)DS與實(shí)際陰影像素點(diǎn)總數(shù)NS的商來(lái)表示。DS具體指檢測(cè)到的陰影像素點(diǎn)中不屬于Groundtruth中目標(biāo)像素點(diǎn)的像素點(diǎn)總數(shù),。NS具體指運(yùn)動(dòng)偵測(cè)得到的目標(biāo)像素點(diǎn)中不屬于Groundtruth中目標(biāo)像素點(diǎn)的像素點(diǎn)總數(shù),。
檢測(cè)耗時(shí)僅指陰影檢測(cè)所耗費(fèi)的時(shí)間，不包括運(yùn)動(dòng)偵測(cè)耗時(shí),。而且,，檢測(cè)耗時(shí)統(tǒng)計(jì)的是平均耗時(shí),，也即一幀圖像進(jìn)行陰影檢測(cè)所耗費(fèi)的平均時(shí)間。
圖3具體給出了3種方法對(duì)于6個(gè)視頻圖像序列的陰影檢測(cè)率指標(biāo)對(duì)比結(jié)果,?？梢?jiàn)，文獻(xiàn)[9]和文獻(xiàn)[10]所述方法的陰影檢測(cè)率指標(biāo)相當(dāng),。這是因?yàn)楸M管文獻(xiàn)[9]所述方法正確檢測(cè)的陰影像素點(diǎn)數(shù)量DS較文獻(xiàn)[10]所述方法偏少,，但檢測(cè)到的陰影像素點(diǎn)總數(shù)AS也少于文獻(xiàn)[10]所述方法,，所以最終得到的檢測(cè)率指標(biāo)相當(dāng),。而本文方法對(duì)每一個(gè)視頻圖像序列的陰影檢測(cè)率指標(biāo)都高于其他兩種方法，這是因?yàn)楸疚牟捎米顑?yōu)化理論尋找最優(yōu)解決方案,，虛檢和漏檢的陰影像素點(diǎn)較少,。
表1給出了3種陰影檢測(cè)方法對(duì)6個(gè)視頻圖像序列的檢測(cè)結(jié)果?？梢?jiàn),，本文方法的檢測(cè)正確率明顯優(yōu)于其他兩種方法，高出排在第二位文獻(xiàn)[9]所述方法17%,。另外,，3種方法的檢測(cè)耗時(shí)差異不大，本文方法的檢測(cè)耗時(shí)略高于文獻(xiàn)[9]所述方法,，但低于文獻(xiàn)[10]所述方法,。因此，綜合評(píng)價(jià),，本文的陰影檢測(cè)方法優(yōu)于所對(duì)比的其他兩種陰影檢測(cè)方法,。
4 結(jié)束語(yǔ)
本文提出了一種多特征融合及最小均方誤差優(yōu)化的陰影檢測(cè)方法，該方法以運(yùn)動(dòng)偵測(cè)檢測(cè)到的目標(biāo)為研究對(duì)象,，設(shè)計(jì)了一種多特征融合的相似度度量,，具體是針對(duì)R、G,、B 3個(gè)顏色通道提取相鄰幀之間像素點(diǎn)的亮度,、對(duì)比度和結(jié)構(gòu)特征，融合這3類特征的均值,、方差和協(xié)方差生成相似度度量,；同時(shí)，設(shè)計(jì)了一種基于最優(yōu)化理論的分割閾值自適應(yīng)求解方法,，依據(jù)最小均方誤差準(zhǔn)則設(shè)計(jì)目標(biāo)函數(shù),，通過(guò)最優(yōu)化方法求解最佳的像素點(diǎn)分割閾值。該方法可以作為光流法,、幀差法和背景差法等運(yùn)動(dòng)偵測(cè)方法的后處理步驟,，能夠有效檢測(cè)并消除運(yùn)動(dòng)偵測(cè)目標(biāo)中的陰影像素點(diǎn),。
參考文獻(xiàn)
[1] BEHNIA R，CLARK D A,，CARTER A G,，et al.Processing properties of on and off pathways for drosophila motion detection[J].Nature，2014,，512(7515)：427-30.
[2] SHINOMIYA K,，KARUPPUDURAI T，LIN T Y,，et al.Candidate neural substrates for off-edge motion detection in drosophila[J].Current Biology,，2014，24(10)：1062-70.
[3] OHTA N,，KANATANI K,，KIMURA K.Moving object detection from optical flow without empirical thresholds[J].IEICE Transactions on Information & Systems，2015,，81(2)：243-245.
[4] NAKAMURA M,，KANEOKE Y，WATANABE K,，et al.Visual information process in Williams syndrome：intact motion detection accompanied by typical visuospatial dysfunctions[J].European Journal of Neuroscience,，2015，16(9)：1810-1818.
[5] LEE J H,，YANG D,，KIM S，et al.Stretchable strain sensor based on metal nanoparticle thin film for human motion detection & flexible pressure sensing devices[J].Nanoscale,，2014,，6(20)：11932.
[6] 余燁，曹明偉,，岳峰.EVibe：一種改進(jìn)的Vibe運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].儀器儀表學(xué)報(bào),，2014，35(4)：924-931.
[7] 姜建國(guó),，李婷,，楊玲敏，等.c3通道高分辨率遙感圖像陰影檢測(cè)算法的改進(jìn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),，2015,，27(8)：1490-1497.
[8] 段志剛，屈靚瓊,，田建東,，等.基于正交分解的室外光照陰影檢測(cè)[J].光學(xué)學(xué)報(bào)，2016(8)：201-209.
[9] CHEN W.Moving shadow detection based on multi-feature analysis and gray-scale morphological filtering[J].Journal of Information & Computational Science,，2014,，11(8)：2535-2542.
[10] KHARE M,，SRIVASTAVA R K，KHARE A.Moving shadow detection and removal-a wavelet transform based approach[J].Computer Vision IET,，2014,，8(6)：701-717.
[11] 蔡念，周楊,，劉根,，等.魯棒主成分分析的運(yùn)動(dòng)目標(biāo)檢測(cè)綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2016,，21(10)：1265-1275.
[12] 田合雷,，丁勝，于長(zhǎng)偉,，等.監(jiān)控視頻中的移動(dòng)目標(biāo)偵測(cè)算法研究[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）,，2015(12)：1639-1642.
作者信息:
張 涵1,，閆懷平1,，張 展2
(1.安陽(yáng)工學(xué)院 計(jì)算機(jī)科學(xué)與信息工程，河南 安陽(yáng)455000,；2.河南理工大學(xué) 電氣學(xué)院,，河南 焦作454000)