張兆豐,，吳澤民,，杜麟，胡磊

　　(中國(guó)人民解放軍理工大學(xué) 通信工程學(xué)院,，江蘇 南京 210007)

       摘要：針對(duì)目標(biāo)在圖像邊界上帶來的檢測(cè)誤差,，提出了邊界顯著性算法。首先在多尺度下對(duì)圖像進(jìn)行超像素分割,，計(jì)算邊界差異,，估計(jì)其邊界顯著性。而后對(duì)所有超像素進(jìn)行模式挖掘,，得到顯著性種子,，并與邊界顯著性相結(jié)合。最后通過顯著性傳播得到最終顯著圖,。在三個(gè)公開的測(cè)試數(shù)據(jù)集上將本文提出算法與其他18種主流的現(xiàn)有算法進(jìn)行對(duì)比,。大量實(shí)驗(yàn)結(jié)果表明，所提出的算法在不同數(shù)據(jù)集上都優(yōu)于目前主流算法,。

　　關(guān)鍵詞：邊界顯著性,；多尺度；模式挖掘,；顯著性種子,；顯著性傳播

　　中圖分類號(hào)：TN919.85文獻(xiàn)標(biāo)識(shí)碼：ADOI： 10.19358/j.issn.1674-7720.2017.08.012

　　引用格式：張兆豐，吳澤民,，杜麟,，等.邊界顯著性與模式挖掘［J］.微型機(jī)與應(yīng)用，2017,36（8）：34-38.

0引言

　　*基金項(xiàng)目：國(guó)家自然科學(xué)基金（61501509）近年來,，計(jì)算機(jī)視覺受到了眾多學(xué)者的關(guān)注,，顯著性檢測(cè)作為降低計(jì)算復(fù)雜度的重要預(yù)處理過程，更是被廣泛應(yīng)用于目標(biāo)識(shí)別,、目標(biāo)跟蹤以及圖像分割等相關(guān)領(lǐng)域,。

　　顯著性檢測(cè)被劃分為兩個(gè)領(lǐng)域：一是眼動(dòng)點(diǎn)預(yù)測(cè)，這一類模型被廣泛應(yīng)用于生物學(xué),、神經(jīng)學(xué)等認(rèn)知領(lǐng)域,。另外就是本文所討論的顯著性目標(biāo)檢測(cè)。通常又將顯著性目標(biāo)檢測(cè)分為兩類：自頂向下的任務(wù)驅(qū)動(dòng)方法,，針對(duì)目標(biāo)的高級(jí)特征信息,，通過大量樣本的訓(xùn)練進(jìn)行檢測(cè)。與之相反,，自底向上的數(shù)據(jù)驅(qū)動(dòng)方法通常利用顏色,、紋理以及空間分布等低級(jí)特征獲取顯著圖。早期的一些方法基于中心優(yōu)先,，通過計(jì)算目標(biāo)與其周圍環(huán)境對(duì)比度得到顯著圖,。自從Wei Yichen［1］首先提出利用圖像邊界作為背景的思路后,，越來越多的算法采用背景優(yōu)先或邊界優(yōu)先，并取得了較好的檢測(cè)效果,。這類方法通常將邊界區(qū)域作為背景,，雖然大多數(shù)情況下圖像邊界很有可能成為背景，但是對(duì)于傳統(tǒng)的背景優(yōu)先算法將所有的邊界歸為背景并不合理,。

　　本文主要針對(duì)上述問題,，提出邊界顯著性，并與模式挖掘相結(jié)合,，從而同時(shí)利用目標(biāo)和邊界特征,，更好地將多特征整合。最終得到的結(jié)果優(yōu)于其他先進(jìn)算法,。

1相關(guān)工作

　　早期的一些圖像顯著性檢測(cè)算法,，通常是基于中心優(yōu)先。這一類算法大多從圖像中顯著目標(biāo)與背景區(qū)域?qū)Ρ榷炔町惖慕嵌瘸霭l(fā),，計(jì)算局部或者全局對(duì)比度,。但是基于對(duì)比度的中心優(yōu)先算法存在以下缺陷：首先對(duì)于局部對(duì)比度，目標(biāo)的邊緣區(qū)域與背景特征差別較大,，對(duì)比度自然較高,，但是目標(biāo)內(nèi)部對(duì)比度相差不大的，反映到最終的顯著圖上很容易造成目標(biāo)相對(duì)清晰高亮,，而內(nèi)部模糊不清,，整體性較差。而對(duì)于全局對(duì)比度,，當(dāng)背景特征與目標(biāo)相似時(shí)誤檢的可能性較高,。而且基于中心優(yōu)先的算法對(duì)目標(biāo)的所在位置與尺寸大小有較強(qiáng)的針對(duì)性，對(duì)于大尺寸目標(biāo)和目標(biāo)在邊界上這類情況,，檢測(cè)效果往往較差。

　　區(qū)別于中心優(yōu)先,，近來,，越來越多的顯著性檢測(cè)算法利用背景優(yōu)先構(gòu)建顯著圖。Wei Yichen最早提出背景優(yōu)先這一概念,，將圖像邊界默認(rèn)為背景,，對(duì)分割后的圖像，計(jì)算分割塊到邊界的測(cè)地線距離來衡量其顯著性,。文獻(xiàn)［2］在此基礎(chǔ)上提出了邊界連通度這一概念,，并給出了可以推廣到其他模型上的優(yōu)化算法。諸如此類的背景優(yōu)先算法大多有一個(gè)共同的缺陷,，對(duì)于所有邊界都不加區(qū)分地作為背景對(duì)待,，因此對(duì)于目標(biāo)在邊界上這類情況,，檢測(cè)效果沒有從根本上得到提升。

　　為了更好地解決目標(biāo)在邊界上帶來的一系列問題,，本文提出了一種邊界顯著性算法,，并與模式挖掘相結(jié)合。圖1為本文算法流程圖,，首先對(duì)輸入圖像在多尺度上進(jìn)行超像素分割,，而后對(duì)所有邊界計(jì)算邊界差異，從而估計(jì)其邊界顯著性,。同時(shí)對(duì)所有超像素進(jìn)行模式挖掘,，得到顯著性種子，并結(jié)合邊界顯著性結(jié)果,，對(duì)得到的種子加以顯著性傳播,，最終得到顯著圖。

　　2圖的構(gòu)建

　　目前超像素分割已經(jīng)融入到計(jì)算機(jī)視覺,、模式識(shí)別等各個(gè)研究領(lǐng)域,。利用超像素作為圖像處理的基本單元，大幅度降低了直接處理像素的算法復(fù)雜度,。本文選取了簡(jiǎn)單線性迭代聚類（Simple Linear Iterative Clustering ,，SLIC）［3］進(jìn)行超像素分割，不僅基本保留了圖像原本的結(jié)構(gòu)化信息,，而且使得到的區(qū)域如同細(xì)胞一樣排列比較緊湊規(guī)整,，可以把以前基于像素的方法加以改造后應(yīng)用，統(tǒng)計(jì)特征也比較好保持,。

　　對(duì)于一般圖像而言,，圖像中的物體尺度各不相同，待檢測(cè)的顯著目標(biāo)也就會(huì)有多種尺度,。因此最終的顯著性檢測(cè)的結(jié)果與超像素的數(shù)量是有很大關(guān)系的,，如果從單一尺度進(jìn)行顯著性檢測(cè)，很有可能導(dǎo)致最終檢測(cè)不準(zhǔn)確,。為了最大程度降低尺度上帶來的影響,，本文在三個(gè)不同尺度上對(duì)圖像進(jìn)行分割，超像素個(gè)數(shù)分別是300,，400和500,。以超像素V為節(jié)點(diǎn)，鄰接超像素之間為邊E,，構(gòu)造一個(gè)無向加權(quán)圖G=(V,E),。相鄰節(jié)點(diǎn)間權(quán)重定義如下：

　　其中ci和cj分別代表節(jié)點(diǎn)i和j在CIELab色彩空間上的平均顏色值，ci－cj代表兩個(gè)節(jié)點(diǎn)在CIELab色彩空間上的歐氏距離,。σ是權(quán)重控制參數(shù),，反映了超像素之間的差異,，一般手動(dòng)設(shè)置其大小。當(dāng)圖像中顏色差異較大時(shí),，σ的值相應(yīng)較大,；當(dāng)圖像整體顏色差異較小時(shí)，σ的值相應(yīng)較小,。參照文獻(xiàn)［4］依據(jù)超像素顏色的差異來自適應(yīng)計(jì)算σ值:

　　其中,，m=14N2s∑Nsi,j=1ci－cj，Ns 表示超像素的總數(shù),。

3邊界顯著性與模式挖掘

　　3.1邊界顯著性

　　現(xiàn)有的顯著性檢測(cè)算法對(duì)于普通的目標(biāo)與背景區(qū)分效果較好,，但是當(dāng)目標(biāo)的一部分位于邊界上時(shí)，如圖2所示,，很多基于背景優(yōu)先的算法也無法給出較好的檢測(cè)結(jié)果,。這是由于傳統(tǒng)基于背景優(yōu)先的檢測(cè)算法沒有對(duì)邊界加以區(qū)分，直接把所有邊界都當(dāng)作背景處理所導(dǎo)致的,。因此本文提出了邊界顯著性這一概念,，對(duì)邊界上目標(biāo)出現(xiàn)的可能性進(jìn)行估計(jì)，從而提升最終檢測(cè)效果,。

　　通過對(duì)大量圖像樣本的統(tǒng)計(jì)發(fā)現(xiàn),，對(duì)于目標(biāo)在邊界上的圖像，如果把所有邊界超像素視為一個(gè)連通區(qū)域,，大多數(shù)情況下只有相對(duì)較小的一部分是顯著目標(biāo),，而且顯著目標(biāo)和背景往往在顏色分布上有著明顯的區(qū)別。因此借鑒文獻(xiàn)［5］,、［6］,，在RGB色彩空間上分別計(jì)算邊界的像素分布。

　　其中B={top, bottom, left, right}代表圖像的四條邊界,，h=0,1,2,，…，255代表不同的亮度區(qū)間,，NB代表邊界連通區(qū)域像素總數(shù),，Ip代表像素p的亮度，δ(·)表示單位脈沖響應(yīng)函數(shù),。然后計(jì)算邊界像素分布間的馬氏距離（Mahalanobis Distance, MD），構(gòu)造邊界差異矩陣：

　　其中MDcolor(B1,B2)表示在不同顏色通道下,，邊界B1和B2之間的馬氏距離,。color=

　　其中Ccolor表示在不同顏色通道下的協(xié)方差矩陣。得到4×4的邊界差異矩陣D,，將矩陣每一列元素加和,，最終得到每條邊界與其他邊界的差異度：

　　dn=∑4m=1D(Bn,Bm)（6）

　　以負(fù)指數(shù)函數(shù)估計(jì)邊界上存在目標(biāo)的概率從而表示邊界顯著性：

　　S(Bn)=1－exp(－(dn/dmin－1))（7）

　　其中dmin=min{di}i=1,，…，4為差異度最小的邊界,，即邊界上存在目標(biāo)的可能性最小,，因此邊界顯著性為0。其余邊界差異度越大,，目標(biāo)在邊界上的可能性就越大,，與之對(duì)應(yīng)的邊界顯著性越大。

　　3.2基于邊界顯著性改進(jìn)的模式挖掘算法

　　模式挖掘最早應(yīng)用在市場(chǎng)營(yíng)銷分析,，近年來逐漸被應(yīng)用到計(jì)算機(jī)視覺領(lǐng)域,。文獻(xiàn)［7］利用模式挖掘，在先驗(yàn)顯著圖的基礎(chǔ)上尋找可靠的種子節(jié)點(diǎn)：

　　supp(A)>t1

　　conf(A→pos)>t2（8）

　　其中supp(·)代表支持度,，conf(·)代表置信度,，A代表頻繁項(xiàng)集，pos代表正樣本（即顯著）標(biāo)簽,，t1和t2分別是支持度和置信度的篩選閾值參數(shù),，根據(jù)文獻(xiàn)［7］分別設(shè)置為90%和20%。最終得到的顯著性種子集合記為L(zhǎng),。f={f1,f2,…,，fNs}T代表節(jié)點(diǎn)標(biāo)簽向量，結(jié)合第3節(jié)中提到的邊界顯著性,，對(duì)f初始化如下：

　　對(duì)于模式挖掘得到的顯著性種子,，初始化為1；對(duì)于不是顯著性種子但位于邊界上的節(jié)點(diǎn),，按其邊界顯著度初始化,；對(duì)于其他節(jié)點(diǎn)則初始化為0。

　　而后利用隨機(jī)游走模型進(jìn)行顯著性傳播：

　　公式(10)~(12)分別代表隨機(jī)游走（Random Walking, RW）,、拉普拉斯算子（Laplacian, La）,、先驗(yàn)顯著圖（Priori Saliency, PS）。N(i)代表節(jié)點(diǎn)i的鄰接節(jié)點(diǎn),，yi代表先驗(yàn)顯著圖中節(jié)點(diǎn)i的顯著值,，α和β 是權(quán)重控制參數(shù)，分別取值0.5和0.01,。

　　argminf{RW+La+PS}

　　s.t.fi=1,i∈L（13）

　　公式(13)中分別考慮了傳統(tǒng)的隨機(jī)游走,、二次拉普拉斯算子、先驗(yàn)顯著圖對(duì)于最終顯著檢測(cè)結(jié)果的影響,。

4實(shí)驗(yàn)結(jié)果

　　4.1實(shí)驗(yàn)設(shè)置

　　測(cè)試數(shù)據(jù)集：本文在3個(gè)公開數(shù)據(jù)集對(duì)提出的算法進(jìn)行測(cè)試,，并與其他18種顯著性檢測(cè)模型做橫向比對(duì)。下面分別說明本文使用的3個(gè)數(shù)據(jù)集的不同特點(diǎn)。

　　MSRA：1 000張圖像,，含有像素級(jí)的真值標(biāo)準(zhǔn),，大部分圖像為單一目標(biāo)，但是很多圖像中目標(biāo)在邊界上,，存在一定的挑戰(zhàn)性,。

　　SED2：100張圖像，含有像素級(jí)的真值標(biāo)準(zhǔn),，雖然圖像規(guī)模較小,，但是所有圖像都存在兩個(gè)目標(biāo)，并且大多數(shù)目標(biāo)位于邊界上,，挑戰(zhàn)難度很大,。

　　ECSSD：1 000張圖像，含有像素級(jí)的真值標(biāo)準(zhǔn),。背景比較復(fù)雜,，存在很多大尺度目標(biāo)而且有很多位于邊界上的目標(biāo)，挑戰(zhàn)難度很大,。

　　對(duì)比算法：SR,，F(xiàn)T，LC,，HC,，SF，GS,，RC,，GC，PCA,，HS,，MR，MC,，DSR,，HDCT，RBD,，RRWR,，wCOBD和PM。其中GS［1］,，MR［8］,，MC［9］，DSR［10］,，RBD［2］和wCOBD［11］為近年來比較優(yōu)秀的基于背景優(yōu)先的顯著性檢測(cè)算法,。

　　評(píng)價(jià)指標(biāo)：為了更加全面地衡量本文提出算法的檢測(cè)性能,，通過準(zhǔn)確度召回率（PrecisionRecall,，PR）曲線,、Fmeasure、平均絕對(duì)誤差（Mean Absolute Error,，MAE）和AUC（Area Under ROC（Receiver Operating Characteristics,，接收者操作特性） Curve，ROC曲線下面積）對(duì)所有算法進(jìn)行評(píng)價(jià),。

　　本文所有試驗(yàn)都是在MATLAB平臺(tái)上實(shí)現(xiàn)的,，所應(yīng)用的計(jì)算機(jī)配置為Intel E52620，CPU 2 GHz,，96 GB RAM,。

　　4.2定性分析

　　圖3展示了包括本文所提出的算法在內(nèi)共19中顯著檢測(cè)模型最終生成的顯著圖。其中既包含了經(jīng)典的中心優(yōu)先算法,，也包含了近年來優(yōu)秀的背景優(yōu)先算法,。選取了不同類型的圖像作為示例加以說明。對(duì)于第一個(gè)檢測(cè)樣本,，目標(biāo)表現(xiàn)出不同的顏色特征（蝴蝶翅膀黑白相間）,，一些算法不能很好地給出完整一致的目標(biāo)整體，而且圖像邊界上存在干擾目標(biāo),。對(duì)于第二個(gè)檢測(cè)樣本,，背景區(qū)域和前景目標(biāo)顏色區(qū)分較小，導(dǎo)致一些基于顏色對(duì)比度的檢測(cè)算法檢測(cè)失敗,。對(duì)于第三個(gè)檢測(cè)樣本,，目標(biāo)內(nèi)部顏色對(duì)比度明顯，導(dǎo)致部分算法對(duì)目標(biāo)整體性估計(jì)不足（大多只能較好地檢測(cè)黃色花蕊,，但是對(duì)于紅色花瓣檢測(cè)效果欠佳）,，而且背景區(qū)域存在小尺度噪聲。第四和第五個(gè)檢測(cè)樣本顯著目標(biāo)均位于邊界上,，而且在第五個(gè)檢測(cè)樣本中背景區(qū)域存在其他干擾目標(biāo),，導(dǎo)致部分算法對(duì)于邊界目標(biāo)顯著性估計(jì)不足。

　　本文算法由于結(jié)合了邊界顯著性與模式挖掘,，在原有基礎(chǔ)上加強(qiáng)了對(duì)邊界信息的處理能力,，而且由于在多尺度上計(jì)算，很大程度上避免了不同尺度噪聲帶來的影響,。對(duì)于不同場(chǎng)景檢測(cè)效果較好,，魯棒性較強(qiáng)。

　　4.3定量分析

　　本文首先利用P-R曲線對(duì)所有算法進(jìn)行評(píng)價(jià),。在計(jì)算機(jī)視覺領(lǐng)域,，P-R曲線是一種常用指標(biāo)。首先將得到的圖5三個(gè)數(shù)據(jù)集上不同算法的Fmeasure曲線顯著圖量化到［0,255 ］區(qū)間內(nèi)，按照一定的閾值分割得到二值圖,，然后參照真值圖,，計(jì)算準(zhǔn)確度和召回率。

　　如圖4所示,，在三個(gè)數(shù)據(jù)集上測(cè)試結(jié)果顯示,，本文所提算法與其他算法相比，檢測(cè)結(jié)果表現(xiàn)較好,。

　　通常準(zhǔn)確度和召回率難以同時(shí)保證,，為了綜合評(píng)價(jià)顯著圖的質(zhì)量，本文采用Fmeasure曲線進(jìn)一步對(duì)所有算法進(jìn)行評(píng)價(jià),。其實(shí)質(zhì)是準(zhǔn)確度和召回率的調(diào)和平均,。

　　圖5給出了本文算法與其他算法的F-measure曲線，可以看出本文算法整體上優(yōu)于其他算法,。

　　為了進(jìn)一步對(duì)所有算法進(jìn)行比較,，還分別計(jì)算了不同算法的AUC。AUC值可以很好地反映不同算法的正確率和誤警率,。表1給出了不同算法的AUC值,。

　　最后，用MAE來衡量顯著圖與真值之間的相似程度,，其值在［0, 1］區(qū)間內(nèi),，值越小代表性能越好。表2給出了所有算法的MAE值,，反映出本文所提算法在不同數(shù)據(jù)集上都與真值更加接近,。

　　從上述四種評(píng)價(jià)指標(biāo)的結(jié)果來看，尤其是與GS,，MR,，MC，DSR,，RBD和wCOBD這些基于背景優(yōu)先的檢測(cè)算法相比,，本文算法性能有所提升，證明本文所提出的邊界顯著性的有效性,，而且在不同數(shù)據(jù)集上均有相對(duì)較好的表現(xiàn),，證明了本文算法有較強(qiáng)的魯棒性。

5結(jié)論

　　本文提出了邊界顯著性算法,。在多個(gè)尺度上對(duì)圖像進(jìn)行處理,，從而降低了目標(biāo)尺度不同造成的檢測(cè)誤差。并與模式挖掘像結(jié)合,，有效地解決了目前算法對(duì)于邊界的顯著性估計(jì)不足的問題,。在三個(gè)數(shù)據(jù)集上,，對(duì)本文所提模型與其他18種先進(jìn)顯著性檢測(cè)模型進(jìn)行對(duì)比，大量實(shí)驗(yàn)說明本文模型能夠取得更好的檢測(cè)結(jié)果,，有較強(qiáng)的魯棒性,。

參考文獻(xiàn)

　　［1］ Wei Yichen, Wen Fang, Zhu Wangjiang, et al. Geodesic saliency using background priors［C］. 12th European Conference on Computer Vision (ECCV), Florence, Italy, 2012: 29-42.

　?。?］ Zhu Wangjiang, Liang Shuang, Wei Yichen, et al. Saliency optimization from robust background detection［C］.IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, USA, 2014: 2814-2821.

　?。?］ ACHANTA R,SHAJI A, SMITH K, et al. Slic superpixels compared to stateoftheart superpixel methods［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2281.

　　［4］ 劉杰, 王生進(jìn). 融合聚類與排序的圖像顯著區(qū)域檢測(cè)［J］. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016(9):913-919.

　?。?］ 楊雪. 基于視覺感知的圖像顯著區(qū)域的提取［J］. 微型機(jī)與應(yīng)用, 2015, 34(2):47-48.

　?。?］ LI Changyang, Yuan Yuchen,Cai Weidong, et al. Robust saliency detection via regularized random walks ranking［C］. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015:2710-2717.

　?。?］ Kong Yuqiu, Wang Lijun, Liu Xiuping, et al. Pattern Mining Saliency［C］. 15th European Conference on Computer Vision (ECCV), Amsterdam, Holland, 2016: 583-598.

　　［8］ Yang Chuan, Zhang Lihe, Lu Huchuan, et al. Saliency detection via graphbased manifold ranking［C］. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Portland, USA, 2013. 31663173.

　?。?］ Jiang Bowen, Zhang Lihe, Lu Huchuan, et al. Saliency detection via absorbing Markov chain［C］. IEEE Conference on Computer Vision (ICCV), Sydney, Australia, 2013: 1665-1672.

　?。?0］ Li Xiaohui, Lu Huchuan, Zhang Lihe, et al. Saliency detection via dense and sparse reconstruction［C］. IEEE Conference on Computer Vision (ICCV), Sydney, Australia, 2013: 2976-2983.

　　［11］ Jiang Qingzhu, Wu Zemin, Tian Chang, et al. Salient object detection based on discriminative boundary and multiple cues integration［J］. Journal of Electronic Imaging, 2016, 25(1): 1-14.