文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.165978
中文引用格式: 劉芳輝,,郭慧,張培,,等. 基于基元自相關(guān)圖和結(jié)構(gòu)元直方圖的圖像檢索[J].電子技術(shù)應(yīng)用,,2017,43(8):115-118.
英文引用格式: Liu Fanghui,,Guo Hui,,Zhang Pei,et al. Image retrieval based on texton autocorrelograms and structure element histogram[J].Application of Electronic Technique,,2017,,43(8):115-118.
0 引言
隨著科學(xué)技術(shù)的迅速發(fā)展,基于內(nèi)容的圖像檢索技術(shù)[1]在諸多領(lǐng)域中的應(yīng)用變得越來越廣泛,。但是圖像數(shù)據(jù)庫中的圖像也大幅度增加,,且內(nèi)容也愈加豐富多彩,這對(duì)于如何在大數(shù)據(jù)庫中實(shí)現(xiàn)快速準(zhǔn)確的檢索無疑帶來了一定的困難,,且由于單一特征本身的局限性,,這就使得基于單一的檢索系統(tǒng)精度不高,因而基于多特征融合的檢索方法已成為當(dāng)前主要研究的方向,。
當(dāng)前描述圖像內(nèi)容的主要索引特征是顏色,、紋理,、形狀和空間關(guān)系[2-4],。其中顏色和紋理特征是應(yīng)用最為廣泛的兩個(gè)特征,在顏色特征方面,,主要方法有顏色直方圖,、顏色矩、顏色集法等[5],。其中顏色直方圖[6]在描述圖像整體特征時(shí)運(yùn)用較廣泛,,但其缺乏顏色空間信息的描述,導(dǎo)致檢索精度不高,。針對(duì)這個(gè)問題,,文獻(xiàn)[7]提出以顏色相關(guān)圖為特征的圖像檢索方法來描述顏色的空間信息,但是計(jì)算量大且空間相關(guān)性較弱,。為此,,文獻(xiàn)[8]在基元的基礎(chǔ)上提出基元自相關(guān)圖的檢索方法,但顏色空間相關(guān)性有待提高,,且顏色索引誤差大,、抗噪性差。為此,,本文采用一種改進(jìn)的基元來描述顏色空間信息,,以克服上述存在的問題。
在紋理特征方面,,文獻(xiàn)[9]提出一種基于結(jié)構(gòu)量化的圖像檢索方法,,文獻(xiàn)[10]提出一種基于結(jié)構(gòu)元的圖像檢索方法,該方法很好地描述圖像的紋理特征,且在一定程度上也表達(dá)了顏色和紋理特征之間的相關(guān)性,。故在此基礎(chǔ)上,,本文采用一種改進(jìn)的結(jié)構(gòu)元,使其在提取紋理特征時(shí)結(jié)構(gòu)的內(nèi)在連續(xù)性和空間表達(dá)性更強(qiáng),。
1 顏色空間的選取與量化
根據(jù)人眼視覺特征先將圖像從RGB顏色模型經(jīng)過非線性變換[11]成HSV模型,,并將其非等間距量化為63種顏色,其中色調(diào)H分為7份,,飽和度S分為3份,,亮度V分為3份。將其合成一維特征矢量L,,即:L=QSQVH+QVS+V,,其中QS和QV都取3,故L=9H+3S+V,,且L的取值范圍是[0,,1,2,,…,,62]。
2 顏色代表值的確定
本文采用3×3單元格將大小為M×N的圖像均勻劃分成(M/3)×(N/3)個(gè)子塊,,其中每個(gè)子塊含有9個(gè)像素,。為了降低計(jì)算復(fù)雜度和增強(qiáng)算法的抗噪性,本文利用(μ+σ,,μ-σ)作為閾值的上下界進(jìn)行比較,,其中μ和σ的計(jì)算公式如式(1)和(2)所示,若子塊內(nèi)像素顏色值大小在閾值范圍內(nèi),,則賦值為1,;反之,賦值為0,,最后統(tǒng)計(jì)該子塊中非零的個(gè)數(shù),,作為該子塊的顏色代表值。
其中,,c(i,,j)是像素點(diǎn)(i,j)的顏色值,。
該方法的抗噪性更強(qiáng),,它可以解決顏色代表值受噪聲影響的問題,具體如圖1所示,。
3 基元自相關(guān)圖
基元的類型有很多,,但通常將具有相同顏色值的兩個(gè)像素點(diǎn)構(gòu)成一種基元,正如文獻(xiàn)[8]中提出的4種基元一樣,如圖2所示,。但是該4種基元在表達(dá)顏色空間信息時(shí)空間相關(guān)性不強(qiáng),,對(duì)此本文進(jìn)行改進(jìn)并提出一種內(nèi)在連續(xù)性和顏色空間相關(guān)性更強(qiáng)的基元,分別如圖3所示5種基元,,圖中陰影表示這些像素的顏色代表值相等,,且含有不同陰影的基元各代表不同的類型。
從左上角開始,,以2個(gè)子塊包含的像素為步長,,從左至右、從上到下移動(dòng)大小為3×3的基元,,并檢測基元出現(xiàn)的類型,。其中經(jīng)基元檢測后只能保持基元像素的顏色代表值不變,而其他像素顏色代表值都置為0,。待檢測結(jié)束后,,按如下規(guī)則進(jìn)行組合:(1)若5個(gè)基元分量圖像中對(duì)應(yīng)位置的像素顏色代表值非零且都相等,則組合后仍為原值,;(2)若其對(duì)應(yīng)位置的像素顏色代表值分別為非零值和零值,,則組合后為原非零值。
若其中一個(gè)顏色代表值為c的子塊A出現(xiàn)的概率為P(A),,如果任意一個(gè)與子塊A相鄰的子塊B,,它的顏色代表值也為c,則由概率條件可得式(3),,其中P(B|A)表達(dá)了基元圖像的顏色空間特征,即基元自相關(guān)圖,。
4 結(jié)構(gòu)元直方圖
紋理特征也是表達(dá)圖像信息的一種重要方法,,在文獻(xiàn)[10]提出一種結(jié)構(gòu)元直方圖的方法。其中含有5種結(jié)構(gòu)元,,具體如圖4所示,。為了更好地表達(dá)紋理特征的內(nèi)在關(guān)聯(lián)性和適應(yīng)性,本文提出一種內(nèi)在連續(xù)性更強(qiáng)的結(jié)構(gòu)元,,如圖5所示,。
從左上角開始,以2個(gè)子塊包含的像素為步長,,從左至右,、從上到下移動(dòng)大小為3×3的結(jié)構(gòu)元,檢測出基于每一種顏色代表值下的結(jié)構(gòu)元類型,。當(dāng)用本文的結(jié)構(gòu)元描述子檢測時(shí)可得到10張結(jié)構(gòu)元描繪子圖,,并將其量化為結(jié)構(gòu)元直方圖。
設(shè)|T1,i|,,|T2,,i|,|T3,,i|,,|T4,i|和|T5,,i|分別表示為在第i層中統(tǒng)計(jì)得到的結(jié)構(gòu)元類型的個(gè)數(shù),,為了避免受圖像發(fā)生縮放而導(dǎo)致尺寸大小不同的影響,本文采用如下公式對(duì)其進(jìn)行歸一化處理:
其中,,tki為歸一化后的值,,k的值代表第k個(gè)結(jié)構(gòu)元,且k∈(1,,5),;i的值代表子塊的顏色代表值,且i∈(0,,9),。
對(duì)于查詢圖像P的結(jié)構(gòu)元直方圖特征為P=(p0,p1,,p2,,…,p49),,圖像庫Q中每幅圖像的結(jié)構(gòu)元直方圖特征為Q=(q0,,q1,q2,,…,,q49),這樣相對(duì)于63維特征向量來說,,簡化了計(jì)算量,,同時(shí)該基元具有更強(qiáng)的空間性,所以能保證檢索的精度,。本文采用式(6)來計(jì)算查詢圖像P和圖像庫Q中圖像的相似度,。
5 實(shí)驗(yàn)結(jié)果與分析
本文采用的圖像數(shù)據(jù)庫是由Corel-5000圖像庫中的6類圖像構(gòu)成,其中包含人物,、海灘,、建筑、公交,、美食和花卉,,每類未受噪聲的圖像各90幅,,加噪后的圖像每類10幅,總共600幅圖像,。
實(shí)驗(yàn)采用Windows XP操作系統(tǒng),,開發(fā)工具為Visual C++ 6.0。從每類圖像中隨機(jī)抽取10幅圖像作為查詢圖像進(jìn)行檢索,,總共進(jìn)行60次查詢,,每次查詢都選取前15幅最相似的圖像作為實(shí)驗(yàn)的結(jié)果。利用查準(zhǔn)率,、平均排序比值作為實(shí)驗(yàn)性能的評(píng)價(jià)標(biāo)準(zhǔn),,對(duì)于每類圖像而言,將其10次查詢結(jié)果的查準(zhǔn)率平均值作為該類圖像檢索結(jié)果的平均查準(zhǔn)率,;對(duì)于平均排序比值S的定義如下:設(shè)在查詢后返回R幅圖像中含有M幅相關(guān)圖像,、N幅實(shí)際相關(guān)圖像,ρr為相關(guān)圖像的排序號(hào),,則平均排序的計(jì)算公式如式(7),,若S的值越接近1,則排序效果越好,。
(1)實(shí)驗(yàn)1:本文首先應(yīng)該統(tǒng)計(jì)w1和w2值的變化對(duì)本文算法檢索效果的影響,,從而確定最佳的加權(quán)值。表1統(tǒng)計(jì)了本文方法在不同權(quán)值下的圖像檢索平均查準(zhǔn)率,。
由表1可知,,考慮到每類語義圖像的平均查準(zhǔn)率,故當(dāng)w1=0.6,、w2=0.4時(shí),,該方法的綜合平均查準(zhǔn)率最高。由于除了結(jié)構(gòu)元直方圖可以表達(dá)紋理信息外,,基元自相關(guān)圖在一定程度上描述了紋理信息,,因此這也解釋了w1的值要盡量比w2的值取大一些。此外,,綜合這兩種特征對(duì)圖像數(shù)據(jù)庫中的圖像進(jìn)行檢索,具體統(tǒng)計(jì)結(jié)果如表2所示,。
(2)實(shí)驗(yàn)2:分別進(jìn)行4組對(duì)比實(shí)驗(yàn):①以顏色自相關(guān)圖(CAC)為特征進(jìn)行圖像檢索,;②以文獻(xiàn)[8]方法進(jìn)行圖像檢索;③以文獻(xiàn)[10]方法進(jìn)行圖像檢索,;④以本文方法進(jìn)行圖像檢索,。以海灘圖像為關(guān)鍵圖進(jìn)行4組實(shí)驗(yàn)的檢索結(jié)果分別如圖6(a)~圖6(d)所示。表3統(tǒng)計(jì)了4種檢索方法對(duì)海灘圖像經(jīng)過10次檢索后的結(jié)果,,表4統(tǒng)計(jì)了4種檢索方法對(duì)圖像庫中各種圖像檢索后的結(jié)果,。表5統(tǒng)計(jì)了4種檢索方法的平均查準(zhǔn)率和平均排序比值S,。
由表3可知,采用本文方法檢索時(shí)的平均查準(zhǔn)率最高,,且平均排序比值S也最接近1,,本文方法的總體效果最優(yōu)。由表4和表5的數(shù)據(jù)統(tǒng)計(jì)結(jié)果可以看出,,本文方法對(duì)相似圖像的查準(zhǔn)率和相似圖像輸出的排序值都有所提升,,證明了本文方法的有效性。在表4中,,由于海灘和建筑類圖像顏色和紋理信息都比較復(fù)雜,,因此海灘和建筑類圖像在綜合兩者特征下檢索的提升效果最好;同時(shí)由于花卉主要含較為單一的顏色信息,,且紋理信息不復(fù)雜,,因此對(duì)于花卉類圖像來說,采用本文方法相較于顏色自相關(guān)圖,、文獻(xiàn)[8]中方法來說,,其提升效果沒有其他組大,但總的來說,,在本文方法檢索下的查準(zhǔn)率和相似圖像輸出的排序值都有所提升,。在表5中,本文算法的檢索效果要明顯優(yōu)于顏色自相關(guān)圖,、文獻(xiàn)[8],、文獻(xiàn)[10]。綜上所述,,本文算法有效地提高了圖像的檢索精度,,改善了相關(guān)圖像的排序值,并具有很好的抗噪性,。
6 結(jié)論
本文首先將RGB圖像非等間距的量化為63種顏色,,同時(shí)為了簡化計(jì)算和減小顏色索引誤差,采用3×3單元格將圖像進(jìn)行不重疊分塊,,然后又提出了用子塊顏色代表值代替顏色值的方法以增強(qiáng)算法的抗噪性,,最后提取其基元自相關(guān)圖和結(jié)構(gòu)元直方圖特征,并且綜合這兩個(gè)特征進(jìn)行相似性度量,。實(shí)驗(yàn)結(jié)果表明,,本文方法有效地提高了檢索精度,改善了相關(guān)圖像的排序值,,并具有較好的抗噪性,。此外,對(duì)于如何將其他特征相結(jié)合起來,,將是下一步研究的內(nèi)容,。
參考文獻(xiàn)
[1] 蔣琳瓊,,戴青云.一種改進(jìn)的基于內(nèi)容的圖像檢索系統(tǒng)研究[J].軟件導(dǎo)刊,2013,,12(1):168-170.
[2] BAI C,,ZOU W,KPALMA K,,et al.Efficient color texture image retrieval by combination of color and texture features in wavelet domain[J].Electronics Letters,,2012,48(23):1463-1465.
[3] 張永庫,,李云峰,,孫勁光.基于多特征高效索引的圖像檢索[J].計(jì)算機(jī)工程與應(yīng)用,2016,,52(7):181-186.
[4] 孫君頂,,郭啟強(qiáng),周雪梅.基于顏色和紋理特征的彩色圖像檢索[J].計(jì)算機(jī)工程與應(yīng)用,,2010,,46(29):176-178.
[5] JYOTHI B,MADHAVEELATHA Y,,MOHAN P G K,,et al.Integrated multiple features for tumor image retrieval using classifier and feedback methods[J].Procedia Computer Science,2016,,85(4):141-148.
[6] LEW M S,,SEBE N,DJERABA C,,et al.Content-based multi-media information retrieval:state of the art and challenges[J].ACM Transactions on Multimedia Computing,,Communications,and Applications,,2006,,2(1):1-19.
[7] HUANG J,KUMAR S R,,MITRA M,,et al.Spatial color indexing and applications[C].Proc.of the 6th International Conference on Computer Vision.Bombay,India:IEEE Press,,1998.
[8] 劉廣海,,王強(qiáng).基于基元自相關(guān)圖的圖像檢索[J].計(jì)算機(jī)科學(xué),2009,,27(3):166-169.
[9] 金蓮芳,覃團(tuán)發(fā),,王海霞.基于結(jié)構(gòu)量化直方圖的圖像檢索方法[J].中國圖像圖形學(xué)報(bào),,2006,,11(2):180-185.
[10] Wang Xingyuan,Wang Zongyu.A novel method for image retrieval based on structure elements’ descriptor[J].Visual Communication and Image Representation,,2013,,24(1)63-74.
[11] OTA S,TAMURA M,,F(xiàn)UJITA K.A hybird method for real-time animation of trees swaying in wind fields[J].The Visual Computer,,2004,20(10):613-623.
作者信息:
劉芳輝,,郭 慧,,張 培,周邵萍
(華東理工大學(xué) 機(jī)械與動(dòng)力工程學(xué)院,,上海200237)