摘 要: SIFT算法是提取圖像局部特征的算法,,應(yīng)用于物體識別,、圖像匹配等領(lǐng)域,對于旋轉(zhuǎn)、尺度縮放,、亮度變化保持不變,,對于視角變化、噪聲等也保持一定程度的穩(wěn)定不變性,。為了提高光照不變性,,獲得更高的識別率,在SIFT特征描述子中加入顏色信息,。對SIFT特征進(jìn)行深入的研究,分析了SIFT算法,,歸納總結(jié)了SIFT彩色描述子的研究現(xiàn)狀,,給出了彩色描述子SIFT的性能評價及其發(fā)展趨勢。
關(guān)鍵詞: SIFT算法,; 局部特征,; 彩色描述子; 性能評價
隨著多媒體技術(shù),、計算機(jī)技術(shù)迅速發(fā)展,,Internet上呈現(xiàn)大量的圖像信息。圖像中包含了很多的物體特性,,其中顏色是非常重要的特征之一,,顏色包含了圖像中更多有價值的識別信息。SIFT算法提取圖像局部特征,成功應(yīng)用于物體識別,、圖像檢索等領(lǐng)域,。該算法由DAVID G.L.于1999年提出[1],并于2004年進(jìn)行了發(fā)展和完善[2],,MIKOLAJCZYK[3]對多種描述子進(jìn)行實驗分析,,結(jié)果證實了SIFT描述子具有最強(qiáng)的魯棒性。然而這些描述子僅利用圖像的灰度信息,,忽略了圖像的彩色信息,。為了提高光照不變性,獲得更高的識別率,,研究者提出了基于顏色不變特性的SIFT彩色描述子,。目前彩色描述子主要分為基于顏色直方圖、基于顏色矩,、基于SIFT三類,。本文對彩色SIFT描述子進(jìn)行了深入的研究,闡述了彩色SIFT描述子,,給出了每種彩色描述子的性能評價,。
1 SIFT算法分析
SIFT描述子對圖像的局部特征進(jìn)行描述,當(dāng)圖像進(jìn)行旋轉(zhuǎn),、平移,、尺度縮放、仿射變換等,,SIFT特征具有很好的穩(wěn)定性,。SIFT算法主要分為四個步驟:檢測尺度空間極值點、精確定位極值點,、為每個關(guān)鍵點指定方向參數(shù),、關(guān)鍵點描述子的生成。
1.1 檢測尺度空間極值點
計算SIFT描述子的第一步是搜索所有尺度和圖像位置,,它通過使用高斯差函數(shù)識別對尺度和方向不變的潛在興趣點來實現(xiàn),。關(guān)鍵點就是多尺度高斯差的極大值/極小值。
對輸入的圖像進(jìn)行尺度變換,,利用高斯核與二維圖像做卷積運算:
高斯核定義如下:
實際計算中,,是在特征點的領(lǐng)域內(nèi)采樣,創(chuàng)建梯度方向直方圖,。直方圖每10度分為一柱,,共36個柱。然后將領(lǐng)域內(nèi)的每個采樣點按梯度方向Φ歸入適當(dāng)?shù)闹?,以梯度模m作為權(quán)重,。選擇直方圖的主峰值作為梯度的主方向,能量值達(dá)到主峰值80%以上的局部峰值作為輔助方向。
1.4 關(guān)鍵點描述子的生成
以特征點為中心取8×8的采樣窗口,,在4×4的小塊區(qū)域上計算其梯度方向直方圖,。繪制好每個方向梯度累加值,形成了一個種子點,。每個特征點由4個種子點構(gòu)成,。在實際計算過程中,通常使用4×4共16個種子點來描述特征點,。這樣總共產(chǎn)生了4×4×8共128維的特征描述子向量,。
2 基于彩色的SIFT研究進(jìn)展
SIFT描述子對圖像的高斯梯度進(jìn)行編碼,該描述子在空間模式下描述了灰度圖像16個種子點及每個種子點8個梯度方向,。由于SIFT算法只是利用圖像的灰度信息,,不能很好地區(qū)分形狀相似但顏色不同的物體。光照的變化很大程度上影響著彩色物體識別的效果,。在物體描述與匹配中,顏色可以提供更加有用的信息,,物體的顏色信息被忽略,致使一些物體會被錯誤地分類,。在圖像處理中彩色圖像能夠表達(dá)更多的信息,,彩色信息可以獲得更高的辨別率。針對這一問題,,研究人員對基于彩色的SIFT特征點提取算法進(jìn)行了深入的研究,。
2.1 SIFT彩色描述子
彩色描述子主要分為基于直方圖、基于顏色矩和基于SIFT三類,。這三類描述子的選取依據(jù)其具體的環(huán)境,。彩色直方圖描述子丟失了顏色的空間分布,彩色矩包含了圖像局部的光度信息與顏色空間信息分布,。SIFT描述子包含了顏色局部空間信息分布,。為了提高光照不變性,獲得更高的識別率,基于SIFT的彩色描述子得到發(fā)展,例如: HSV-SIFT、HueSIFT,、opponent SIFT,、WSIFT、rgSIFT和transformed Color SIFT,。
彩色SIFT描述子基于顏色不變特性。在尺度空間中,,對彩色圖像特征點進(jìn)行檢測,,確定特征點的位置,在顏色空間模型下計算特征點相關(guān)種子點的顏色梯度,,對每個特征點用128×3維的特征描述子進(jìn)行描述,。該描述子融合了特征點的顏色信息與幾何信息。
HSV-SIFT HSV顏色空間中,H表示顏色的色調(diào),,S表示顏色的純度,,即表示一種顏色中加入了多少白光,V表示顏色值的大小,。該顏色空間的模型對應(yīng)于圓柱坐標(biāo)系中的一個圓錐形子集,。BOSCH[5]計算HSV顏色空間三個通道為每個特征點生成彩色描述子。每個通道經(jīng)過計算生成128維向量,,這樣總共生成128×3維的向量,。
HueSIFT在HSV顏色空間中,色調(diào)捕捉了顏色的主要波長,,描述了圖像的彩色信息,。VAN de Weijer[4]采用級聯(lián)色調(diào)直方圖的方法應(yīng)用于SIFT描述子,計算三個通道為每一關(guān)鍵點生成128×3維HueSIFT描述子向量。
OpponentSIFT對立色理論認(rèn)為人類視網(wǎng)膜上存在三種光化學(xué)物質(zhì)-視素,,每種視素都能發(fā)生同化和異化兩種變化,,在同化過程中,視素產(chǎn)生合成,,異化過程產(chǎn)生分解,。同化異化的發(fā)生完全是由于不同光譜組成的色光刺激的結(jié)果。而同化異化的結(jié)果使人產(chǎn)生相應(yīng)的對立顏色感覺,。即紅-綠,、黃-藍(lán)、黑-白等六種不同色覺,?;趯α⑸碚摚瑢α⑸臻g模型如下:
該彩色模型具有O1,、O2,、O3三個通道分量。O3通道包含了大部分強(qiáng)度信息,,O1與O2通道包含了彩色信息,。生成特征點描述子時,對模型中每一分量計算SIFT特征描述子,,這樣生成了128×3維的描述子向量,,該描述子稱為OpponentSIFT。
W-SIFT在對立色空間模型中O1與O2通道分量仍然會包含一些強(qiáng)度信息,,為使強(qiáng)度的變化不影響SIFT特征,,GEUSEBROKE[6]提出了用于消除強(qiáng)度信息的方法。消除強(qiáng)度信息直觀表示為在對立色空間模型中定義與
,,對O1,、O2分量做除法,,這樣去除了強(qiáng)度信息變化的干擾,然后對每一分量計算生成特征描述子,,該描述子稱為W-SIFT,。
rgSIFT rgb空間模型是一種歸一化的RGB模型,定義如下:
r與g分量描述了圖像的顏色信息,。由于歸一化的r與g分量具有尺度不變特征,,因此不受其光照強(qiáng)度的變化、陰影與底紋的影響,。計算rgSIFT特征描述子時結(jié)合了歸一化RGB彩色模型中r分量與g分量,。
Transformed color SIFT在RGB空間模型中,光照的變化對RGB直方圖穩(wěn)定性產(chǎn)生影響,。光強(qiáng)度的變化引起顏色不規(guī)則分布,,致使直方圖產(chǎn)生偏移。為了消除偏移,,在RGB模型中對于每個通道顏色的分布減掉其顏色分布的均值μ,,除以該通道下分布的標(biāo)準(zhǔn)差δ。定義后的空間模型如下:
在該模型下計算每個通道分量的SIFT描述子,對特征點進(jìn)行描述,,該描述子稱為Transformed color SIFT,。
2.2 彩色SIFT描述子的性能評價
BURGHOUTS G J[7]在試驗中對比彩色SIFT描述子與灰度SIFT描述子,當(dāng)光照顏色變化與光散射時彩色SIFT描述子具有更好的性能,。然而彩色空間的選擇與光照的變化對彩色SIFT描述子的性能還是有一定的影響,。為了得到各種彩色描述子的性能,Koea[8]在光強(qiáng)度變化,、光強(qiáng)度偏移,、光強(qiáng)度的變化與偏移、光色的變化,、光色的變化與偏移等多種光照變化情況下對描述子進(jìn)行實驗與分析,,可以得到每種彩色描述子的性能如表1所示。
SIFT算法是多尺度空間理論提出后產(chǎn)生的,,對圖像的局部特征進(jìn)行提取,,SIFT描述子對于旋轉(zhuǎn)、尺度縮放,、仿射變換,、視角的變換具有很好的穩(wěn)定性。對大多數(shù)圖像尺度變換,、旋轉(zhuǎn),、仿射變換等具有很強(qiáng)的不變性?;陬伾蛔兲匦缘牟噬枋鲎硬粌H保留了SIFT原有特性,,可以獲得更高的辨別率,而且對于光照的變化也保持了很好的不變性。
為了提高SIFT的一些能力和加快匹配速度,,對標(biāo)準(zhǔn)的SIFT描述子改進(jìn)的技能是:(1)在標(biāo)準(zhǔn)的SIFT上利用不同的直方圖,、不同區(qū)域的形狀、HSV組件,、使用 RGB 直方圖等等,; (2)利用降維方法(如主成分分析(PCA)),以減少SIFT的特征維數(shù),。
參考文獻(xiàn)
[1] DAVID G L. Object recognition from local scale-invarint features[C]. International Conferenceon Computer Vision, 1999:1150-1157.
[2] DAVID G L. Distinctive image features from scale-invariant key-points[J]. International Journal of Computer Vision,,2004,60(2):91-110.
[3] MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.
[4] WEIJER J, GEVERS T, BAGDANOV A. Boosting color saliency in image feature detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(1):150-156.
[5] BOSCH A, ZISSERMAN A, MUOZ X. Scene classification using a hybrid generative /discriminative approach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008,30(04):712-727.
[6] GEUSEBROEK J M, BOOMGAARD R, SMEULDERS A W M,et al. Color invariance[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001,23(12):1338-1350,
[7] BURGHOUTS G J, GEUSEBROEK J M. Performance evaluation of local color invariants[J]. Computer Vision and Image Understanding. 2009,133:48-62.
[8] SANDE K E A, GEVERS T, SNOEK C G M. Evaluation of color descriptors for object and scene recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition,Anchorage, Alaska, USA, June 2008.