《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于模糊聚類的LLE和SVM的人臉識(shí)別
基于模糊聚類的LLE和SVM的人臉識(shí)別
2015年微型機(jī)與應(yīng)用第6期
高 晴1,,閆德勤2,楚永賀2,徐麗麗1
(1.遼寧師范大學(xué) 數(shù)學(xué)學(xué)院,,遼寧 大連 116029,; 2.遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,,遼寧 大連 116081)
摘要: 針對(duì)傳統(tǒng)的局部線性嵌入算法易受近鄰點(diǎn)個(gè)數(shù)的影響,,以及支持向量機(jī)的錯(cuò)分點(diǎn)過(guò)多對(duì)識(shí)別率產(chǎn)生的影響,提出了一種基于模糊聚類的局部線性嵌入和支持向量機(jī)的人臉識(shí)別方法,。利用改進(jìn)的算法對(duì)人臉庫(kù)中的圖像進(jìn)行特征提取,,然后采用支持向量機(jī)分類器對(duì)人臉進(jìn)行訓(xùn)練和識(shí)別。實(shí)驗(yàn)表明,,該方法提高了人臉的識(shí)別率,。
Abstract:
Key words :

  摘  要: 針對(duì)傳統(tǒng)的局部線性嵌入算法易受近鄰點(diǎn)個(gè)數(shù)的影響,以及支持向量機(jī)的錯(cuò)分點(diǎn)過(guò)多對(duì)識(shí)別率產(chǎn)生的影響,,提出了一種基于模糊聚類的局部線性嵌入和支持向量機(jī)的人臉識(shí)別方法,。利用改進(jìn)的算法對(duì)人臉庫(kù)中的圖像進(jìn)行特征提取,然后采用支持向量機(jī)分類器對(duì)人臉進(jìn)行訓(xùn)練和識(shí)別,。實(shí)驗(yàn)表明,,該方法提高了人臉的識(shí)別率。

  關(guān)鍵詞: 人臉識(shí)別,;局部線性嵌入,;模糊聚類;支持向量機(jī)

0 引言

  人臉識(shí)別[1-3]是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種技術(shù),,它屬于生物特征識(shí)別技術(shù),,是根據(jù)生物體(一般特指人)本身的生物特征來(lái)區(qū)分生物體個(gè)體。人臉識(shí)別基于人的臉部特征,,對(duì)輸入的人臉圖像進(jìn)行分析,、學(xué)習(xí),從而完成識(shí)別,。該技術(shù)被廣泛用于政府,、軍隊(duì)、銀行,、社會(huì)福利保障,、電子商務(wù),、安全防務(wù)等多個(gè)領(lǐng)域。

  人臉識(shí)別是一個(gè)復(fù)雜的過(guò)程,,其關(guān)鍵在于特征提取和識(shí)別,,近年來(lái)建立在統(tǒng)計(jì)學(xué)理論基礎(chǔ)上的支持向量機(jī)(Support Vector Machine,SVM)[4-7]方法逐漸被認(rèn)可,,由于其具有良好的概括能力,因而被應(yīng)用于人臉識(shí)別,。但是,,由于人臉數(shù)據(jù)維數(shù)龐大,導(dǎo)致分類算法過(guò)于復(fù)雜,,致使錯(cuò)分點(diǎn)增加,,從而影響識(shí)別的效果。局部線性嵌入(Locally Linear Embedding,,LLE)[8-9]算法是一種基于流形學(xué)習(xí)的非線性降維算法,,可以用來(lái)進(jìn)行特征提取,但是該算法容易受到近鄰點(diǎn)選取的影響,;參考文獻(xiàn)[10]提出了一種改進(jìn)的局部線性嵌入算法(CLLE)[11-15],,在LLE的基礎(chǔ)上構(gòu)造近似重構(gòu)系數(shù),能夠很好地對(duì)重構(gòu)誤差加以約束,。

  因此,,本文在參考文獻(xiàn)[10]的基礎(chǔ)上提出一種基于CLLE和SVM的人臉識(shí)別方法,對(duì)預(yù)處理好的人臉圖像利用CLLE進(jìn)行特征提取,,在低維空間中采用SVM進(jìn)行學(xué)習(xí)訓(xùn)練和識(shí)別樣本數(shù)據(jù),,此方法的識(shí)別率相比于已有方法有所提高,從實(shí)驗(yàn)中可以得到證實(shí),。

1 基于模糊聚類的LLE

  對(duì)于給定的高維觀測(cè)數(shù)據(jù)集X={x1,,x2,…,,xN},,xi∈RD,采樣自d維流形,,求低維坐Y={y1,,y2,…,,yN},。設(shè)樣本點(diǎn)聚類分類的類別個(gè)數(shù)為C,mj為第j類樣本的中心,, n(j)為第j類樣本的個(gè)數(shù),。則第j類樣本點(diǎn)的內(nèi)部平均距離為:

  1.png

  第j類樣本與總體樣本中心的距離為:

  2.png

  其中,,m為總體樣本的中心。

  由此,,定義樣本點(diǎn)重構(gòu)誤差的近似重構(gòu)其中,,j為樣本點(diǎn)i所屬的類,j=1,,2,,…,C,。

  算法基本步驟如下[10]:

 ?。?)選取近鄰點(diǎn)。對(duì)給定的數(shù)據(jù)集X={x1,,x2,,…,xN},,利用歐式距離找到每個(gè)樣本點(diǎn)xi的k(k<N)個(gè)近鄰點(diǎn),。

  (2)重建權(quán)值矩陣,。使數(shù)據(jù)點(diǎn)的重建誤差最小,,即求最優(yōu)化問(wèn)題:

  3.png

  其中,xij(j=1,,2,,…,k)為xi的k個(gè)近鄰點(diǎn),,wij是xi與xij之間的權(quán)值,。

  (3)由數(shù)據(jù)點(diǎn)的局部重建矩陣尋找低維嵌入Y,。引入近似重構(gòu)系數(shù),,求解:

  4.png

  其中,M=(I-W)T(I-W),。

  輸出(S1/2)TMS1/2的2~(d+1)個(gè)非零特征值對(duì)應(yīng)的特征向量,。

  2 SVM

  SVM是以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)的一種機(jī)器學(xué)習(xí)算法,能夠很好地解決小樣本,、非線性問(wèn)題,。SVM的主要思想是用非線性映射?準(zhǔn)將數(shù)據(jù)映射到高維特征空間中,在高維特征空間中利用最大間隔超平面對(duì)線性不可分的數(shù)據(jù)進(jìn)行線性劃分操作,,從而達(dá)到分類的效果,。

  SVM基本流程如下:

  (1)將Tr={(x1,,y1),,(x2,,y2),…,,(xl,,yl)}∈(X,Y)l作為訓(xùn)練集,,其中,,xi∈X=Rl是每一個(gè)訓(xùn)練樣本點(diǎn),yi∈Y∈{-1,,1}是訓(xùn)練集中樣本點(diǎn)的類別,,i=1,2,,…,l,。

 ?。?)利用恰當(dāng)?shù)暮撕瘮?shù)K(xi,xj)和懲罰參數(shù)C進(jìn)行高維映射,,求解最優(yōu)化問(wèn)題:

 5.png

  6.jpg

  由此判斷測(cè)試集類別,。

3 基于模糊聚類LLE和SVM的人臉識(shí)別的基本步驟

  本文算法的具體步驟如下:

  (1)圖像預(yù)處理,;

 ?。?)讀入樣本訓(xùn)練集;

 ?。?)利用改進(jìn)的LLE算法對(duì)圖像進(jìn)行降維,,提取樣本集的特征;

 ?。?)利用SVM對(duì)訓(xùn)練集樣本進(jìn)行學(xué)習(xí),,識(shí)別測(cè)試集樣本。

4 人臉特征提取

  4.1 實(shí)驗(yàn)準(zhǔn)備

  實(shí)驗(yàn)中用到的人臉圖像從ORL人臉數(shù)據(jù)庫(kù)中選取,。該數(shù)據(jù)共有40個(gè)人,,每個(gè)人有10幅圖像,分別具有不同的表情,,共有400張圖像,。實(shí)驗(yàn)選取每個(gè)人的前5張圖像作為訓(xùn)練集,共有200張圖像,,共分為40類,。剩余的圖像作為實(shí)驗(yàn)的測(cè)試集。部分人臉圖像如圖1所示,。

001.jpg

  4.2人臉特征提取

  為了能夠清楚地對(duì)比人臉特征提取方法,,從ORL人臉數(shù)據(jù)庫(kù)中選取5個(gè)人的圖像,,分為5類,每個(gè)人10張圖像,。每一個(gè)點(diǎn)代表一幅人臉圖像,,降至2維。圖2為L(zhǎng)LE算法和改進(jìn)算法CLLE在領(lǐng)域數(shù)K=15時(shí)的降維效果圖,。

002.jpg

  從圖2可以看出,,CLLE算法將人臉數(shù)據(jù)降至2維后,不同的人已經(jīng)可以被明顯地區(qū)分開來(lái),,而LLE算法效果則不明顯,。

003.jpg

  當(dāng)K=11時(shí), LLE算法和CLLE算法的降維效果對(duì)比如圖3所示,??梢钥闯觯珻LLE算法已經(jīng)可以對(duì)人臉數(shù)據(jù)進(jìn)行很好的分類,,效果十分明顯,,而LLE算法取得的效果則稍稍比K=15時(shí)略好一點(diǎn)。

  從實(shí)驗(yàn)結(jié)果可以看出,,LLE算法易受鄰域數(shù)K的影響,,而對(duì)于K的不同取值,CLLE算法卻可以普遍取得好的效果,。

5 人臉識(shí)別

  5.1 算法參數(shù)的選取

  5.1.1 核函數(shù)的選取

  核函數(shù)的選取決定了學(xué)習(xí)分類的好壞,。常用核函數(shù)主要有線性核函數(shù)、多項(xiàng)式核函數(shù),、徑向基核函數(shù)以及Sigmoid核函數(shù),。使用這4種核函數(shù)對(duì)人臉數(shù)據(jù)進(jìn)行分類識(shí)別,結(jié)果如表1所示,。易知對(duì)于實(shí)驗(yàn)的人臉數(shù)據(jù),,在線性核函數(shù)下分類的準(zhǔn)確率最高。

  5.1.2 鄰域個(gè)數(shù)的選取

  在選取聚類個(gè)數(shù)C時(shí),,若選取太大,,會(huì)影響實(shí)驗(yàn)的運(yùn)行時(shí)間,因此實(shí)驗(yàn)選取C=6,,并利用CLLE算法將人臉數(shù)據(jù)降至60維,,進(jìn)行訓(xùn)練測(cè)試。不同鄰域數(shù)的分類準(zhǔn)確率如表2所示,。由表2可知,,當(dāng)聚類個(gè)數(shù)為6、鄰域個(gè)數(shù)為5時(shí)分類識(shí)別率略高一些。

  5.2 不同分類方法對(duì)識(shí)別率的影響

  表3為4種分類方法在人臉識(shí)別上的應(yīng)用效果,。

006.jpg

  表3表明,,CLLE-SVM算法在人臉識(shí)別中優(yōu)于其他三種算法,人臉識(shí)別率可達(dá)到89.5%,。

6 結(jié)論

  本文利用基于模糊聚類的LLE算法對(duì)人臉數(shù)據(jù)進(jìn)行降維,,在低維空間中利用SVM訓(xùn)練學(xué)習(xí)已知樣本,從而識(shí)別人臉類別,。實(shí)驗(yàn)表明,,該方法得到的人臉識(shí)別率相對(duì)于已有方法有了顯著的提高,從而證實(shí)了其有效性和可行性,。

參考文獻(xiàn)

  [1] Wang Jing,, Su Guangda, Xiong Ying,, et al. Sparse representation for face recognition based on constraint sampling and face alignment[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)英文版),, 2013 (1):62-67.

  [2] BRUNELLI R, POGGIC T. Face recognition: features ve- rsus templates[J]. IEEE Transactions on PAMI,, 1993,,10  (15),1042-1052.

  [3] CHELLAPPA R,, WISLSON C L,, SIROHEY S. Human and machine recognition of faces: a survey[C]. Proceedings of the IEEE,, 1995,,83(5), 705-741.

  [4] VAPNIK V N.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)[M].張學(xué)工,,譯.北京:清華大學(xué)出版社,,2000.

  [5] 李芳.支持向量機(jī)在TE過(guò)程故障診斷中的應(yīng)用[J].安徽工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,,27(2):195-199.

  [6] 丁嬌,,梁棟,閻慶.基于WLLE和SVM的植物葉片圖像識(shí)別方法[J].安徽大學(xué)學(xué)報(bào)(自然科學(xué)版),,2013,,37(4):61-67.

  [7] CHANG K P, TEA J K. Objective rating of seam pucker using neural networks[J]. Textile Research Journal,, 1997,,67(7):494-502.

  [8] ROWEIS S T, SAUL L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science,, 2000,, 290(5500):2323-2326.

  [9] SAUL L K, ROWEIS S T. Think globally, fit locally: unsupervised learning of  low dimensional manifolds [J]. Journal of Machine Learning Research,, 2003,,4(12):119-155.

  [10] 吳曉婷,閆德勤.改進(jìn)的非線性數(shù)據(jù)降維方法及其應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,,2011,,47(2):156-159.

  [11] 李新社,姚俊平.模糊聚類分析及其應(yīng)用研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,,2014(1):69-70.

  [12] 王和勇,,鄭杰,姚正安,,等.基于聚類和改進(jìn)距離的LLE方法在數(shù)據(jù)降維中的應(yīng)用[J].計(jì)算機(jī)研究與發(fā)展,,2006,43(8):1485-1490.

  [13] THEODORIDIS S,, KOUTROUMBAS K.模式識(shí)別(第3版)[M].李晶嬌,,王愛(ài)俠,張廣源,,譯.北京:電子工業(yè)出版社,,2006.

  [14] 王元珍,王健李,,李晨陽(yáng).一種改進(jìn)模糊聚類算法[J].華中科技大學(xué)學(xué)報(bào),,2005,33(2):92-94.

  [15] BEZDEK J C. Pattern recognition with fuzzy objective function algorithms [M].New York: Plenum Press,, 1981.


此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載。