王博林1,， 閆德勤2,， 楚永賀2

　　（1.遼寧師范大學 數(shù)學學院,，遼寧 大連 116029,；2.遼寧師范大學 計算機與信息技術(shù)學院，遼寧 大連 116081）

       摘要：在人臉圖像識別中人臉圖像數(shù)據(jù)中有很多是稀疏的,，對于稀疏數(shù)據(jù)的降維是流形學習算法面臨的一個問題,。為了有效地從高維圖像數(shù)據(jù)中提取人臉圖像的敏感信息，提高人臉識別的速度,，文章提出了一種基于流形學習的有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)的極端學習機(ELM),。

　　關(guān)鍵詞：流形學習；極端學習機

　　中圖分類號：TP18文獻標識碼：ADOI： 10.19358/j.issn.16747720.2016.23.012

　　引用格式：王博林,， 閆德勤,， 楚永賀. 基于稀疏排列的LPP和ELM的人臉識別［J］.微型機與應用，2016,35（23）：42-45.

0引言

　　近年來在流形學習的基礎(chǔ)上研究人員提出了不同的降維算法,，例如，局部保持嵌入(Locally Linear Embedding, LLE)［1］,、拉普拉斯特征映射(Laplacian Eigenmaps, LE)［2］,，這些非線性方法在人臉圖像識別中取得了理想的效果，然而人臉圖像數(shù)據(jù)往往具有非常高的維數(shù),利用這些非線性方法是非常耗時,，對如何構(gòu)建測試數(shù)據(jù)的鄰接圖關(guān)系是未知的,。為了解決上述非線性方法的耗時問題,，研究人員提出了有監(jiān)督的鄰域保持嵌入(Supervised Neighborhood Preserving Embedding, SNPE)［3］、判別信息增強的鄰域保持嵌入(DiscriminantEnhanced Neighborhood Preserving Embedding, DNPE)［4］,、局部最大間隔判別嵌入(Local Maximal Margin Discriminant Embedding, LMMDE)［5］等能夠很好地提取人臉圖像數(shù)據(jù)的判別信息,，并且解決了非線性方法的耗時問題。目前在人臉圖像識別中降維算法面臨的問題是：基于流形學習的各種算法對人臉圖像數(shù)據(jù)的判別信息的提取效果不佳,，極大地影響著極端學習機的分類性能,。降維算法的有效性取決于對人臉圖像數(shù)據(jù)判別信息的有效提取。稀疏性是人臉圖像數(shù)據(jù)的屬性之一,，影響著降維算法的有效性,。

　　近年來HUANG等人［6］基于單隱層前饋神經(jīng)網(wǎng)絡（SingleHidden Layer Feedforward Networks,SLFNs）結(jié)構(gòu)提出了極端學習機（Extreme Learning Machine,ELM）。ELM訓練速度快,，避免了傳統(tǒng)SLFNs學習方法收斂速度慢及陷入局部極小解的可能,。ELM是一種基于單隱層前饋神經(jīng)網(wǎng)絡（SLFNs）的結(jié)構(gòu)，它隨機選擇輸入權(quán)值和分析確定SLFNs的輸出權(quán)值,，具有更好的泛化能力和更快的學習速度,，避免了瑣碎的人為干預，使得它在在線和實時應用中具有較高的效率,。然而在人臉識別問題中由于人臉圖像數(shù)據(jù)往往具有非常高的維數(shù),，從而使ELM的識別率下降和分類速度變慢，為此本文提出了基于流形學習的極端學習機,。本文的創(chuàng)新點如下：（1）將流形學習的理論與ELM結(jié)合起來,，進而提高人臉識別的識別率和識別速度； （2）考慮到人臉圖像數(shù)據(jù)的稀疏性,，為此利用人臉圖像數(shù)據(jù)的統(tǒng)計信息動態(tài)確定局部線性化范圍,，在LPP算法的基礎(chǔ)上依據(jù)數(shù)據(jù)的分布提出一種有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)。

1基于流形學習的SSLPP降維方法

　　對于稀疏的人臉圖像數(shù)據(jù)樣本集,，樣本間重疊的信息量非常少,，為此本文通過擴大k鄰域為k－N(i)區(qū)域?qū)υ紨?shù)據(jù)集進行區(qū)域信息加強，如圖1所示,，k－N(xi)區(qū)域為N(xi)及其對應的k近鄰點構(gòu)成,，這使得在數(shù)據(jù)樣本集較少的情況下，同樣能夠?qū)崿F(xiàn)重疊信息量非常充分的流形學習效果,。

　　本文期望k－N(i)鄰域降維后樣本的鄰域關(guān)系盡可能保持不變,，則第i個樣本鄰域最小化目標函數(shù)為：

　　式 (1)中nc為第i個樣本鄰域所在類別的樣本個數(shù)，將代入 式(1),最小化目標函數(shù)寫為再對所有的樣本鄰域進行整合得到最終的優(yōu)化函數(shù)為：

　　式(2)中c為所有樣本的類別總數(shù),，uT為投影變換矩陣,，依據(jù)文獻［7］對LPP算法的推導過程如下：

　　其中的單位矩陣，L為拉普拉斯矩陣,。SSLPP算法保持了LPP算法原有的框架,，因此優(yōu)化條件可寫為：

　　其中利用拉格朗日乘子法對式(4)進行求解可得:

　　對矩陣XLXT和XDXT進行特征值分解,，得到特征向量矩陣為U=［u1,…,uN］。從特征向量矩陣中選取的第2到第d+1個最小特征值對應的特征向量,，即：［u2,…,ud+1］T,，則由y=uTx得到SSLPP算法。

2ELM

　　對于N個不同的樣本(xj,tj)可表示為X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm,，具有L個隱層節(jié)點激活函數(shù)為g(x)的ELM模型如下形式:

　　其中j=1,2,…,N,，ai=(ai1,ai2,…,ain)為連接第i個隱層節(jié)點與輸入節(jié)點的輸入權(quán)值向量，βi=(βi1,βi2,…,βim)為連接第i個隱層節(jié)點與輸出節(jié)點的輸出權(quán)值向量,，bi為第i個隱層節(jié)點的偏置值,，ai·xj表示ai和xj的內(nèi)積，tj=(tj1,tj2,…,tjm)T∈Rm為對應于樣本xj的期望輸出向量,，對所有數(shù)據(jù)樣本進行整合,，式(6)可以改寫為如下形式：

　　其中H是網(wǎng)絡隱層節(jié)點輸出矩陣，β為輸出權(quán)值矩陣,，T為期望輸出矩陣：

　　當隱層節(jié)點個數(shù)與訓練樣本個數(shù)相同時(即L=N),，可以通過式(7)直接求矩陣H的逆矩陣得到最優(yōu)的輸出權(quán)值矩陣β，但大多情況下隱層節(jié)點的個數(shù)遠小于訓練樣本的個數(shù)（即LN）,，此時矩陣H為奇異矩陣,，利用最小二乘解的方法對式(7)進行求解：

　　其中,H+為矩陣H的廣義逆。

　　為了提高傳統(tǒng)ELM的穩(wěn)定性和泛化能力,，Huang提出了等式優(yōu)化約束的ELM,。等式優(yōu)化約束的ELM的優(yōu)化式子不僅最小化訓練誤差ξ，同時最小化輸出權(quán)值β,，因此等式優(yōu)化約束的ELM目標式子可寫為：

　　式(12)中ξi=(ξi1,…,ξ1m)T為對應于樣本xi的訓練誤差向量,，C為懲罰參數(shù)。式(12)的求解可通過拉格朗日方法轉(zhuǎn)化為無條件最優(yōu)化問題進行求解,。因此ELM算法求解過程可總結(jié)如下：

　?。?)初始化訓練樣本集；

　?。?)隨機指定網(wǎng)絡輸入權(quán)值ai和偏置值bi,；

　　（3)通過激活函數(shù)［8］計算隱層節(jié)點輸出矩陣H,；

　?。?)計算輸出權(quán)值,

3實驗結(jié)果及分析

　　2個不同人臉庫數(shù)據(jù)參數(shù)設置如表1所示，人臉圖像

　　如圖2所示,。為了證明所提出算法的有效性,，在ORL實驗中隨機選取訓練集個數(shù)為L={2，3,，4,，5}，剩余部分為測試集,；在Yale B試驗中隨機選取訓練集個數(shù)為L={5,，10，20,，30},，剩余部分為測試集，不同降維算法在不同維數(shù)下的識別率曲線及識別率如圖3所示,。

　　圖3給出了ELM采用不同降維算法在ORL人臉數(shù)據(jù)上的識別率曲線,。由圖3可知ELM采用SSLPP算法的識

　　別率曲線達到了100%并且非常穩(wěn)定，SNPE算法的識別率曲線隨著位數(shù)據(jù)維數(shù)的增大出現(xiàn)了波動,，DNPE算法,、LMMDE和RAFGE算法［8］的識別率曲線隨著數(shù)據(jù)維數(shù)的增大識別率也跟著增大，DNPE算法在ORL數(shù)據(jù)上表現(xiàn)出比較好的性質(zhì),。

　　圖4給出了ELM采用不同降維算法在Yale B人臉數(shù)據(jù)上的識別率曲線,，由圖4可知ELM采用SSLPP算法的識別率曲線明顯高于其他算法并且非常穩(wěn)定。

4結(jié)論

　　為了提高人臉識別的速度和準確率,，本文提出了基于流形學習的極端學習機,，通過與DNPE及LMMDE、RAFGE,、SNPE算法的對比實驗表明,，本文所提出的方法在人臉識別速度和識別率上顯著優(yōu)于其他方法，因此,，基于流行學習的極端學習機具有重要的現(xiàn)實的意義,。

　　參考文獻

　　［1］ROWEIS S T,SAUL L K, Nonlinear dimensionality reduction by locally linear embedding［J］.Science,2000,290(5500)：2323-2326.

　?。?］MIKHAIL B,PARTHA N.Laplacian eignmaps for dimensionality reduction and data representation［J］. Neural Computation, 2003,15(6)：1373-1396.

　?。?］Bao Xing,Zhang Li,Wang Bangjun,et al. A supervised neighborhood preserving embedding for face recognition［C］. International Joint Conference on Neural Networks,2014:278-284.

　　［4］Chai Yi,Yang Zhimin,Zhang Ke,et al. Discriminant enhanced neighborhood preserving embedding for dimensionality reduction［C］. IEEE Conference, Nov ,2013:255-210.

　?。?］Huang Pu,Tang Zhenmin,Chen Caikou,et al. Local maximal margin discriminant embedding for face recognition［J］. Vis. Commun. Image R., 2014(25):296-305.

　?。?］ Wang Dianhui，Huang Guangbin.Protein sequence classification using extreme learning machine［J］.Proceedings of International Joint Conference on Neural Networks, 2005(3):1406-1411

　?。?］ Huang Guangbin. An insight into extreme learning machines:random neurons,random features and kernels［J］. Cogn Comput,2014,6(3):376-390.

　?。?］ 馮林，劉勝藍,，張晶,，等.高維數(shù)據(jù)中魯棒激活函數(shù)的極端學習機及線性降維［J］.計算機研究與發(fā)展，2014，51(6)：1331-1340.