近幾年來(lái),，隨著MA Y^[1-2]等人提出了基于稀疏表示分類的人臉識(shí)別,，掀起SRC在人臉識(shí)別領(lǐng)域應(yīng)用的熱潮。郝靜靜^[3]等人提出一種改進(jìn)的人臉識(shí)別方法,，效果得到明顯提高,。SALAH R^[4]等人結(jié)合紋理特征提取和稀疏表示實(shí)現(xiàn)人臉表情的識(shí)別。Zhang Shiqing^[5]等人把Gabor小波和局部二值化(LBP)分別用于表情特征提取,，評(píng)估稀疏表示分類(SRC)的性能，并與支持向量機(jī)(SVM),、NSC,、NNC等進(jìn)行了比較。MAHOOR H^[6]等人對(duì)人臉運(yùn)動(dòng)單元進(jìn)行稀疏表示實(shí)現(xiàn)表情識(shí)別,，并與SVM,、NSC方法進(jìn)行了比較。但表情特征相對(duì)于人臉特征復(fù)雜,，表情樣本少,，加大了表情識(shí)別難度；直接運(yùn)用SRC實(shí)現(xiàn)表情識(shí)別效果不是很好,。鄒修國(guó)^[7]等人把人臉識(shí)別系統(tǒng)應(yīng)用到DSP,，為識(shí)別系統(tǒng)廣泛應(yīng)用奠定了基礎(chǔ)。

        針對(duì)上述識(shí)別方法的優(yōu)缺點(diǎn),，本文提出雙模板稀疏表示算法對(duì)人臉表情進(jìn)行識(shí)別,。通過(guò)增加正、負(fù)模板重構(gòu)新的觀測(cè)矩陣,，優(yōu)化了稀疏表示的性能,，減少噪聲,、遮擋等對(duì)表情識(shí)別的影響，提高了表情的識(shí)別率,。

1 基于稀疏表示的表情識(shí)別

1.1 稀疏表示理論

　   稀疏表示SR(sparse representation)可稱為壓縮感知,，在很多領(lǐng)域扮演了越來(lái)越重要的角色。在式(1)中,，稀疏表示理論的核心是在過(guò)完備矩陣D∈R^m×n下,，重構(gòu)出的逼近原信號(hào)x，可理解為求解方程的過(guò)程:

        在實(shí)際應(yīng)用中,，當(dāng)m<<n時(shí),，式(1)有無(wú)窮多解，即該方程是欠定方程,。通過(guò)下式得到的最稀疏解x₀即最小l0范數(shù)解:

        但式(2)的求解過(guò)程是一個(gè)NP-hard問(wèn)題,，計(jì)算效率極低。參考文獻(xiàn)[8]指出,，在滿足約束等距性RIP的條件下,，最小l₁范數(shù)解逼近最小l₀范數(shù)解。所以,，可以在解集合尋找最小范數(shù)解(min‖x‖₁)來(lái)代替求min‖x‖₀,，這是一個(gè)凸優(yōu)化問(wèn)題，用式(3)表示：

        對(duì)于上述最優(yōu)化問(wèn)題,，有許多l(xiāng)₁算法^[9]能夠有效地求解,，包括正交匹配追蹤算法、LASSO,、SPGL1算法等,。

1.2 基于稀疏表示的表情識(shí)別算法

　　從表情庫(kù)中隨機(jī)取大部分人臉圖像作為訓(xùn)練樣本，用于構(gòu)建測(cè)試樣本對(duì)應(yīng)的冗余字典,。設(shè)第i類訓(xùn)練樣本用矩陣表示為,每個(gè)圖像用v來(lái)表示,。將k類共n個(gè)訓(xùn)練樣本組合在一起形成整個(gè)訓(xùn)練集矩陣D：

其中，m表示樣本的像素點(diǎn),，n_i表示第i類樣本數(shù)目,。通過(guò)求解出測(cè)試人臉在由訓(xùn)練樣本構(gòu)成的字典里的表示，可以知道測(cè)試人臉的表情類別信息,。給出一個(gè)屬于第i類的測(cè)試樣本y,，可以表示為：

        測(cè)試樣本僅用來(lái)表示自同一類訓(xùn)練樣本的線性組合，其他類別的系數(shù)為零,，即求解出的解x1=[0,0,&hellip;,0,],只有第i類的值是非0元素,。系數(shù)向量a中包含大量有利于分類的信息。判斷測(cè)試樣本所屬類別的公式為：

其中&delta;_i(x₁)&isin;Rⁿ,，是第i組系數(shù)中非零的數(shù)為系數(shù)x₁中與i對(duì)應(yīng)的那些數(shù),。r_i(y)=‖y-A&delta;_i(x₁)‖₂表示的是y與A&delta;_i(x₁)的殘差值,認(rèn)為殘差值最小的對(duì)應(yīng)類別i為y的類別,。

2 雙模板稀疏分類算法

        實(shí)際應(yīng)用中，訓(xùn)練樣本個(gè)數(shù)和單樣本的像素點(diǎn)影響原信號(hào)重構(gòu)的效果,。直接用訓(xùn)練樣本來(lái)構(gòu)造冗余字典D,，重構(gòu)效率很低。由于圖像中含有噪聲干擾,，為了解決噪聲的影響,，式(1)改寫為：

其中，&epsilon;表示誤差向量,，它與稀疏解x一樣含有大量的稀疏零點(diǎn),。因此，為了方便計(jì)算,，把解x和&epsilon;合并起來(lái),，添加一個(gè)模板I去構(gòu)造新的矩陣B，故y可以表示為：

其中,B=[D,I]&isin;R^{m&times;(n+m)},。由于m<(m+n),，所以方程(8)一直是欠定方程，&omega;的解并不唯一,。把矩陣I用單位矩陣表示,，I的向量i_i&isin;R^m中只含一個(gè)非零數(shù)，用來(lái)表示圖像中零散的噪聲點(diǎn),。單模板I通過(guò)向量e幫助x分擔(dān)原圖像的零散噪聲,，使更多有用信息集中于向量x上。

        原則上,觀測(cè)矩陣D在沒(méi)有限制的條件下,，系數(shù)x可以為任何實(shí)數(shù),。然而，在識(shí)別的應(yīng)用中,，被識(shí)別的目標(biāo)應(yīng)該被訓(xùn)練樣本用非負(fù)系數(shù)所表示。在訓(xùn)練樣本庫(kù)中,，尋找到類似測(cè)試樣本類別的個(gè)體時(shí),，主要集中于該類似樣本的非負(fù)系數(shù)上。然而,，直接對(duì)上述的輔助稀疏x,、e進(jìn)行非負(fù)約束不太合理。因此,，本文在正模板的基礎(chǔ)上提出了雙模板的擴(kuò)展矩陣,。如圖1所示，由訓(xùn)練樣本矩陣,、正模板和負(fù)模板共同構(gòu)造雙模板的觀測(cè)矩陣,。把測(cè)試樣本中可能存在的負(fù)值轉(zhuǎn)移到負(fù)模板,，消除負(fù)系數(shù)對(duì)稀疏解x用于分類時(shí)的影響。此時(shí),，式(1)可寫為：

                                                                             圖1 雙模板觀測(cè)矩陣

其中,，e⁺&isin;R^m，e^-&isin;R^m分別為正輔助系數(shù)和負(fù)輔助系數(shù)向量,，新觀測(cè)矩陣R^n+2m是非負(fù)系數(shù)向量,。此時(shí)，負(fù)模板-I中的每一列向量-i_i只含有一個(gè)零值,，與正模板的i_i剛好相反,可以減少稀疏表示中對(duì)n的要求,，解決樣本數(shù)不夠的問(wèn)題。式(8)的矩陣B中m<2m+n,因此是欠定方程,，且&omega;沒(méi)有唯一的解,。通過(guò)變換域把式(8)求解問(wèn)題轉(zhuǎn)化為l_1-正則化最小平方問(wèn)題，稀疏表達(dá)式表示為：

其中‖&middot;‖₁和‖&middot;‖₂分別表示l₁和l₂范數(shù),。本文使用l₁范數(shù)解法l₁_l_s求稀疏解x,。然后把稀疏解x代入式(6)，求出殘差值,，即可得到測(cè)試樣本y對(duì)應(yīng)的類別,。

　　對(duì)于一個(gè)有效的測(cè)試人臉，所求的非零系數(shù)集中于單個(gè)訓(xùn)練目標(biāo),。為了衡量觀測(cè)矩陣的性能,，參考文獻(xiàn)[4]定義稀疏集中指數(shù)(SCI)來(lái)測(cè)量稀疏系數(shù)集中程度：

        如果 則測(cè)試樣本只用一個(gè)目標(biāo)樣本來(lái)表示；如果,，則測(cè)試樣本的稀疏表示均勻地分布在所有樣本中,。的值越大，說(shuō)明求解的x稀疏性越好,。本文將通過(guò)衡量SCI指數(shù)比較DT-SRC和SRC的性能,。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 JAFFE人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)

        對(duì)人臉庫(kù)的圖像進(jìn)行幾何歸一化、灰度歸一化,、濾波等預(yù)處理,。JAFFE人臉圖像經(jīng)過(guò)預(yù)處理后大小為64&times;64，如圖2所示,，從左到右依次為憤怒,、厭惡、恐懼,、開(kāi)心,、自然、傷心,、驚奇7種表情,。

                                                             圖2 KA的7種表情預(yù)處理后的圖像

        把JAFFE人臉庫(kù)的210張圖片按7種表情進(jìn)行分類,，每人每種表情隨機(jī)抽取一個(gè)作為測(cè)試樣本，其他為訓(xùn)練樣本,。對(duì)人臉圖像進(jìn)行下采樣降維,，針對(duì)SRC和DT-SRC算法選擇最優(yōu)的下采樣率,采樣點(diǎn)為15&times;7，比較NSC,、SRC和DT-SRC的識(shí)別性能,。

        表1中平均SCI指數(shù)為統(tǒng)計(jì)70個(gè)測(cè)試人臉的每個(gè)SCI指數(shù)后求平均值，它能反映出稀疏表示分類的識(shí)別性能,。從表1可以看出,，DT-SRC相對(duì)SRC和NSC在識(shí)別率上有很大的提升，但犧牲了一定的時(shí)間;SRC和NSC的識(shí)別率差不多,。

　    圖3中,，SCI指數(shù)的范圍為[0,1]，指數(shù)越接近1,，所求得的解越稀疏,，稀疏性越好。從圖3可以看出,，在第12,、50個(gè)測(cè)試樣本時(shí)SCI都很低，可以認(rèn)為這些樣本類別不能很好地被識(shí)別,，所含的表情分類信息不明顯,；DT-SRC的SCI指數(shù)普遍比SRC的高，則DT-SRC的重構(gòu)效果比SRC有了很大的提高,。

                                              圖3 JAFFE的測(cè)試人臉在SRC,、DT-SRC的SCI指數(shù)

        本文取圖3的第70個(gè)測(cè)試人臉圖，列出該圖在DT-SRC和SRC下的殘差值,，如圖4所示,。圖4(a)為第70個(gè)人臉的裁剪圖,圖4(b)和圖4(c)中的橫坐標(biāo)1~7分別表示憤怒、厭惡,、恐懼,、開(kāi)心、自然,、傷心、驚奇的7種表情,。圖4(b),、圖4(c)的第7個(gè)方柱(驚奇)的殘差值最低，可以判斷出圖4(a)的類別是驚奇,，該人臉的表情是驚奇,。從圖4可以看出,，DT-SRC的第7類表情殘差值相對(duì)其他類表情要明顯，所求解的系數(shù)x在表情類別中主要集中于驚奇處,。圖4(b)中最低兩個(gè)殘差值的比例大約為1 400/100=14:1,；圖4(c)中最低兩個(gè)殘差值的比例大約為500/200=5:2；在該測(cè)試人臉的識(shí)別中,，DT-SRC算法比SRC有更好的稀疏性和分類效果,。

                                                                       圖4 某個(gè)測(cè)試人臉的殘差值圖

3.2 在CK人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)

        3.1節(jié)實(shí)驗(yàn)同樣適用于Cohn-Kanade(CK)表情庫(kù)。選取裁剪成64&times;64的CK人臉庫(kù)作為實(shí)驗(yàn)數(shù)據(jù)庫(kù),，把其中一人的7種表情顯示如圖5所示,從左到右依次為厭惡,、恐懼、開(kāi)心,、自然,、傷心、驚奇,、憤怒7種表情,。

                                                               圖5 CK的7種表情預(yù)處理后的圖像

        CK庫(kù)有18個(gè)人，每個(gè)人每種表情有5張,，有7種表情,，共有630張圖像。每人每種表情隨機(jī)抽取一個(gè)作為測(cè)試樣本,，其他為訓(xùn)練樣本,，則總有126張測(cè)試樣本、504張訓(xùn)練樣本,。然后比較NSC,、SRC、ISRC 3種算法的識(shí)別率,，實(shí)驗(yàn)結(jié)果如表2所示,。計(jì)算每張CK測(cè)試人臉在SRC、DT-SRC識(shí)別后的SCI指數(shù),，126張測(cè)試人臉的SCI指數(shù)如圖6所示,。

                                                  圖6 CK的測(cè)試人臉在SRC、DT-SRC的SCI指數(shù)

        分析表1和表2可知,，SRC和NSC在識(shí)別時(shí)間上比其他方法有絕對(duì)的優(yōu)勢(shì),，而且識(shí)別率也較好。在CK庫(kù)中的識(shí)別率明顯比JAFFE庫(kù)好,，這是因?yàn)樗褂玫腃K庫(kù)的圖片質(zhì)量好,，各表情差異明顯。DT-SRC比SRC和NSC在識(shí)別率方面有所提高，特別是在圖片表情特征不明顯的情況下,，識(shí)別率能有很大的提高,。其實(shí)，在CK庫(kù)中所使用訓(xùn)練樣本比較多,，SRC算法能達(dá)到很高的識(shí)別率,。但在JAFFE庫(kù)里，由于表情庫(kù)的樣本不多,，導(dǎo)致字典D的列數(shù)不夠,，不能充分發(fā)揮出稀疏表示的作用，從而導(dǎo)致它的識(shí)別率低,。而本文的算法DT-SRC彌補(bǔ)了字典矩陣D列數(shù)不足的缺點(diǎn),，且降低了噪聲和負(fù)系數(shù)的影響，使識(shí)別率得到提高,，但犧牲了一定的運(yùn)算時(shí)間,。

        從圖3和圖6的SCI指數(shù)圖看出，DT-SRC的SCI總體上比SRC的高,，DT-SRC的稀疏表示性比SRC的好,。當(dāng)測(cè)試樣本不是有效的人臉時(shí)，DT-SRC能更好地排除該張圖片,，減少錯(cuò)誤的判斷,。

        本文提出的DT-SRC實(shí)用性強(qiáng)、效率高,，降低了識(shí)別的復(fù)雜度,，解決了SRC用于表情識(shí)別時(shí)效率不高的問(wèn)題。通過(guò)SRC與DT-SRC的比較,，發(fā)現(xiàn)字典矩陣D的構(gòu)造影響著正確識(shí)別率和稀疏分類性能,，D中的元素能最大程度地表示測(cè)試樣本的結(jié)構(gòu)，且所添加的正,、負(fù)模板可消除噪聲,、負(fù)系數(shù)等影響。因此,，DT-SRC在表情識(shí)別方面效果不錯(cuò),。

參考文獻(xiàn)

[1] WRIGHT J, YANG A Y, MA Y,et al. Robust face recognition via sparse representation[J]. Pattern Analysis and Machine Intelligence, 2009,31(2):210-217.

[2] JIA K,CHAN T H,MA Y. Robust and practical face recognition via structured sparsity[C]. European Conference on Computer Vision(ECCV), 2012:331-344.

[3] 郝靜靜,李莉.一種基于KPCA與LDA的人臉識(shí)別改進(jìn)算法[J].電子技術(shù)應(yīng)用,2013,39(12):132-134.

[4] SALAH R, KHOLY A E, YOUSSRI M. Robust facial expression recognition via sparse repre-

     sentation and multiple gabor filters[J].International Journal of Advanced Computer Sciences and Applications, 2013,4(3):82-87.

[5] Zhang Shiqing, Zhao Xiaoming, Lei Bicheng. Robust facial expression recognition via compressive sensing[J].Sensors, 2012,12(12):3747-3761.

[6] MAHOOR H, ZHOU M, KEVIN L,et al. Facial action unit recognition with sparse representation[C].Automatic Face & Gesture Recognition and Workshops(FG2011), 2011:336-342.

[7] 鄒修國(guó), 李林, 陸靜霞. 基于DSP的人臉HU矩識(shí)別研究[J].電子技術(shù)應(yīng)用,2013,38(11):150-153.

[8] CAND?魬S E J, WAKIN M B. An introduction to compressive sampling[J]. Signal Processing Magazine,2008,25(2):21-30.

[9] YANG A, GANESH A, MA Y,et al. Fast L1-minimization algorithms for robust face recognition[J]. IEEE Transactions on Image Processing(TIP), 2013，22(8):3234-3246.