0 引言

    人臉識(shí)別是模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域研究熱點(diǎn)之一，實(shí)際圖像中存在的遮擋,、光照,、姿勢(shì)、年齡等變化是人臉識(shí)別在實(shí)際應(yīng)用中遇到的主要挑戰(zhàn),。

    傳統(tǒng)算法是從圖像中進(jìn)行特征選擇和提取,，降低復(fù)雜度，提高效率,。特征選擇和特征提取都被視為子空間學(xué)習(xí)算法,，因這些算法均是在一個(gè)新空間找到原始高維數(shù)據(jù)的低維表示。

    最著名子空間學(xué)習(xí)法有主成分分析(Principal Component Analysis,，PCA)^[1],，該算法學(xué)習(xí)一個(gè)投影以保留數(shù)據(jù)的主要能量。由于其在數(shù)據(jù)重構(gòu)和能量保存方面的性能良好,，因此在數(shù)據(jù)處理中PCA常作為數(shù)據(jù)的預(yù)處理技術(shù),。研究人員提出一些基于PCA的改進(jìn)算法，以進(jìn)一步提高PCA解決人臉識(shí)別問(wèn)題的性能^[2],。因PCA算法不能保留數(shù)據(jù)的幾何結(jié)構(gòu),，研究人員提出LPP(Locality Preserving Projection)^[3]、SPP(Sparsity Preserving Projections)^[4],、NPE(Neighborhood Preserving Embedding)^[5],。盡管這些算法在特征提取上各有優(yōu)點(diǎn)，但因其提取的特征缺乏判別能力^[6],，故不適用于分類(lèi)問(wèn)題,。

    LDA(Linear Discriminant Analysis)是模式分類(lèi)中常用提取判別性特征的算法之一^[7]。LDA利用標(biāo)簽信息學(xué)習(xí)判別性投影矩陣,，最大化類(lèi)間距離,，同時(shí)最小化類(lèi)內(nèi)距離，以此提高分類(lèi)準(zhǔn)確度,。郝靜靜等人^[8]結(jié)合PCA與LDA算法優(yōu)勢(shì)提高人臉識(shí)別性能,。LDA還有很多變形以提高性能，例如：OLDA(Orthogonal LDA)^[9],、ULDA(Uncorrelated LDA)^[10],、2DLDA(2-Dimensional LDA)^[11]。Wen Jie等人^[12]提出一種魯棒稀疏LDA算法(Robust Sparse Linear Discriminant Analysis,，RSLDA),，提取的特征對(duì)噪聲和投影維數(shù)具有更強(qiáng)的魯棒性。

    針對(duì)人臉中特定問(wèn)題,，研究人員提出各種對(duì)應(yīng)算法,，例如：為去除光照影響,，文獻(xiàn)[13]提出一種光照正則化方法，引入了色度空間的概念,；Hu Changhui等人^[14]提出一種新的高頻特征和一種基于高頻的稀疏表示分類(lèi)用于處理不同光照條件下的單樣本人臉識(shí)別,；Du Lingshuang等人^[15]用基于核范數(shù)的誤差模型描述測(cè)試樣本中的遮擋和污損；歐陽(yáng)寧等人^[16]將多種算法融合提出人臉圖像光照預(yù)處理算法,。

    以上算法提取的特征均為淺層特征,，這些特征在特定的數(shù)據(jù)和任務(wù)中性能優(yōu)異，但大多數(shù)淺層特征普適性差^[17],，對(duì)于新的數(shù)據(jù)和任務(wù)需要新的域知識(shí),。

    針對(duì)淺層特征的局限性，深度學(xué)習(xí)算法^[18-19]從數(shù)據(jù)中自主學(xué)習(xí)特征,。深度學(xué)習(xí)思想是建立多層表示獲得數(shù)據(jù)深層抽象語(yǔ)義特征,，這種抽象表示對(duì)類(lèi)內(nèi)變化具有更強(qiáng)的魯棒性。深度學(xué)習(xí)處理圖像分類(lèi)任務(wù)的關(guān)鍵因素是卷積結(jié)構(gòu)的選用,，一個(gè)卷積神經(jīng)網(wǎng)絡(luò)(ConvNet)結(jié)構(gòu)^[20-21]包含多個(gè)訓(xùn)練階段和有監(jiān)督分類(lèi)器,。每個(gè)階段一般包括三層：卷積組層、非線(xiàn)性處理層和特征池化層,。

    典型的深度學(xué)習(xí)網(wǎng)絡(luò)有ConvNet和CNNs^[22-23],，但這些網(wǎng)絡(luò)需要豐富的經(jīng)驗(yàn)去調(diào)試，第一個(gè)有清晰數(shù)學(xué)調(diào)試的是小波散度網(wǎng)絡(luò)(Wavelet Scattering Networks,，ScatNet)^[24],。但是這種提前設(shè)置好的結(jié)構(gòu)卻不適用于人臉識(shí)別，因?yàn)槿四樦锌赡馨庹?、遮擋使得?lèi)內(nèi)變化較大^[25]。Chan Tsung-Han等人^[25]提出簡(jiǎn)單的PCANet網(wǎng)絡(luò)用于圖像分類(lèi),，以PCA作卷積核,，簡(jiǎn)化訓(xùn)練過(guò)程，且其分類(lèi)性能高,。

    深度特征往往需要大量的有標(biāo)記的樣本去訓(xùn)練,，且時(shí)間消耗較大；而淺層特征提取的判別性信息有限,，不能挖掘數(shù)據(jù)最本質(zhì)的特征,，魯棒性差，但不需要訓(xùn)練,，時(shí)間消耗低,。針對(duì)這些問(wèn)題，本文將圖像的深淺特征進(jìn)行融合以提高特征提取的效率和魯棒性,，并應(yīng)用于人臉識(shí)別,。

1 深淺特征融合分類(lèi)算法

    本文將淺層特征和深度特征進(jìn)行融合提出基于深淺特征融合的人臉識(shí)別算法,，目的是充分發(fā)揮深淺層特征各自?xún)?yōu)勢(shì)，提高人臉識(shí)別性能,，同時(shí)對(duì)深度學(xué)習(xí)算法的原理進(jìn)行簡(jiǎn)單的分析,。算法基本流程如圖1所示。

    在淺層特征提取階段,，本文采用局部-全局的分步特征提取方案：HOG特征可提取圖像淺層局部特征,；考慮到數(shù)據(jù)的分布特點(diǎn)，選用RSLDA特征可在保留數(shù)據(jù)分布的基礎(chǔ)上提取數(shù)據(jù)的全局特征,，因此本文算法的淺層特征中包含了局部-全局特征,，且保留數(shù)據(jù)局部性；在深度特征提取階段,，為解決少樣本情況下深度特征提取問(wèn)題,，采用PCANet提取網(wǎng)絡(luò)的深度特征；然后采用對(duì)深淺特征進(jìn)行融合并分類(lèi),。

1.1 淺層特征提取

    本文采用HOG作淺層特征,，HOG(Histogram of Oriented Gradients)特征是圖像的一種簡(jiǎn)單有效的局部特征描述符，首先,，將圖像劃分成多個(gè)區(qū)域,；然后，計(jì)算每個(gè)區(qū)域的梯度直方圖,，再將每個(gè)區(qū)域劃分成幾塊,，計(jì)算每塊的梯度直方圖并串聯(lián)，構(gòu)成該區(qū)域特征,；將所有區(qū)域特征串聯(lián)起來(lái)構(gòu)成圖像的HOG特征描述符,。

1.2 深度特征提取

    PCANet 原理如圖2所示，在每個(gè)階段選用經(jīng)典的PCA濾波器作卷積核,；非線(xiàn)性層選用最簡(jiǎn)單的二進(jìn)制量化（哈希編碼）,；特征池化層采用逐塊二進(jìn)制碼直方圖作為最終的網(wǎng)絡(luò)輸出特征。

    假設(shè)第i層濾波器個(gè)數(shù)為L(zhǎng)_i,，PCA最小化造成的正交濾波器的重構(gòu)誤差即：

1.3 判別性信息再選取

    本文采用RSLDA算法進(jìn)一步對(duì)深淺層特征進(jìn)行提煉,。RSLDA算法可自適應(yīng)選取最具判別性的特征，提取的特征不僅能保留大部分能量,，且對(duì)噪聲具有一定的魯棒性,。算法簡(jiǎn)要介紹如下：

    設(shè)有數(shù)據(jù)集X=[x₁，x₂,，…,，x_n]∈R^m×n(m表示樣本維數(shù)，n表示樣本個(gè)數(shù)）,，RSLDA采用l_2,，1范數(shù),，優(yōu)化方程如下：

其中，Q∈R^m×d(d<m)為判別性投影矩陣,；S_b和S_w分別為類(lèi)間和類(lèi)內(nèi)散度矩陣,；λ₁為平衡參數(shù)，u為一個(gè)小的正常數(shù)用于平衡兩個(gè)散度矩陣,。通過(guò)采用l_2,，1范數(shù)，式(3)可自適應(yīng)分配特征權(quán)重,。其中約束條件X=PQ^TX,，P^TP=I可以看作PCA的變體用以保留能量，P∈R^m×d為正交重構(gòu)矩陣,。λ₂為平衡參數(shù),，E表示誤差，是對(duì)隨機(jī)噪聲的建模,。

1.4 特征融合

    原理分析：對(duì)任意一張給定的圖像I,，采用HOG算法提取圖像的淺層局部特征，記為I_H,，考慮到數(shù)據(jù)的分布特點(diǎn),，采用RSLDA進(jìn)一步對(duì)HOG特征進(jìn)行降維，同時(shí)在保留數(shù)據(jù)分布的基礎(chǔ)上提取數(shù)據(jù)的全局特征,，此時(shí)特征記為I_HR,，因此本文算法的淺層特征中包含了局部-全局特征，且保留數(shù)據(jù)分布性,；同時(shí)本算法采用PCANet提取網(wǎng)絡(luò)的深度特征記為I_P,，同樣采用RSLDA對(duì)PCANet特征進(jìn)行降維，降維后的特征記為I_PR,；在特征融合階段首先采用串聯(lián)的形式將深淺特征進(jìn)行簡(jiǎn)單融合得到I_HP=[I_HP,，I_PR]，因融合后的特征會(huì)存在一定的冗余信息,，因此進(jìn)一步采用RSLDA對(duì)I_HP進(jìn)行降維，同時(shí)也提煉出I_HP中最具判別力的特征,，這也是對(duì)深淺特征的進(jìn)一步融合,；最后，訓(xùn)練SVM分類(lèi)器進(jìn)行分類(lèi),。

2 實(shí)驗(yàn)仿真

    為驗(yàn)證本文算法性能,，在A(yíng)R和Yale B人臉數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，并選用SRC,、PCANe,、PCANet_RSLDA_SRC,、HOG_PCA_SRC、HOG_RSLDA_SRC作為對(duì)比算法,。

2.1 AR數(shù)據(jù)庫(kù)

    AR數(shù)據(jù)庫(kù)包含120人每人26張采集于兩個(gè)時(shí)期的圖片,，其中一人的全部圖像如圖3所示。

    首先選用120人每人第一個(gè)時(shí)期采集的13張圖像作訓(xùn)練樣本,，第二個(gè)時(shí)期樣本作測(cè)試集,，即訓(xùn)練和測(cè)試樣本的數(shù)量均為120×13=1 560張。因此,，此實(shí)驗(yàn)的訓(xùn)練及測(cè)試集中均涵蓋了光照,、表情、遮擋及時(shí)間變化,。實(shí)驗(yàn)結(jié)果如表1所示,。

    分析表1的實(shí)驗(yàn)結(jié)果可知，各算法性能為HOG_PCA_SRC<HOG_RSLDA_SRC<PCANet_RSLDA_SRC<本文算法,。分析HOG_PCA_SRC<HOG_RSLDA_SRC可知RSLDA能夠比PCA更好地保留判別性信息,，也更適用于特征降維；此外基于HOG特征算法的性能低于基于PCANet算法性能,，說(shuō)明深度特征比淺層特征更具判別性,；本文算法識(shí)別率高于單獨(dú)的深層特征和淺層特征算法，說(shuō)明深淺特征融合算法能更好地提取人臉圖像中的判別性信息,，且隨著特征維數(shù)的降低,，本文算法識(shí)別率下降的速度明顯低于對(duì)比算法，證明本文算法具有一定的魯棒性,。

    選用第一期的7張無(wú)遮擋圖像作訓(xùn)練樣本,，即訓(xùn)練樣本總數(shù)為120×7=840張，選用第二期的口罩和墨鏡遮擋作測(cè)試樣本,，即測(cè)試樣本的個(gè)數(shù)為120×3=360張,。不同情況下各算法的識(shí)別率如表2和表3所示。

    分析表2和表3結(jié)果可知,，在墨鏡遮擋的情況下,，本文算法能在不同的特征維數(shù)下獲得最高的識(shí)別率，PCANet_RSLDA_SRC的性能僅次于本文算法性能約1%,，其余3種算法的識(shí)別率較低,，而HOG_RSLDA_SRC 與PCANet_RSLDA_SRC相比其性能相差較多，說(shuō)明HOG特征不適用于遮擋條件下的人臉識(shí)別,，而PCANet提取的特征相對(duì)于HOG特征對(duì)遮擋具有更強(qiáng)的魯棒性,。本文算法將兩種算法提取的特征進(jìn)行融合后作為最終的人臉特征，且實(shí)驗(yàn)結(jié)果顯示,，融合特征的識(shí)別率明顯高于PCANet 和HOG特征所能達(dá)到的識(shí)別率,，說(shuō)明本文算法的融合方法能夠挑選出強(qiáng)魯棒性特征進(jìn)行融合,。

    圍巾遮擋時(shí)，因遮擋面積較大,，信息損失較多,，所以算法性能均大幅下降，但本文算法仍能獲得高于對(duì)比算法的識(shí)別率,。

2.2 Yale B數(shù)據(jù)庫(kù)實(shí)驗(yàn)

    Yale B數(shù)據(jù)庫(kù)包含30個(gè)人每人64張不同光照條件下的正面照片,，部分樣例圖像如圖4所示。實(shí)驗(yàn)隨機(jī)選取每人的20張圖片做訓(xùn)練,，30張圖片做測(cè)試,，重復(fù)10次取平均識(shí)別結(jié)果作為最終的結(jié)果，如圖5所示,。

    由圖5可知,，本文算法識(shí)別率高于對(duì)比算法，證明了本文算法在不同光照條件下對(duì)人臉識(shí)別具有更強(qiáng)的魯棒性,；但與PCANet_RSLDA_SRC相比,，二者識(shí)別率相差不多，說(shuō)明在該情況下本文算法性能優(yōu)勢(shì)有限,。

3 結(jié)論

    本文將HOG特征和PCANet網(wǎng)絡(luò)提取的特征進(jìn)行融合,，不僅包含數(shù)據(jù)的淺層局部和數(shù)據(jù)分布信息，還包含深度判別性信息,，在A(yíng)R及Yale B人臉數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的有效性和魯棒性,。但和典型的PCANet相比本文算法的識(shí)別性能略低，而典型的PCANet所提取到的特征維數(shù)極高,，且需要消耗大量的內(nèi)存及時(shí)間,，而本文算法因融合了深淺層特征可以在很小的特征維數(shù)下獲得較高的識(shí)別率，因此本文算法具有一定的合理性,。今后的研究工作中會(huì)探索更具判別性更合理的深淺特征進(jìn)行更有效的融合,。

參考文獻(xiàn)

[1] KIRBY M，SIROVICH L.Application of the karhunen-loeve procedure for the characterization of human faces[J].IEEE Transactions on Pattern analysis and Machine intelligence,，1990,，12(1)：103-108.

[2] 首照宇，楊曉帆,，莫建文.基于改進(jìn)的RPCA人臉識(shí)別算法[J].電子技術(shù)應(yīng)用,，2015，41(9)：157-160.

[3] HE X,，NIYOGI P.Locality preserving projections[C].Advances in Neural Information Processing Systems，2004：153-160.

[4] QIAO L,，CHEN S,，TAN X.Sparsity preserving projections with applications to face recognition[J].Pattern Recognition,，2010，43(1)：331-341.

[5] HE X,，CAI D,，YAN S，et al.Neighborhood preserving embedding[C].IEEE International Conference on Computer Vision,，2005：1208-1213.

[6] QIAO Z,，ZHOU L，HUANG J Z.Sparse linear discriminant analysis with applications to high dimensional low sample size data[J].Iaeng International Journal of Applied Mathematics,，2009,，39(1)：48-60.

[7] FAN Z，XU Y,，ZHANG D.Local linear discriminant analysis framework using sample neighbors[J].IEEE Transactions on Neural Networks,，2011，22(7)：1119-1132.

[8] 郝靜靜,，李莉.一種基于KPCA與LDA的人臉識(shí)別改進(jìn)算法[J].電子技術(shù)應(yīng)用,，2013，39(12)：132-137.

[9] YE J,，XIONG T.Null space versus orthogonal linear discriminant analysis[C].International Conference on Machine Learning,，2006：1073-1080.

[10] YE J，JANARDAN R,，LI Q,，et al.Feature reduction via generalized uncorrelated linear discriminant analysis[J].IEEE Transactions on Knowledge and Data Engineering，2006,，18(10)：1312-1322.

[11] YANG J,，ZHANG D，YONG X,，et al.Two-dimensional discriminant transform for face recognition[J].Pattern Recognition,，2005，38(7)：1125-1129.

[12] Wen Jie,，F(xiàn)ang Xiaozhao,，Cui Jinrong，et al.Robust sparse linear discriminant analysis[J].IEEE Transactions on Circuits and Systems for Video Technology,，2019,，29(2)：390-403.

[13] Zhang Wuming，Zhao Xi,，JEAN-MARIE M,，et al.Improving shadow suppression for illumination robust face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，41(3)：611-624.

[14] Hu Changhui,，Lu Xiaobo,，Liu Pan，et al.Single sample face recognition under varying illumination via QRCP decomposition[J].IEEE Transactions on Image Processing,，2019,，28(5)：2624-2638.

[15] Du Lingshuang，Hu Haifeng.Nuclear norm based adapted occlusion dictionary learning for face recognition with occlusion and illumination changes[J].Neurocomputing,，2019,，340：133-144.

[16] 歐陽(yáng)寧，鐘歡虹,，袁華,，等.針對(duì)光照變化的人臉識(shí)別算法研究[J].電子技術(shù)應(yīng)用，2015,，41(5)：152-155.

[17] BENGIO Y,，COURVILLE A，VINCENT P.Representation learning：a review and new perspectives[J].IEEE Transactions on Pattern Analysis and Machine. Intelligence,，2013,，35(8)：1798-1828.

[18] 范葉平，李玉,，楊德勝,，等.基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知方法[J].電子技術(shù)應(yīng)用，2019,，45(5)：5-8.

[19] 黃海新,，張東.基于深度學(xué)習(xí)的人臉活體檢測(cè)算法[J].電子技術(shù)應(yīng)用，2019,，45(8)：44-47.

[20] GOODFELLOW I J,，WARDE-FARLEY D，MIRZA M,，et al.Maxout networks [C].Processing of 30th ICML,，2013：1-9.

[21] KRIZHEVSKY A，SUTSKEVER I,，HINTON G E.ImageNet classification with deep convolutional neural network[C].NIPS,，2012：1097-1105.

[22] Li Yong，Zeng Jiabei,，Shan Shiguang,，et al.Occlusion aware facial expression recognition using CNN with attention mechanism[J].IEEE Transactions on Image Processing，2019,，28(5)：2439-2450.

[23] SHAKEEL M S,，LAM K M.Deep-feature encoding-based discriminative model for age-invariant face recognition[J].Pattern Recognition，2019，93：442-457.

[24] BRUNA J,，MALLAT S.Invariant scattering convolution networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,，2013，35(8)：1872-1886.

[25] CHAN T H,，Jia Kui，Gao Shenghua,，et al.PCANet：a simple deep learning baseline for image classification? [J].IEEE Transactions on Image Peocessing,，2015，24(12)：5017-5032.

作者信息:

趙淑歡

(河北大學(xué) 電子信息工程學(xué)院,，河北 保定071002)