文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.190084
中文引用格式: 范葉平,李玉,,楊德勝,,等. 基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知方法[J].電子技術(shù)應(yīng)用,2019,,45(5):5-8,,13.
英文引用格式: Fan Yeping,Li Yu,,Yang Desheng,,et al. Research on intelligent face cognition method with deep ensemble learning and feedback mechanism[J]. Application of Electronic Technique,2019,,45(5):5-8,,13.
0 引言
身份鑒別的可信與否制約著人員身份確認(rèn)和終端信息訪問(wèn)的可靠性,,可以有效增強(qiáng)信息獲取的安全性。目前廣泛應(yīng)用的身份鑒別技術(shù)包括密碼,、指紋,、掌紋和虹膜等[1-4],。然而,上述鑒別技術(shù)的性能易受環(huán)境,、設(shè)備和性能的限制,。與之相比,人臉識(shí)別作為一種身份鑒別技術(shù),,只需一個(gè)攝像頭即可獲取人臉圖像,,是一種基于認(rèn)知對(duì)象本質(zhì)特性的模式識(shí)別算法,為人類的生活提供了廣闊的智能化應(yīng)用前景,。
1888年GALTON F[5]等人首次基于人臉進(jìn)行身份鑒別,,在鑒別過(guò)程中雖然尚未涉及自動(dòng)識(shí)別技術(shù),但為人臉識(shí)別領(lǐng)域的發(fā)展奠定了前提條件,。隨著信息化和網(wǎng)絡(luò)化技術(shù)的快速發(fā)展,,當(dāng)前在理想情況下,人臉識(shí)別的效果業(yè)已令人滿意,。然而在實(shí)際現(xiàn)場(chǎng)應(yīng)用中,,識(shí)別的效果依然會(huì)受到諸如光照、姿勢(shì),、表情,、遮擋物等外界因素的干擾。當(dāng)前人臉識(shí)別技術(shù)主要采用基于幾何特征,、基于模板匹配和基于神經(jīng)網(wǎng)絡(luò)3種方式,。然而,特征具有層次性和多樣性,,不同層次的特征代表了認(rèn)知對(duì)象的不同分析層面,,異構(gòu)的特征則代表了不同的分析視角。如何獲取有確定映射關(guān)系的簡(jiǎn)約人臉圖像特征,,以適用于海量人臉圖像樣本尚需深入研究,。
近年來(lái),隨著神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的本質(zhì)改變,,以深度學(xué)習(xí)為代表的人工智能理論研究與應(yīng)用受到了前所未有的關(guān)注,。作為一種顯著的人臉識(shí)別深層神經(jīng)網(wǎng)絡(luò),DEEPID融合了局部特征和全局特征,,通過(guò)多個(gè)卷積層提取由淺到深的人臉?lè)墙Y(jié)構(gòu)化特征[6],,這與人類面向不同認(rèn)知對(duì)象由全局到局部獲取分析認(rèn)知信息的漸進(jìn)認(rèn)知模式保持一致。然而,,目前的人臉識(shí)別模型均屬于開(kāi)環(huán)認(rèn)知模式,,其特征空間和分類認(rèn)知準(zhǔn)則一旦構(gòu)建不再更新,這與人類實(shí)時(shí)評(píng)測(cè)認(rèn)知結(jié)果可信度,、自尋優(yōu)調(diào)節(jié)特征空間和分類認(rèn)知準(zhǔn)則的思維存在顯著差異,。因此,,當(dāng)面對(duì)奇異樣本或分類面附近的相似樣本時(shí),傳統(tǒng)開(kāi)環(huán)認(rèn)知模型性能惡化,。此外,,深層神經(jīng)網(wǎng)絡(luò)中面向同一輸入的不同卷積核卷積操作必然會(huì)使得輸出特征空間冗余,softmax分類器泛化能力的不足也會(huì)影響學(xué)習(xí)模型的可達(dá)性和可信性,。
為了克服傳統(tǒng)開(kāi)環(huán)人臉認(rèn)知模式以及深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的缺陷,,模仿人類實(shí)時(shí)評(píng)測(cè)認(rèn)知結(jié)果自尋優(yōu)調(diào)節(jié)特征空間和分類認(rèn)知準(zhǔn)則的認(rèn)知模式,借鑒閉環(huán)控制理論思想,,本文探索了一種基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知方法,。首先,基于DEEPID網(wǎng)絡(luò)建立人臉圖像由全局到局部具有確定映射關(guān)系的非結(jié)構(gòu)化特征空間,。其次,,基于特征可分性評(píng)測(cè)和變精度粗糙集理論,,從信息論角度建立非結(jié)構(gòu)化動(dòng)態(tài)特征表征的人臉認(rèn)知決策信息系統(tǒng)模型,,以約減非結(jié)構(gòu)化特征空間。再次,,采用集成隨機(jī)權(quán)向量函數(shù)連接網(wǎng)絡(luò)(Random Vector Functional-Link net,,RVFL),構(gòu)建簡(jiǎn)約非結(jié)構(gòu)化特征空間的分類認(rèn)知準(zhǔn)則,。最后,,構(gòu)建人臉認(rèn)知結(jié)果熵測(cè)度指標(biāo),為人臉特征空間和分類認(rèn)知準(zhǔn)則的自尋優(yōu)調(diào)節(jié)機(jī)制提供量化依據(jù),。實(shí)驗(yàn)結(jié)果表明,,本文所提出的方法較已有方法有效提高了人臉圖像的識(shí)別率。
1 基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知模型
本文提出的人臉智能反饋認(rèn)知模型包括設(shè)定層和驗(yàn)證層兩層結(jié)構(gòu),,采用信息交互模式實(shí)現(xiàn)人類實(shí)時(shí)評(píng)測(cè)認(rèn)知結(jié)果反復(fù)推敲比對(duì)信息的認(rèn)知模式,,其結(jié)構(gòu)和功能如圖1所示。
1.1 設(shè)定層
設(shè)定層包括關(guān)鍵點(diǎn)檢測(cè),、人臉特征提取,、認(rèn)知信息系統(tǒng)建立、分類器設(shè)計(jì)等模塊,。首先對(duì)訓(xùn)練樣本庫(kù)中的人臉圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè),,基于檢測(cè)得到的關(guān)鍵點(diǎn)將人臉圖像分割成多幅子圖像,繼而采用DEEPID網(wǎng)絡(luò)提取每幅子圖像的特征,。特征可分性評(píng)測(cè)度量DEEPID網(wǎng)絡(luò)輸出特征圖的可區(qū)分能力以約減特征圖集合,,變精度粗糙集理論所建立的訓(xùn)練集認(rèn)知決策信息系統(tǒng)約減簡(jiǎn)約特征圖集合構(gòu)建的全連接特征向量集合。將簡(jiǎn)約特征空間送入集成RVFL分類器,,可以獲取訓(xùn)練人臉圖像樣本的認(rèn)知結(jié)果,,為校驗(yàn)層提供特征空間和分類認(rèn)知的構(gòu)建準(zhǔn)則,。
1.2 驗(yàn)證層
驗(yàn)證層包括關(guān)鍵點(diǎn)檢測(cè)、人臉特征獲取,、匹配識(shí)別,、結(jié)果獲取、熵測(cè)度等模塊,?;谠O(shè)定層所提供的特征空間和分類認(rèn)知建立準(zhǔn)則,可以獲取特定認(rèn)知精度條件下測(cè)試人臉圖像的認(rèn)知結(jié)果,,構(gòu)建認(rèn)知結(jié)果誤差語(yǔ)義熵測(cè)度指標(biāo)量測(cè)人臉圖像認(rèn)知結(jié)果的可信度,,自尋優(yōu)反饋調(diào)節(jié)DEEPID網(wǎng)絡(luò)的特征空間及其分類認(rèn)知準(zhǔn)則,優(yōu)化認(rèn)知海量人臉圖像,。
2 基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知算法
2.1 基于DEEPID網(wǎng)絡(luò)的人臉特征提取
在人臉定位和對(duì)齊處理操作后,,通過(guò)關(guān)鍵點(diǎn)檢測(cè)將人臉圖像特征分散為多個(gè)局部特征,選取人臉圖像的10個(gè)位置分別采用3個(gè)尺度獲取30個(gè)不同部位的RGB圖像及其灰度圖,。隨后將每一幅子圖像水平翻轉(zhuǎn),,將翻轉(zhuǎn)前后的圖像輸入至DEEPID網(wǎng)絡(luò)中。一個(gè)DEEPID網(wǎng)絡(luò)包括4個(gè)卷積層,,其中第3個(gè)池化層的輸出與第4個(gè)卷積層的輸出連接后傳播至全連接層,。每幅子圖像經(jīng)由DEEPID網(wǎng)絡(luò)可以得到一個(gè)160維特征向量,則每幅人臉圖像得到的全連接特征維數(shù)是160×60=9 600維[7],。特征維度過(guò)高會(huì)導(dǎo)致計(jì)算復(fù)雜度高,,同時(shí)由于維數(shù)災(zāi)現(xiàn)象可能會(huì)惡化性能,因此,,在特征空間被送入模式分類器之前需要對(duì)其進(jìn)行降維處理,。
2.2 特征圖集合重構(gòu)
特征圖集合以不同的分析視角表征人臉,具有不同的可區(qū)分能力,。聚類中心可以表征相似信息,,因此,針對(duì)一幅人臉圖像的全體子圖像集合只存在局部差別的情況,,采用聚類中心重構(gòu)特征圖集合,,以獲取更為泛化的人臉特征。
2.2.1 特征可分性度量
特征可分性度量可以評(píng)估每個(gè)特征圖對(duì)人臉圖像的可區(qū)分能力,,這里被引入以排序特征圖集合的可區(qū)分能力,。設(shè)DEEPID網(wǎng)絡(luò)中第3個(gè)池化層和第4個(gè)卷積層的輸出特征圖集合為x={x1,…,,xm},,m為特征圖個(gè)數(shù),則特征圖xj=[xj,,1,,…,,xj,n]T的特征可分性度量指標(biāo)Qj可定義為:
2.2.2 基于聚類的特征圖集合重構(gòu)
2.3 人臉認(rèn)知決策信息系統(tǒng)
2.4 集成隨機(jī)權(quán)向量函數(shù)連接網(wǎng)絡(luò)
針對(duì)softmax泛化能力不足的缺陷,,采用集成RVFL分類器替代softmax分類器,,以提高學(xué)習(xí)模型的泛化能力。在隱含層節(jié)點(diǎn)個(gè)數(shù)nb足夠大的前提條件下,, RVFL可以任意逼近一個(gè)定義在緊集上的非線性映射:
2.5 人臉認(rèn)知結(jié)果熵測(cè)度指標(biāo)
2.6 特征空間和分類認(rèn)知準(zhǔn)則自優(yōu)化調(diào)節(jié)
基于定義的人臉圖像不確定認(rèn)知結(jié)果誤差語(yǔ)義熵測(cè)度指標(biāo)可以評(píng)測(cè)人臉認(rèn)知結(jié)果的可信度,,若可信則輸出作為最終認(rèn)知結(jié)果,否則自尋優(yōu)反饋調(diào)節(jié)k,、β和L,,更新特征空間和分類認(rèn)知準(zhǔn)則,實(shí)現(xiàn)人臉的優(yōu)化再認(rèn)知,。自優(yōu)化調(diào)節(jié)準(zhǔn)則如下所示:
(1)若φq的第w次認(rèn)知結(jié)果的熵測(cè)度指標(biāo)Hq,,w≤Δ(Δ是認(rèn)知誤差閾值),則表示參數(shù)集(kw,、βw,、Lw)最優(yōu)適用于當(dāng)前人臉圖像,輸出認(rèn)知結(jié)果作為最終結(jié)果,。
(2)若Hq,,w>Δ,,表示當(dāng)前不確定認(rèn)知結(jié)果粗略符合要求,,交叉微調(diào)節(jié)參數(shù)集k、β和L更新待測(cè)樣本特征空間和分類認(rèn)知準(zhǔn)則,,進(jìn)行第w+1次反饋認(rèn)知以獲取優(yōu)化認(rèn)知結(jié)果:
其中,,[·]是取整操作。若L調(diào)整至Lmax時(shí)仍無(wú)法滿足條件(1),,則在[1,,Lmax]中選取最佳認(rèn)知結(jié)果所對(duì)應(yīng)的Lopt。
3 試驗(yàn)結(jié)果與結(jié)果分析
3.1 試驗(yàn)環(huán)境與數(shù)據(jù)獲取
目前較為常用的人臉數(shù)據(jù)集有LFW,、ORL,、AR、YALE-B等,,其中LFW人臉數(shù)據(jù)集包含5 000人共計(jì)13 000幅人臉圖像,,本試驗(yàn)從中隨機(jī)選取70%的人臉樣本作為訓(xùn)練樣本集,其余30%的人臉樣本作為測(cè)試樣本集,。部分LFW人臉圖像如圖2所示,。本文采用Caffe框架訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)模型,將訓(xùn)練數(shù)據(jù)集送入DEEPID網(wǎng)絡(luò)進(jìn)行訓(xùn)練,。本文將認(rèn)知誤差閾值Δ設(shè)定為0.85,。k和β的搜索范圍分別設(shè)定為[1,,100]和[0.5,1],,此外,,L和nb的范圍分別定義為[2,15](步長(zhǎng)為1)和[100,,1 000](步長(zhǎng)為100),。所有試驗(yàn)在Intel Core i5 CPU 3.0 GHz,16 GB內(nèi)存,,GTX1080Ti環(huán)境下運(yùn)行,。
3.2 試驗(yàn)結(jié)果分析
圖3給出了在某次試驗(yàn)中測(cè)試樣本集的識(shí)別率關(guān)于L、β和k的變化曲線,,其中每幅子圖像均是固定其中兩個(gè)參數(shù),,調(diào)節(jié)另一個(gè)參數(shù)。從圖3可以看出,,不是所有的基網(wǎng)絡(luò)集成個(gè)數(shù)都具有一致的泛化誤差,。在β和k的某參數(shù)組合條件下,7個(gè)基網(wǎng)絡(luò)可以構(gòu)建泛化能力強(qiáng)的學(xué)習(xí)模型,。通過(guò)調(diào)節(jié)β可以控制不同認(rèn)知精度的特征空間對(duì)不同人臉圖像樣本的適用程度,。此外,隨著k的增加,,簡(jiǎn)約特征圖集合與原特征圖集合越相近,,特征空間數(shù)據(jù)結(jié)構(gòu)復(fù)雜度越大,計(jì)算速度變慢,,而k越小則表明特征圖集合充分簡(jiǎn)約,,但可能會(huì)導(dǎo)致所需特征信息量不足,認(rèn)知性能惡化,。
為進(jìn)一步表明本文所提出的基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知模型的優(yōu)越性,,在相同的樣本集和試驗(yàn)環(huán)境條件下,比較了本文方法與其他識(shí)別方法的性能,,包括DEEPID[6],、ISCDCNNS[10]、CNN+DBN[11],、TL+貝葉斯[12],、DFD[13]等算法。上述方法的1 000次試驗(yàn)的平均識(shí)別率如表1所示,,所有識(shí)別結(jié)果均采用均值±標(biāo)準(zhǔn)差的表征形式,。
從表1中可以看出,本文所提出的基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知算法比傳統(tǒng)DEEPID算法具有更優(yōu)的識(shí)別率,達(dá)到98.69%,,在約減特征空間降低運(yùn)算復(fù)雜度的同時(shí),,提高了識(shí)別精度。特征可分性度量,、認(rèn)知決策信息系統(tǒng)和集成模式分類器的引入,,較傳統(tǒng)監(jiān)督學(xué)習(xí)增強(qiáng)了特征空間的可區(qū)分能力以及模式分類器的泛化性能?;谡J(rèn)知結(jié)果熵測(cè)度指標(biāo)實(shí)時(shí)評(píng)測(cè)人臉圖像的不確定認(rèn)知結(jié)果,,自優(yōu)化調(diào)節(jié)簡(jiǎn)約特征空間,模仿了人類實(shí)時(shí)評(píng)測(cè)認(rèn)知結(jié)果自尋優(yōu)調(diào)節(jié)特征空間和分類認(rèn)知準(zhǔn)則的認(rèn)知模式,,實(shí)現(xiàn)了人臉的優(yōu)化認(rèn)知,。
4 結(jié)論
本文基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知算法在數(shù)據(jù)庫(kù)LFW上進(jìn)行了人臉識(shí)別試驗(yàn),平均識(shí)別率達(dá)到98.69%,。首先基于特征可分性度量和認(rèn)知決策信息系統(tǒng)獲取DEEPID網(wǎng)絡(luò)的簡(jiǎn)約特征空間,,然后將簡(jiǎn)約特征集送入集成RVFL分類器獲取人臉識(shí)別結(jié)果,最后,,基于認(rèn)知結(jié)果熵測(cè)度指標(biāo)評(píng)測(cè)人臉圖像的不確定認(rèn)知結(jié)果,,自優(yōu)化調(diào)節(jié)特征空間和分類認(rèn)知準(zhǔn)則,在多次反饋認(rèn)知過(guò)程中模仿人類實(shí)時(shí)評(píng)測(cè)認(rèn)知結(jié)果反復(fù)推敲比對(duì)的認(rèn)知模式,,實(shí)現(xiàn)人臉的優(yōu)化識(shí)別,。特征空間的充分性表征以及具有萬(wàn)具逼近能力的模式分類器設(shè)計(jì)將是下一步的工作重點(diǎn)。
參考文獻(xiàn)
[1] 田啟川,,張潤(rùn)生.生物特征識(shí)別綜述[J].計(jì)算機(jī)應(yīng)用研究,,2009,26(12):4401-4406.
[2] 孫閩紅,,閆云珍,,邵章義,,等.基于Wigner對(duì)角切片譜的射頻指紋特征提取[J].電子技術(shù)應(yīng)用,,2016,42(1):87-90.
[3] 徐智勇,,唐根偉,,姜新泉,等.硬件友好型合成指紋鑒別算法的研究[J].電子技術(shù)應(yīng)用,,2016,,42(10):54-58.
[4] 余成波,李彩虹,,曾亮.K-means指紋定位的優(yōu)化算法[J].電子技術(shù)應(yīng)用,,2018,44(2),;70-74.
[5] GALTON F.Personal identification and description[J].Nature,,1888,,21:173-177.
[6] SUN Y,WANG X,,TANG X.Deep learning face representation from predicting 10,000 classes[C].2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE Computer Society,,2014:1891-1898.
[7] SUN Y,WANG X,,TANG X.Deeply learned face representations are sparse, selective, and robust[C].2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE Computer Society,,2015.
[8] LI W T,WANG D H,,CHAI T Y.Multi-source data ensemble modeling for clinker free lime content estimate in rotary kiln sintering processes[J].IEEE Transactions on Systems,,Man,and Cybernetics:Systems,,2015,,45(2):303-314.
[9] CHEN K Q,WANG J P,,LI W T,,et al.Simulated feedback mechanism-based rotary kiln burning state cognition intelligence method[J].IEEE Access,,2017,,5:4458-4469.
[10] 冉鵬,王靈,,李昕,,等.改進(jìn)Softmax分類器的深度卷積神經(jīng)網(wǎng)絡(luò)及其在人臉識(shí)別中的應(yīng)用[J].上海大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,,24(141):26-40.
[11] HUANG G B,,LEE H,LEARNED-MILLER E.Learning hierarchical representations for face verification with convolutional deep belief networks[C].2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,,2012:2518-2525.
[12] CAO X,,DAVID W,WEN F,,et al.A practical transfer learning algorithm for face verification[C].IEEE International Conference on Computer Vision.IEEE Computer Society,,2013:3208-3215.
[13] ZHEN L,PIETIKAINEN M,,LI S Z.Learning discriminant face descriptor[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,,2014,36(2):289-302.
作者信息:
范葉平1,,李 玉1,,楊德勝1,萬(wàn) 濤1,馬 冬1,,李帷韜2
(1.國(guó)網(wǎng)信通產(chǎn)業(yè)集團(tuán)安徽繼遠(yuǎn)軟件有限公司,,安徽 合肥230088;
2.合肥工業(yè)大學(xué) 電氣與自動(dòng)化工程學(xué)院,,安徽 合肥230009)