《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 設(shè)計(jì)應(yīng)用 > 基于GANs無(wú)監(jiān)督回歸三維參數(shù)化人臉模型
基于GANs無(wú)監(jiān)督回歸三維參數(shù)化人臉模型
2020年信息技術(shù)與網(wǎng)絡(luò)安全第11期
張星星1,，李金龍2
1.中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院,，安徽 合肥230026,； 2.中國(guó)科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,，安徽 合肥230026
摘要： 針對(duì)神經(jīng)網(wǎng)絡(luò)回歸訓(xùn)練過(guò)程中三維人臉數(shù)據(jù)稀缺的問(wèn)題,，提出了基于生成對(duì)抗網(wǎng)絡(luò)(GANs)回歸三維參數(shù)化人臉模型(3DMM)的無(wú)監(jiān)督學(xué)習(xí)方式,。首先利用GANs的對(duì)抗生成訓(xùn)練使生成器回歸的3DMM參數(shù)符合真實(shí)感人臉形狀的參數(shù)分布,。隨后將生成的三維人臉網(wǎng)格渲染成二維圖片,，利用身份編碼器對(duì)輸入人臉及渲染人臉?lè)謩e提取身份特征向量,，通過(guò)不斷縮小向量之間的距離使得生成的三維人臉網(wǎng)格靠近輸入人臉的身份特征,。實(shí)驗(yàn)結(jié)果表明，該方法在重建結(jié)果頂點(diǎn)位置準(zhǔn)確性上相對(duì)于現(xiàn)有的方法有明顯的提升,，且擁有較好的RMSE值,，能夠較好應(yīng)用于三維人臉重建任務(wù)。
中圖分類號(hào)： TP391.41
文獻(xiàn)標(biāo)識(shí)碼： A
DOI： 10.19358/j.issn.2096-5133.2020.11.008
引用格式： 張星星,，李金龍. 基于GANs無(wú)監(jiān)督回歸三維參數(shù)化人臉模型[J].信息技術(shù)與網(wǎng)絡(luò)安全,，2020，39(11)：50-55.
GANs-based unsupervised regression for 3D morphable model
Zhang Xingxing1,，Li Jinlong2
1.School of Software Engineering,，University of Science and Technology of China，Hefei 230026,，China,； 2.School of Computer Science and Technology,，University of Science and Technology of China， Hefei 230026,，China
Abstract： Aming at the problem of scarcity of 3D face ground-truth data in the training process of neural network regressing for 3D facial mesh, an unsupervised learning method based on Generative Adversarial Networks(GANs), which regresses for 3D Morphable Model(3DMM) parameters, is proposed. Firstly, the adversarial training process of GANs is used to make the generated 3DMM parameters conform to the realistic 3DMM parameters distribution. Then, the generated 3D facial mesh is rendered into a 2D image. Later, the identity encoder is used to extract the identity feature embeddings from the input face and the rendered face respectively. By continuously minimizing the distance between the two embeddings, the generated 3D facial mesh is enforced to maintain the identical features of the input face. The experimental results show that the proposed method has a significant improvement in the accuracy of vertex position compared with the existing methods, and has a good RMSE value, which can be well applied to 3D face reconstruction tasks.
Key words : 3D face reconstruction,；generative adversarial networks；unsupervised

0 引言

    三維人臉重建是指通過(guò)一張或多張同一個(gè)人的照片來(lái)構(gòu)建該人的三維人臉網(wǎng)格,。該課題一直是計(jì)算機(jī)視覺(jué)和圖形學(xué)的熱門關(guān)注焦點(diǎn),，擁有廣泛的應(yīng)用場(chǎng)景，如人臉身份識(shí)別,、醫(yī)學(xué)方案展示,、三維人臉動(dòng)畫(huà)等。

    在三維人臉重建領(lǐng)域,，VETTER T和BLANTZ V在1999年提出的三維人臉參數(shù)化模型(3DMM)[1]具有重要意義,。3DMM采集了200位實(shí)驗(yàn)對(duì)象的臉部激光掃描數(shù)據(jù)集，并對(duì)該數(shù)據(jù)集進(jìn)行主成分分析(PCA),。通過(guò)對(duì)PCA所提取的基向量進(jìn)行線性組合從而構(gòu)成一張新的人臉,。

    傳統(tǒng)的三維人臉重建基于迭代方法[2]，即針對(duì)輸入人臉,，利用人臉關(guān)鍵點(diǎn),，反復(fù)調(diào)整基向量的參數(shù)使得三維人臉?shù)秩竞筇崛〉娜四橁P(guān)鍵點(diǎn)與二維人臉關(guān)鍵點(diǎn)接近，以此達(dá)到具有輸入人臉特征的三維人臉網(wǎng)格,。然而,，該方法較為依賴人臉關(guān)鍵點(diǎn)的檢測(cè)結(jié)果，在人臉姿勢(shì)較大或有遮擋物時(shí),，效果較差,，迭代過(guò)程耗時(shí)也較長(zhǎng),。

    近年來(lái),，隨著深度學(xué)習(xí)的不斷發(fā)展，越來(lái)越多的研究開(kāi)始運(yùn)用基于回歸的方法重建三維人臉,。然而,，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，一個(gè)亟需解決的問(wèn)題便是三維人臉訓(xùn)練數(shù)據(jù)稀少,。針對(duì)這一問(wèn)題,，部分研究提出利用合成數(shù)據(jù)[3-4]，即先隨機(jī)初始化3DMM的參數(shù)作為參照的三維人臉,，而后將該三維人臉投影成的二維人臉作為輸入數(shù)據(jù),，進(jìn)而擴(kuò)大訓(xùn)練數(shù)據(jù)集。因?yàn)楹铣蓴?shù)據(jù)投影形成的二維圖片不能反映真實(shí)世界的復(fù)雜度,，故GENOVA K[5]提議采用真實(shí)圖片及合成圖片的混合數(shù)據(jù)集進(jìn)行兩步訓(xùn)練,。TEWARI A[6]利用編碼解碼器結(jié)構(gòu)直接從單張圖片重建三維人臉,，解碼器是基于專業(yè)知識(shí)精心設(shè)計(jì)的，但可擴(kuò)展性較低,。TRAN A T[7]等人提議利用迭代方法形成的三維人臉作為神經(jīng)網(wǎng)絡(luò)所需的配對(duì)三維人臉數(shù)據(jù)進(jìn)行訓(xùn)練,。

    本文基于前人的思想，提出采用GANs神經(jīng)網(wǎng)絡(luò)回歸3DMM模型參數(shù)進(jìn)行三維人臉重建任務(wù),。在解決三維人臉數(shù)據(jù)稀少問(wèn)題上,，本文提出兩種并列的監(jiān)督信號(hào)：(1)二維監(jiān)督信號(hào)：利用三維人臉投影后的二維人臉與輸入的二維人臉身份差異及皮膚顏色差異，來(lái)提供二維層面的監(jiān)督信號(hào),，使得二者相近,；(2)三維監(jiān)督信號(hào)：利用重構(gòu)的三維人臉頂點(diǎn)分布與普遍三維人臉頂點(diǎn)分布差異，來(lái)提供三維層面的監(jiān)督信號(hào),，以使得重構(gòu)后的三維人臉具備真實(shí)感人臉形狀,。由于僅依賴二維監(jiān)督信號(hào)可能會(huì)導(dǎo)致一些重構(gòu)后三維人臉頂點(diǎn)離正常人臉頂點(diǎn)偏差較大，雖然投影結(jié)果依舊初具人臉形狀,，仍能被系統(tǒng)識(shí)別,，但視覺(jué)感受卻與普遍人臉形狀相差較大。其原因在于缺少三維監(jiān)督信號(hào),，使得重構(gòu)后的三維人臉頂點(diǎn)分布近似于普遍三維人臉頂點(diǎn)分布,。本文擬采用生成對(duì)抗網(wǎng)絡(luò)(GANs)[8]來(lái)提供三維監(jiān)督信號(hào)，利用生成器及判別器的對(duì)抗生成,，指引人臉頂點(diǎn)分布接近于真實(shí)感人臉頂點(diǎn)分布,。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://forexkbc.com/resource/share/2000003177




作者信息:

張星星1，李金龍2

(1.中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院,，安徽 合肥230026,；

2.中國(guó)科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥230026)

此內(nèi)容為AET網(wǎng)站原創(chuàng),，未經(jīng)授權(quán)禁止轉(zhuǎn)載,。