《電子技術應用》
您所在的位置：首頁 > 人工智能 > 設計應用 > 基于GANs無監(jiān)督回歸三維參數化人臉模型
基于GANs無監(jiān)督回歸三維參數化人臉模型
2020年信息技術與網絡安全第11期
張星星1，李金龍2
1.中國科學技術大學 軟件學院,，安徽 合肥230026,； 2.中國科學技術大學 計算機科學與技術學院，安徽 合肥230026
摘要： 針對神經網絡回歸訓練過程中三維人臉數據稀缺的問題,，提出了基于生成對抗網絡(GANs)回歸三維參數化人臉模型(3DMM)的無監(jiān)督學習方式。首先利用GANs的對抗生成訓練使生成器回歸的3DMM參數符合真實感人臉形狀的參數分布。隨后將生成的三維人臉網格渲染成二維圖片,，利用身份編碼器對輸入人臉及渲染人臉分別提取身份特征向量，通過不斷縮小向量之間的距離使得生成的三維人臉網格靠近輸入人臉的身份特征,。實驗結果表明,，該方法在重建結果頂點位置準確性上相對于現(xiàn)有的方法有明顯的提升，且擁有較好的RMSE值，能夠較好應用于三維人臉重建任務,。
中圖分類號： TP391.41
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2020.11.008
引用格式： 張星星,，李金龍. 基于GANs無監(jiān)督回歸三維參數化人臉模型[J].信息技術與網絡安全，2020,，39(11)：50-55.
GANs-based unsupervised regression for 3D morphable model
Zhang Xingxing1,，Li Jinlong2
1.School of Software Engineering，University of Science and Technology of China,，Hefei 230026,，China； 2.School of Computer Science and Technology,，University of Science and Technology of China,， Hefei 230026，China
Abstract： Aming at the problem of scarcity of 3D face ground-truth data in the training process of neural network regressing for 3D facial mesh, an unsupervised learning method based on Generative Adversarial Networks(GANs), which regresses for 3D Morphable Model(3DMM) parameters, is proposed. Firstly, the adversarial training process of GANs is used to make the generated 3DMM parameters conform to the realistic 3DMM parameters distribution. Then, the generated 3D facial mesh is rendered into a 2D image. Later, the identity encoder is used to extract the identity feature embeddings from the input face and the rendered face respectively. By continuously minimizing the distance between the two embeddings, the generated 3D facial mesh is enforced to maintain the identical features of the input face. The experimental results show that the proposed method has a significant improvement in the accuracy of vertex position compared with the existing methods, and has a good RMSE value, which can be well applied to 3D face reconstruction tasks.
Key words : 3D face reconstruction,；generative adversarial networks,；unsupervised

0 引言

    三維人臉重建是指通過一張或多張同一個人的照片來構建該人的三維人臉網格。該課題一直是計算機視覺和圖形學的熱門關注焦點,，擁有廣泛的應用場景,，如人臉身份識別、醫(yī)學方案展示,、三維人臉動畫等,。

    在三維人臉重建領域，VETTER T和BLANTZ V在1999年提出的三維人臉參數化模型(3DMM)[1]具有重要意義,。3DMM采集了200位實驗對象的臉部激光掃描數據集,，并對該數據集進行主成分分析(PCA)。通過對PCA所提取的基向量進行線性組合從而構成一張新的人臉,。

    傳統(tǒng)的三維人臉重建基于迭代方法[2],，即針對輸入人臉，利用人臉關鍵點,，反復調整基向量的參數使得三維人臉渲染后提取的人臉關鍵點與二維人臉關鍵點接近,，以此達到具有輸入人臉特征的三維人臉網格。然而,，該方法較為依賴人臉關鍵點的檢測結果,，在人臉姿勢較大或有遮擋物時，效果較差,，迭代過程耗時也較長,。

    近年來，隨著深度學習的不斷發(fā)展,，越來越多的研究開始運用基于回歸的方法重建三維人臉,。然而,，在神經網絡的訓練過程中，一個亟需解決的問題便是三維人臉訓練數據稀少,。針對這一問題,，部分研究提出利用合成數據[3-4]，即先隨機初始化3DMM的參數作為參照的三維人臉,，而后將該三維人臉投影成的二維人臉作為輸入數據,，進而擴大訓練數據集。因為合成數據投影形成的二維圖片不能反映真實世界的復雜度,，故GENOVA K[5]提議采用真實圖片及合成圖片的混合數據集進行兩步訓練,。TEWARI A[6]利用編碼解碼器結構直接從單張圖片重建三維人臉，解碼器是基于專業(yè)知識精心設計的,，但可擴展性較低,。TRAN A T[7]等人提議利用迭代方法形成的三維人臉作為神經網絡所需的配對三維人臉數據進行訓練。

    本文基于前人的思想,，提出采用GANs神經網絡回歸3DMM模型參數進行三維人臉重建任務,。在解決三維人臉數據稀少問題上，本文提出兩種并列的監(jiān)督信號：(1)二維監(jiān)督信號：利用三維人臉投影后的二維人臉與輸入的二維人臉身份差異及皮膚顏色差異,，來提供二維層面的監(jiān)督信號,，使得二者相近；(2)三維監(jiān)督信號：利用重構的三維人臉頂點分布與普遍三維人臉頂點分布差異,，來提供三維層面的監(jiān)督信號,，以使得重構后的三維人臉具備真實感人臉形狀。由于僅依賴二維監(jiān)督信號可能會導致一些重構后三維人臉頂點離正常人臉頂點偏差較大,，雖然投影結果依舊初具人臉形狀,，仍能被系統(tǒng)識別，但視覺感受卻與普遍人臉形狀相差較大,。其原因在于缺少三維監(jiān)督信號,，使得重構后的三維人臉頂點分布近似于普遍三維人臉頂點分布。本文擬采用生成對抗網絡(GANs)[8]來提供三維監(jiān)督信號,，利用生成器及判別器的對抗生成,，指引人臉頂點分布接近于真實感人臉頂點分布。




本文詳細內容請下載:http://forexkbc.com/resource/share/2000003177




作者信息:

張星星1,，李金龍2

(1.中國科學技術大學 軟件學院,，安徽 合肥230026；

2.中國科學技術大學 計算機科學與技術學院,，安徽 合肥230026)

此內容為AET網站原創(chuàng)，未經授權禁止轉載,。