《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 設(shè)計(jì)應(yīng)用 > 基于Star-Gan的人臉互換算法
基于Star-Gan的人臉互換算法
《信息技術(shù)與網(wǎng)絡(luò)安全》2020年第5期
易旭,，白天
中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院
摘要： 基于Star-Gan的人臉互換算法易旭，白天(中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院,，安徽 合肥 230026)基于深度學(xué)習(xí)的人臉互換算法會(huì)因背景人臉環(huán)境的明亮程度,、人臉表情,、姿勢(shì)等因素影響換臉效果，現(xiàn)階段的人臉互換模型存在固有的弊端,。采用Patch-Gan(Generative Adversarial Networks)的判別器結(jié)構(gòu)能通過(guò)全卷積網(wǎng)絡(luò)增強(qiáng)人臉局部一致性的效果,。生成器將Unet結(jié)構(gòu)的編碼器的特征輸出作為輸入，能考慮多層信息細(xì)節(jié),。整體模型架構(gòu)采用Star-Gan的模型,，引入實(shí)例歸一化層能保證圖像的獨(dú)立性。最后在Face-Forensics++人臉互換數(shù)據(jù)集上進(jìn)行驗(yàn)證,，結(jié)果表明,，融合的模型有較好的生成效果和細(xì)節(jié)。
中圖分類(lèi)號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A DOI： 10.19358/j.issn.2096-5133.2020.05.003
引用格式：易旭,，白天.基于Star-Gan的人臉互換算法［J］.信息技術(shù)與網(wǎng)絡(luò)安全,，2020,39（5）：12-16.
Yi Xu，Bai Tian
School of Software Engineering,University of Science and Technology of China
Abstract： The effect of face swap algorithm based on deep learning will be affected by the brightness of the background face environment,facial expression,posture and other factors.There are inherent disadvantages in the current face swap models.The discriminator structure based on PatchGan can enhance the local consistency of human face through full convolution network.The generator takes the feature output of the Unet encoder as the input,and considers the multilayer information details.Among them,StarGan model is adopted as the overall model architecture,and case normalization layer is introduced to ensure the image independence.Finally,it is validated on FaceForensics++ face exchange data set.The results show that the optimized model has better generation effect and details.
Key words : deep learning;face swap;generative adversarial networks

隨著深度學(xué)習(xí)技術(shù)的興起,，圖像處理相關(guān)的研究有了一項(xiàng)強(qiáng)有力的技術(shù)支持,。人臉互換在圖像處理方面作為一個(gè)里程碑式的技術(shù)，意味著計(jì)算機(jī)能夠理解人臉圖像,。如何通過(guò)對(duì)抗生成網(wǎng)絡(luò)實(shí)現(xiàn)人臉互換,，提升生成效果是現(xiàn)如今計(jì)算機(jī)視覺(jué)的一大熱點(diǎn)。

對(duì)于傳統(tǒng)的方法Face-swap［1］,，人臉互換只是把目標(biāo)人臉截取,，粘貼到原始人臉上面，使用圖像融合的相關(guān)算法（如泊松融合）消除邊界,，后續(xù)的改進(jìn)一般是在圖像融合方面進(jìn)行突破,。

近年來(lái)，隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的成熟,，KORSHUNOVA I［2］提出基于深度學(xué)習(xí)的人臉互換,，將兩個(gè)人臉的身份信息看成是兩個(gè)不同圖片風(fēng)格，為一個(gè)目標(biāo)人物訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)提取人臉特征,，換臉其實(shí)就是替換人臉的高維隱空間向量,，而后再用訓(xùn)練好的人臉生成器進(jìn)行生成，這種方式要求同一身份大量的人臉數(shù)據(jù),，其訓(xùn)練得到的模型只適用于這兩個(gè)身份,。YUVAL N［3］提出先使用3DMM模型擬合人臉,，再互換人臉，解決了需要大量同一身份人臉圖片的問(wèn)題,，但3DMM仍然有人臉匹配失敗的問(wèn)題,，最終導(dǎo)致模型出錯(cuò)。NATSUME R［4-5］提出了FSnet和RSGAN,使用編碼器學(xué)習(xí)整體人臉的編碼,，對(duì)所有的人臉只學(xué)習(xí)一個(gè)單一的人臉身份編碼器網(wǎng)絡(luò),，但由于輸出的編碼是一個(gè)高維的人臉身份向量，特征信息依然高度糾纏,。

本文借鑒前人的思想,，使用Star-Gan模型作為生成器，利用Arcface［6］身份編碼器提取人臉高維身份特征,，針對(duì)人臉細(xì)節(jié)的生成,，使用基于U-net［7］的人臉特征編碼器模型為多層級(jí)的輸入，解決人臉特征糾纏的問(wèn)題,，使用PatchGan的思想改造判別器網(wǎng)絡(luò)結(jié)構(gòu),，引入實(shí)例歸一化層提升生成效果。



本文詳細(xì)內(nèi)容請(qǐng)下載：http://forexkbc.com/resource/share/2000003093


作者信息：易旭,，白天(中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院,，安徽 合肥 230026)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載,。