引用格式:易旭,白天.基于Star-Gan的人臉互換算法[J].信息技術(shù)與網(wǎng)絡(luò)安全,,2020,39(5):12-16.
隨著深度學(xué)習(xí)技術(shù)的興起,圖像處理相關(guān)的研究有了一項(xiàng)強(qiáng)有力的技術(shù)支持,。人臉互換在圖像處理方面作為一個(gè)里程碑式的技術(shù),,意味著計(jì)算機(jī)能夠理解人臉圖像。如何通過(guò)對(duì)抗生成網(wǎng)絡(luò)實(shí)現(xiàn)人臉互換,,提升生成效果是現(xiàn)如今計(jì)算機(jī)視覺(jué)的一大熱點(diǎn),。
對(duì)于傳統(tǒng)的方法Face-swap[1],,人臉互換只是把目標(biāo)人臉截取,粘貼到原始人臉上面,,使用圖像融合的相關(guān)算法(如泊松融合)消除邊界,,后續(xù)的改進(jìn)一般是在圖像融合方面進(jìn)行突破。
近年來(lái),,隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的成熟,,KORSHUNOVA I[2]提出基于深度學(xué)習(xí)的人臉互換,將兩個(gè)人臉的身份信息看成是兩個(gè)不同圖片風(fēng)格,,為一個(gè)目標(biāo)人物訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)提取人臉特征,,換臉其實(shí)就是替換人臉的高維隱空間向量,而后再用訓(xùn)練好的人臉生成器進(jìn)行生成,,這種方式要求同一身份大量的人臉數(shù)據(jù),,其訓(xùn)練得到的模型只適用于這兩個(gè)身份。YUVAL N[3]提出先使用3DMM模型擬合人臉,,再互換人臉,,解決了需要大量同一身份人臉圖片的問(wèn)題,但3DMM仍然有人臉匹配失敗的問(wèn)題,,最終導(dǎo)致模型出錯(cuò),。NATSUME R[4-5]提出了FSnet和RSGAN,使用編碼器學(xué)習(xí)整體人臉的編碼,對(duì)所有的人臉只學(xué)習(xí)一個(gè)單一的人臉身份編碼器網(wǎng)絡(luò),,但由于輸出的編碼是一個(gè)高維的人臉身份向量,,特征信息依然高度糾纏。
本文借鑒前人的思想,,使用Star-Gan模型作為生成器,,利用Arcface[6]身份編碼器提取人臉高維身份特征,針對(duì)人臉細(xì)節(jié)的生成,,使用基于U-net[7]的人臉特征編碼器模型為多層級(jí)的輸入,,解決人臉特征糾纏的問(wèn)題,使用PatchGan的思想改造判別器網(wǎng)絡(luò)結(jié)構(gòu),,引入實(shí)例歸一化層提升生成效果,。
本文詳細(xì)內(nèi)容請(qǐng)下載:http://forexkbc.com/resource/share/2000003093
作者信息:易旭,白天(中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院,,安徽 合肥 230026)