輸入一張女性的照片,,就能得到果體照,一件脫衣的DeepNude火了,。但也因為面臨巨大的道德爭議,,這款軟件的開發(fā)者選擇了將它下架。
而且DeepNude本身也不開源,,我們只能從開發(fā)者零星的介紹中知道,,它用到了pix2pix。
在巨大的求知欲驅(qū)動下,,來自四川大學(xué)計算機學(xué)院在讀碩士袁宵在自己的GitHub探究了DeepNude背后原理,,研究圖像生成和圖像修復(fù)相關(guān)的技術(shù)和論文。
據(jù)他的分析,,其實DeepNude只是“站在巨人的肩上”,,里面用到的技術(shù)都是近兩年CV領(lǐng)域的重大研究成果,而且都已經(jīng)開源,。
當(dāng)然,,作者本身對這項技術(shù)是持批判態(tài)度的。
原理
DeepNude主要使用了2018年發(fā)表的文章《Image Inpainting for Irregular Holes Using Partial Convolutions》中提出的圖像到圖像技術(shù),。
它可以把簡筆畫變成色彩豐富的圖像,,感興趣的同學(xué)可以去Demo網(wǎng)站在瀏覽器中試玩。
具體來說,,DeepNude主要使用了計算機視覺領(lǐng)域的3項技術(shù),。
1、圖像修復(fù)
即上面提到的文章,,這是來自英偉達Guilin Liu等人的團隊在2018年發(fā)表的研究,。
當(dāng)畫面被嚴重涂抹后,,模型仍然能夠恢復(fù)出“原來”的圖像,可以說是“毫無PS痕跡”,。
Image Inpainting除了能修復(fù)受損的圖像,,還能去掉圖像中的某些物品,比如把草地中的石頭涂抹一下,,恢復(fù)的后圖片中不再有石頭,。
DeepNude用它除掉了圖片里的衣服。
2,、Pix2Pix
這是加州大學(xué)伯克利分校在2017年發(fā)表的文章,,使用條件對抗網(wǎng)絡(luò)作為圖像到圖像轉(zhuǎn)換問題的通用解決方案。
image.png
從語義分割到原圖,、從黑白到彩色,、補全簡筆畫等等,Pix2Pix幾乎無所不能,。
3,、CycleGAN
這是來自朱俊彥本人的博士論文,曾獲得2018年ACM SIGGRAPH最佳博士論文獎,。
CycleGAN使用循環(huán)一致性損失函數(shù)來實現(xiàn)訓(xùn)練,,而無需配對數(shù)據(jù)。換句話說,,它可以從一個域轉(zhuǎn)換到另一個域,,而無需在源域和目標(biāo)域之間進行一對一映射。這開啟了執(zhí)行許多有趣任務(wù)的可能性,,例如照片增強,,圖像著色,風(fēng)格遷移等,。您只需要源和目標(biāo)數(shù)據(jù)集,。
它可以在普通的馬和斑馬之間進行轉(zhuǎn)換,也能把夏天的景色變成冬天的景色,。
以上3種工具的代碼都已經(jīng)開源,。
DeepNude文件
DeepNude軟件包中所有的文件如下:
袁宵認為DeepNude軟件還是存在一些缺點可以改進的:
1、軟件體積太大:一個pyqtlib.rar文件的體積就高達1.9GB,。
2,、轉(zhuǎn)換速度慢:處理一張圖片需要30秒;
3,、內(nèi)容不尊重女性:這是對深度學(xué)習(xí)技術(shù)的錯誤使用
他認為,DeepNude可以使用TensorFlow來實現(xiàn),,壓縮模型的體積,。軟件本身也應(yīng)該改變目前不尊重女性的做法,,把這項技術(shù)用在正途上。研究人員應(yīng)努力為人類謀福祉,,而不是通過違法軟件獲取收入,。
求種現(xiàn)場
雖然袁宵本人的愿望很美好,但是這個項目的討論頁面還是不可避免地成為了求種現(xiàn)場,。
隨著DeepNude下架,,有人希望作者能提供原版軟件下載地址,或者提供一些代碼之類的,。
作者本人當(dāng)然是嚴詞拒絕,,不光關(guān)乎道德,因為在中國傳播色情軟件是違法的,。
最后插播一條最新消息,,另一款”羞羞”的軟件也被視為非法了,那就是可以把愛情動作片女主角換成任意女神的Deepfake,。
在美國弗吉尼亞州,,未經(jīng)本人同意,制造虛假的裸露圖片或視頻將視作犯罪,,可處以罰款乃至監(jiān)禁,。