DeepFaceDrawing: 使用草圖生成人臉圖像

來(lái)源：DeepHub IMBA

在本文中，介紹了使用人臉設計或草圖來(lái)制作人臉照片的想法。該技術(shù)的應用包括角色設計、教育培訓、面部變形和嫌疑人畫(huà)像等。

有興趣的可以先看看視頻介紹：

，時(shí)長(cháng)04:11

要解決的問(wèn)題

這篇文章的想法是設計一個(gè)應用程序來(lái)使用該面部草圖來(lái)繪制一張真實(shí)的面部圖像，該應用程序在警察、電影拍攝和面部彩繪中具有各種應用。這個(gè)想法的主要標準之一是它簡(jiǎn)單明了，非常易于使用，即使你不是一個(gè)好的畫(huà)家，你也可以使用這個(gè)應用程序創(chuàng )建真實(shí)的面孔。
過(guò)去有解決這個(gè)問(wèn)題的方法，在某些情況下使用了深度學(xué)習，但大多數時(shí)候他們以固定的繪圖作為輸入，并試圖通過(guò)添加細節使其更完整，并生成真實(shí)的面孔。
從左至右：真實(shí)圖像——HED——APDrawingGAN
從左至右：Canny Edges — Photoshop 中的影印濾鏡 — PS 中影印濾鏡的簡(jiǎn)化

問(wèn)題是如何解決的？（架構和思想）

數據集：
使用 CelebAMask-HQ 數據集的人臉圖像創(chuàng )建了一個(gè)新的數據集，并用于訓練（Train）和測試模型。
在這個(gè)數據庫中只收集了面對面的圖像，沒(méi)有任何其他添加，例如眼鏡、口罩等。邊緣檢測過(guò)程采用了整體嵌套的邊緣檢測方法，下一步使用Photoshop中的Photocopy Filter來(lái)提高設計的質(zhì)量，消除圖像噪聲。該數據庫包括 17,000 對真實(shí)圖像及其設計，其中男性圖像 6,247 對，女性圖像 11,456 對。但是，這個(gè)數據集不是很大，需要新的數據來(lái)改進(jìn)算法。在這個(gè)想法中，訓練集與測試集的比例是 1 比 20。

架構：

該系統的網(wǎng)絡(luò )結構包括三個(gè)主要模塊:組件嵌入(CE)、特征映射(FM)和圖像合成(IS)。

1. CE(組件嵌入)模塊是一個(gè)自動(dòng)編碼器，它具有定義面部的5個(gè)特征或主要組件，即左眼、右眼、鼻子和嘴。(嘴)通過(guò)其他組件進(jìn)行學(xué)習。
2. FM (Feature Mapping)和IS (Image Synthesis)模塊一起形成了一個(gè)深度學(xué)習子網(wǎng)，用來(lái)放置和組合面部組件，以創(chuàng )建一個(gè)真實(shí)的臉。其中FM是CE模塊中編碼的特征****，它將特征向量轉換為32通道的特征圖，而不是1通道的原型，這樣提高了模型的性能。

這個(gè)模型使用了shadow-guided的思想，這是用來(lái)幫助那些不太精通繪畫(huà)和繪畫(huà)的人。在背景中就會(huì )有一個(gè)臉部設計的模糊圖像，用戶(hù)可以使用它來(lái)使設計更加完整，畫(huà)出一個(gè)細節更多的更好的設計。
該網(wǎng)絡(luò )的輸入為512 × 512。在第一階段，這些圖像進(jìn)入第一個(gè)子網(wǎng)或CE，分別學(xué)習與每個(gè)人臉?lè )至肯嚓P(guān)的每個(gè)編碼器，在第二階段，每個(gè)人臉?lè )至扛鶕嗨贫仍谄涮囟ǖ念?lèi)中使用K近鄰算法，并被放置到圖中。在FM的下一步中，每個(gè)組件被插入到它的****和真實(shí)的組件中進(jìn)行制作。然后將新組件組合在一起以創(chuàng )建一個(gè)真正的新面孔。這一步在SI中使用條件GAN體系結構技術(shù)執行，這樣可以保證所有的面組件都在它們的原始位置。
樣例如下：

其他特征：
在該模型中，可以改變對人臉每個(gè)特征的注意量和準確性，可以調整每個(gè)特征的擬真程度，例如鼻子比較像而嘴不太像。還有一種功能就是可以單獨設計每只眼睛，保證眼睛可能不一定是相同的。
對比：

總結

在這個(gè)想法中，我們嘗試繪制一張臉，并將其主要成分（例如左右眼睛、鼻子、嘴巴）和其余成分分開(kāi)，并教一個(gè)深度學(xué)習網(wǎng)絡(luò )在真實(shí)圖像中找到它們的等價(jià)物，并將它們轉化為真實(shí)的樣子。 這個(gè)方向有很多挑戰，DeepFaceDrawing試圖用新的想法和以前的知識來(lái)解決，但是這個(gè)想法仍然存在問(wèn)題，我們希望在下一個(gè)版本中得到解決，這個(gè)應用程序的質(zhì)量和準確性會(huì )提高。
官網(wǎng)，論文和DEMO代碼都在這里：http://geometrylearning.com/DeepFaceDrawing/作者：Ehsan Mrh

*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。

電容相關(guān)文章:電容原理
電容傳感器相關(guān)文章:電容傳感器原理