NeRF基于線(xiàn)稿生成逼真三維人臉，細節風(fēng)格隨意改，論文已上SIGGRAPH（2）

Part 3 效果展示

如圖 5 所示，給定手繪線(xiàn)稿，基于該方法可以生成高質(zhì)量的人臉神經(jīng)輻射場(chǎng)。通過(guò)選擇不同的外觀(guān)參考圖像，可以指定生成人臉的外觀(guān)。用戶(hù)可以自由變換視角，都能得到高質(zhì)量的渲染結果。

圖 5 基于線(xiàn)稿生成的三維人臉。

如圖 6 所示，給定三維人臉，用戶(hù)可以選擇任意的視角，對渲染出的線(xiàn)稿進(jìn)行修改，從而編輯人臉 NeRF。左側展示了對隨機生成的人臉進(jìn)行編輯的效果。右側則展示給定人臉圖像后，使用人臉生成模型進(jìn)行反投影，并進(jìn)一步添加編輯的結果。

圖 6 基于線(xiàn)稿的三維人臉編輯結果。

如圖 7 所示，針對一個(gè)人臉 NeRF，用戶(hù)可以在不同視角對人臉添加連續的編輯操作，使用該方法都能得到較好的編輯結果，同時(shí)，非編輯的立體區域的特征也被完美保持。

圖 7 基于線(xiàn)稿對人臉進(jìn)行連續的編輯操作。

如圖 8 所示，得益于生成模型隱空間的良好性質(zhì)，對特定人添加的編輯操作后，計算前后的隱碼差異得到編輯向量，一些情況下可以直接作用于其他人，得到類(lèi)似的編輯效果。

圖 8 編輯傳播結果，左側的編輯操作的效果，可以傳播至右側人臉。

Part 4 結語(yǔ)

隨著(zhù)人工智能的迅速發(fā)展，AI 繪畫(huà)也涌現出許多的新的方法。與生成二維圖像不同，如何生成三維數字內容是更具挑戰性的問(wèn)題。SketchFaceNeRF 提供了一種可行的解決方案，基于手繪線(xiàn)稿，用戶(hù)可以生成高質(zhì)量的人臉模型，并支持任意視角的精細化的編輯。

基于該系統，我們無(wú)需安裝繁雜的三維建模軟件并學(xué)習復雜的技能，也不需要花費數個(gè)小時(shí)時(shí)間精力，僅僅通過(guò)勾勒簡(jiǎn)單的線(xiàn)條，普通用戶(hù)也能輕松構建心中完美的人臉模型，并得到高質(zhì)量的渲染結果。

SketchFaceNeRF 已經(jīng)被 ACM SIGGRAPH 2023 接收，并將刊登在期刊 ACM Transactions on Graphics 上。

目前，SketchFaceNeRF 已經(jīng)提供在線(xiàn)服務(wù)供大家使用。在線(xiàn)系統由中科院計算所信息高鐵訓練推理平臺 MLOps 提供智算算力支持，由中科南京信息高鐵研究院提供上線(xiàn)工程服務(wù)保障。

在線(xiàn)服務(wù)鏈接：http://geometrylearning.com/SketchFaceNeRF/interface

有關(guān)論文的更多細節，及論文、視頻、代碼的下載，請瀏覽項目主頁(yè)：

http://www.geometrylearning.com/SketchFaceNeRF/

開(kāi)源代碼見(jiàn)：

https://github.com/IGLICT/SketchFaceNeRF

參考文獻：

[1] Lin Gao, Feng-Lin Liu, Shu-Yu Chen, Kaiwen Jiang, Chunpeng Li, Yu-Kun Lai, Hongbo Fu. SketchFaceNeRF: Sketch-based Facial Generation and Editing in Neural Radiance Fields. ACM TOG. 2023

[2] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Bj?rn Ommer, High-Resolution Image Synthesis with Latent Diffusion Models, CVPR, 2022

[3] Adding Conditional Control to Text-to-Image Diffusion Models, Lvmin Zhang and Maneesh Agrawala, ArXiv, 2023

[4] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. 2021. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Commun. ACM 65, 1 (dec 2021), 99–106.

[5] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative Adversarial Nets. In Advances in Neural Information Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger (Eds.), Vol. 27. Curran Associates, Inc.

[6] Eric R. Chan, Connor Z. Lin, Matthew A. Chan, Koki Nagano, Boxiao Pan, Shalini de Mello, Orazio Gallo, Leonidas Guibas, Jonathan Tremblay, Sameh Khamis, Tero Karras, and Gordon Wetzstein. 2022. Efficient Geometry-aware 3D Generative Adversarial Networks. CVPR, 2022

[7] Jingxiang Sun, Xuan Wang, Yichun Shi, Lizhen Wang, Jue Wang, and Yebin Liu. 2022. IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-Aware Portrait Synthesis. ACM TOG, 2022,

[8] Kaiwen Jiang, Shu-Yu Chen, Feng-Lin Liu, Hongbo Fu, and Lin Gao. 2022. NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields. In SIGGRAPH Asia 2022

[9] Shu-Yu Chen, Wanchao Su, Lin Gao, Shihong Xia, and Hongbo Fu. 2020. DeepFaceDrawing: Deep generation of face images from sketches. ACM TOG, 2020

[10] Shu-Yu Chen, Feng-Lin Liu, Yu-Kun Lai, Paul L. Rosin, Chunpeng Li, Hongbo Fu, and Lin Gao. 2021. DeepFaceEditing: deep face generation and editing with disentangled geometry and appearance control. ACM TOG, 2021

[11] Xun Huang and Serge Belongie. Arbitrary style transfer in real-time with adaptive instance normalization. In CVPR, 2017