arXiv最新NeRF文章 l Blended-NeRF：混合神經(jīng)輻射場(chǎng)中的零樣本物體生成和混合

Blended-NeRF是一個(gè)強大而靈活的框架，用于編輯NeRF場(chǎng)景中的特定興趣區域。該框架利用預訓練的語(yǔ)言-圖像模型和現有NeRF場(chǎng)景上初始化的3D MLP模型，根據文本提示或圖像塊合成并混合對象到原始場(chǎng)景中的指定區域。使用3D ROI框實(shí)現局部編輯，并通過(guò)體積混合技術(shù)將合成內容與現有場(chǎng)景融合。為了獲得逼真且一致的結果，該框架使用幾何先驗和3D增強技術(shù)提高視覺(jué)保真度。在定性和定量測試中，Blended-NeRF展示了比基準方法更大的靈活性和多樣性的逼真多視圖一致結果。此外，該框架適用于多種3D編輯應用。

近年來(lái)，在神經(jīng)隱式表示領(lǐng)域取得了重要的進(jìn)展，特別是對于3D場(chǎng)景的隱式表示。NeRFs是一種基于MLP的神經(jīng)模型，可以通過(guò)體積渲染從有限數量的觀(guān)測生成高質(zhì)量的圖像。然而，編輯NeRF表示的場(chǎng)景是具有挑戰性的，因為場(chǎng)景是以隱式方式編碼的，而不是以顯式方式表示。此外，在NeRF表示的場(chǎng)景中混合新對象也是具有挑戰性的，需要在隱式表示的基礎上保持多個(gè)視角之間的一致性。與在圖像中進(jìn)行局部編輯不同，現有的方法主要集中在局部部分的移除、顏色變化和形狀轉移等簡(jiǎn)單操作上。本文提出了一種基于ROI的NeRF場(chǎng)景編輯方法，通過(guò)文本提示或圖像修補來(lái)引導。該方法具有通用性，可以應用于任何實(shí)際場(chǎng)景中的任何區域，并生成自然且與現有場(chǎng)景無(wú)縫融合的結果。為了實(shí)現局部編輯，我們利用預訓練的語(yǔ)言-圖像模型和現有的NeRF模型，結合深度信息和體積混合方法，實(shí)現了對指定區域的編輯。為了獲得更逼真、自然且一致的結果，我們還引入了增強和先驗，如深度正則化、姿態(tài)采樣和方向依賴(lài)的提示。經(jīng)過(guò)廣泛的實(shí)驗驗證，我們的方法在各種真實(shí)3D場(chǎng)景的編輯應用中取得了良好的效果。

神經(jīng)隱式表示在計算機視覺(jué)和圖形學(xué)領(lǐng)域中得到了廣泛的應用，包括2D和3D。其優(yōu)點(diǎn)之一是能夠捕捉復雜多樣的模式，并提供底層場(chǎng)景的連續表示。與高分辨率2D圖像的顯式表示，或者3D中的網(wǎng)格和點(diǎn)云相比，神經(jīng)隱式表示具有獨立于分辨率的緊湊性。NeRFs通過(guò)多層感知機(MLP)的權重學(xué)習將3D場(chǎng)景表示為連續體積和輻射場(chǎng)。給定3D位置

*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。