蘋(píng)果發(fā)布 AI 生成模型 GAUDI，文字生成 3D 場(chǎng)景
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
目前為止，NeRFs 主要用做 3D 模型和 3D 場(chǎng)景的一種神經(jīng)存儲介質(zhì)，然后可以從不同的相機視角進(jìn)行渲染。
如果說(shuō) NeRFs 從不同角度逼真地渲染圖像的能力可以用于生成 AI 呢？此前，OpenAI 的 DALL-E 2 或 Google 的 Imagen 和 Parti 等 AI 系統展示了 AI 將文本生成圖像的潛力，但內容也僅限于 2D 圖像和圖形。2021 年末時(shí)，谷歌通過(guò) Dream Fields 首次展示了 3D AI 生成系統，將 NeRF 生成 3D 視圖的能力與 OpenAI 的 CLIP 評估圖像內容的能力相結合。蘋(píng)果 AI 團隊發(fā)布的 GAUDI 是一種能夠生成沉浸式 3D 場(chǎng)景的神經(jīng)架構，可以根據文字提示創(chuàng )建 3D 場(chǎng)景。
例如，輸入“穿過(guò)走廊”或“上樓梯”，就可以看到執行這一動(dòng)作的 3D 場(chǎng)景視頻。
Apple GAUDI 是 3D 內飾專(zhuān)家
雖然谷歌致力于使用 Dream Fields 生成單個(gè)對象，但將生成 AI 擴展到完全不受約束的 3D 場(chǎng)景仍是一個(gè)尚未解決的問(wèn)題。這背后極有可能的原因之一是攝像機位置的限制。雖然對于單個(gè)對象，每個(gè)攝像機位置都可以映射到一個(gè)圓頂，但在 3D 場(chǎng)景中，這些攝像機位置會(huì )受到對象和墻壁等障礙物的限制。對于這個(gè)問(wèn)題，GAUDI 模型的解決方案是：相機姿態(tài)****對可能的相機位置進(jìn)行預測，并確保輸出是 3D 場(chǎng)景架構的有效位置。場(chǎng)景的場(chǎng)景****預測三平面表示，這是一種 3D 畫(huà)布，輻射場(chǎng)****在其上使用體積渲染方程繪制后續圖像。在對四個(gè)不同數據集（包括室內掃描數據集 ARKitScences）的實(shí)驗中，研究人員表明 GAUDI 可以重建學(xué)習視圖并匹配現有方法的質(zhì)量。雖然現在 GAUDI 生成的 3D 場(chǎng)景視頻質(zhì)量還不是很高，但這也說(shuō)明了 AI 在圖像和視頻技術(shù)這生成的另一種可能。參考鏈接：https://mixed-news.com/en/apples-new-gaudi-ai-turns-text-prompts-into-3d-scenes/
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
