CVPR 2022｜只用一張圖+相機走位，AI就能腦補周?chē)h(huán)境！

編輯丨極市平臺

站在門(mén)口看一眼，AI就能腦補出房間里面長(cháng)什么樣：

是不是有線(xiàn)上VR看房那味兒了？

不只是室內效果，來(lái)個(gè)遠景長(cháng)鏡頭航拍也是so easy：

而且渲染出的圖像通通都是高保真效果，仿佛是用真相機拍出來(lái)的一樣。

最近一段時(shí)間，用2D圖片合成3D場(chǎng)景的研究火了一波又一波。

但是過(guò)去的許多研究，合成場(chǎng)景往往都局限在一個(gè)范圍比較小的空間里。

比如此前大火的NeRF，效果就是圍繞畫(huà)面主體展開(kāi)。

這一次的新進(jìn)展，則是將視角進(jìn)一步延伸，更側重讓AI預測出遠距離的畫(huà)面。

比如給出一個(gè)房間門(mén)口，它就能合成穿過(guò)門(mén)、走過(guò)走廊后的場(chǎng)景了。

目前，該研究的相關(guān)論文已被CVPR2022接收。

輸入單張畫(huà)面和相機軌跡

讓AI根據一個(gè)畫(huà)面，就推測出后面的內容，這個(gè)感覺(jué)是不是和讓AI寫(xiě)文章有點(diǎn)類(lèi)似？

實(shí)際上，研究人員這次用到的正是NLP領(lǐng)域常用的Transformer。

他們利用自回歸Transformer的方法，通過(guò)輸入單個(gè)場(chǎng)景圖像和攝像機運動(dòng)軌跡，讓生成的每幀畫(huà)面與運動(dòng)軌跡位置一一對應，從而合成出一個(gè)遠距離的長(cháng)鏡頭效果。

整個(gè)過(guò)程可以分為兩個(gè)階段。

• 第一階段先預訓練了一個(gè)VQ-GAN，可以把輸入圖像映射到token上。

VQ-GAN是一個(gè)基于Transformer的圖像生成模型，其最大特點(diǎn)就是生成的圖像非常高清。

在這部分，編碼器會(huì )將圖像編碼為離散表示，****將表示映射為高保真輸出。

• 第二階段，在將圖像處理成token后，研究人員用了類(lèi)似GPT的架構來(lái)做自回歸。

具體訓練過(guò)程中，要將輸入圖像和起始相機軌跡位置編碼為特定模態(tài)的token，同時(shí)添加一個(gè)解耦的位置輸入P.E.。

然后，token被喂給自回歸Transformer來(lái)預測圖像。

模型從輸入的單個(gè)圖像開(kāi)始推理，并通過(guò)預測前后幀來(lái)不斷增加輸入。

研究人員發(fā)現，并非每個(gè)軌跡時(shí)刻生成的幀都同樣重要。因此，他們還利用了一個(gè)局部性約束來(lái)引導模型更專(zhuān)注于關(guān)鍵幀的輸出。

這個(gè)局部性約束是通過(guò)攝像機軌跡來(lái)引入的。

基于兩幀畫(huà)面所對應的攝像機軌跡位置，研究人員可以定位重疊幀，并能確定下一幀在哪。

為了結合以上內容，他們利用MLP計算了一個(gè)“相機感知偏差”。

這種方法會(huì )使得在優(yōu)化時(shí)更加容易，而且對保證生成畫(huà)面的一致性上，起到了至關(guān)重要的作用。

實(shí)驗結果

本項研究在RealEstate10K、Matterport3D數據集上進(jìn)行實(shí)驗。

結果顯示，相較于不規定相機軌跡的模型，該方法生成圖像的質(zhì)量更好。

與離散相機軌跡的方法相比，該方法的效果也明顯更好。

作者還對模型的注意力情況進(jìn)行了可視化分析。

結果顯示，運動(dòng)軌跡位置附近貢獻的注意力更多。

在消融實(shí)驗上，結果顯示該方法在Matterport3D數據集上，相機感知偏差和解耦位置的嵌入，都對提高圖像質(zhì)量和幀與幀之間的一致性有所幫助。

兩位作者均是華人

Xuanchi Ren為香港科技大學(xué)本科生。

他曾在微軟亞研院實(shí)習過(guò)，2021年暑期與Xiaolong Wang教授有過(guò)合作。

Xiaolong Wang是加州大學(xué)圣地亞哥分校助理教授。

他博士畢業(yè)于卡內基梅隆大學(xué)機器人專(zhuān)業(yè)。

研究興趣有計算機視覺(jué)、機器學(xué)習和機器人等。特別自我監督學(xué)習、視頻理解、常識推理、強化學(xué)習和機器人技術(shù)等領(lǐng)域。

論文地址：
https://xrenaa.github.io/look-outside-room/

本文僅做學(xué)術(shù)分享，如有侵權，請聯(lián)系刪文。