CVPR 2021 | 谷歌發(fā)布視頻全景分割數據集！順帶開(kāi)發(fā)個(gè)模型屠榜

本文轉載自：新智元  |  編輯：LRS

自動(dòng)駕駛里視覺(jué)一直為人所詬病，特斯拉就是經(jīng)常被拉出來(lái)批判的典型。谷歌最近開(kāi)發(fā)了一個(gè)新模型，效果拔群，已被CVPR2021接收。

對于人來(lái)說(shuō)，看一張平面照片能夠想象到重建后的3D場(chǎng)景布局，能夠根據2D圖像中包含的有限信號來(lái)識別對象，確定實(shí)例大小并重建3D場(chǎng)景布局。

這個(gè)問(wèn)題有一個(gè)術(shù)語(yǔ)叫做光學(xué)可逆問(wèn)題inverse optics problem，它是指從視網(wǎng)膜圖像到視網(wǎng)膜刺激源的模糊映射。

現實(shí)世界中的計算機視覺(jué)應用，例如自動(dòng)駕駛就嚴重依賴(lài)這些功能來(lái)定位和識別3D對象，這需要AI模型來(lái)推斷投影到2D圖像的每個(gè)3D點(diǎn)的空間位置、語(yǔ)義類(lèi)別和實(shí)例標簽。

從圖像重建3D世界的能力可以分解為兩個(gè)獨立的子任務(wù)：?jiǎn)文可疃裙烙嫞◤膯蝹€(gè)圖像預測深度）和視頻全景分割（實(shí)例分割和語(yǔ)義分割）。

研究人員通常對每個(gè)任務(wù)提出不同的模型，通過(guò)在多個(gè)任務(wù)之間共享計算的模型權重。在實(shí)際應用的時(shí)候，將這些任務(wù)與統一的計算機視覺(jué)模型一起處理可以簡(jiǎn)化部署提高效率。

基于這個(gè)研究背景，Google提出一個(gè)全新的模型ViP-DeepLab，通過(guò)深度感知視頻全景分割來(lái)學(xué)習視覺(jué)感知，已被CVPR 2021接受，旨在同時(shí)解決單目深度估計和視頻全景分割。

ViP-DeepLab: Learning Visual Perception with Depth-aware Video Panoptic Segmentation

論文：https://arxiv.org/abs/2012.05258

數據集：https://github.com/joe-siyuan-qiao/ViP-DeepLab

論文中還提出了兩個(gè)數據集，并提出了一種稱(chēng)為深度感知視頻全景質(zhì)量（DVPQ）的新評估指標，這個(gè)新指標可以同時(shí)評估深度估計和視頻全景分割。

ViP-DeepLab是一個(gè)統一的模型，可以對圖像平面上的每個(gè)像素聯(lián)合執行視頻全景分割和單目深度估計，并在子任務(wù)的幾個(gè)學(xué)術(shù)數據集取得了sota結果。

ViP-DeepLab通過(guò)從兩個(gè)連續的幀作為輸入來(lái)執行其他預測，輸出包括第一幀的深度估計，它為每個(gè)像素分配一個(gè)深度估計值。

此外，ViP-DeepLab還對出現在第一幀中的對象中心執行兩個(gè)連續幀的中心回歸，此過(guò)程稱(chēng)為中心偏移預測，它允許兩個(gè)幀中的所有像素分組到出現在第一幀中的同一對象。如果未將新實(shí)例匹配到先前檢測到的實(shí)例中，則會(huì )出現新實(shí)例。

ViP-DeepLab的輸出可以用于視頻全景分割。連接兩個(gè)連續的幀作為輸入。語(yǔ)義分割輸出將每個(gè)像素與其語(yǔ)義類(lèi)別相關(guān)聯(lián)，而實(shí)例分割輸出則從與第一幀中的單個(gè)對象相關(guān)聯(lián)的兩個(gè)幀中識別像素，輸入圖像來(lái)自Cityscapes數據集。

論文中在多個(gè)流行的基準數據集上測試了ViP-DeepLab，包括Cityscapes-VPS，KITTI深度預測和KITTI多對象跟蹤和分段（MOTS）。

ViP-DeepLab都取得了SOTA的結果，在Cityscapes-VPS測試上，其視頻全景質(zhì)量（VPQ）大大優(yōu)于以前的方法，達到了5.1％。

在KITTI深度預測基準上進(jìn)行單眼深度估計的比較，對于深度估算指標，值越小，性能越好。盡管差異可能看起來(lái)很小，但在此基準上性能最高的方法通常在SILog中的間隙小于0.1。

此外，VIP-DeepLab也在KITTI MOTS行人和汽車(chē)排名度量使用新的度量標準HOTA，都取得了顯著(zhù)提升。

最后，論文中還為新任務(wù)提供了兩個(gè)新的數據集，即深度感知視頻全景分割，并在其上測試了ViP-DeepLab，而這個(gè)模型的結果將成為社區進(jìn)行比較的基準模型。

ViP-DeepLab具有簡(jiǎn)單的體系結構，可在視頻全景分割，單目深度估計以及多對象跟蹤和分割方面實(shí)現最先進(jìn)的性能，這個(gè)模型也能幫助進(jìn)一步研究對2D場(chǎng)景中的真實(shí)世界。

參考資料：

https://ai.googleblog.com/2021/04/holistic-video-scene-understanding-with.html