CVPR2022 | PanopticDepth：深度感知全景分割的統一框架

來(lái)源丨 CV技術(shù)指南

前言 本文提出了一種基于深度感知的全景分割（DPS）的統一框架，旨在從一幅圖像中重建具有實(shí)例級語(yǔ)義的三維場(chǎng)景。該框架將動(dòng)態(tài)卷積技術(shù)應用于全景分割（PS）和深度預測任務(wù)中，以生成特定于實(shí)例的內核來(lái)預測每個(gè)實(shí)例的深度和分割掩碼。此外，利用實(shí)例級深度估計方案，添加了額外的實(shí)例級深度線(xiàn)索，以通過(guò)新的深度損失來(lái)幫助監督深度學(xué)習。

論文：PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmentation

論文：http://arxiv.org/pdf/2206.00468

代碼：

https://github.com/NaiyuGao/PanopticDepth.

背景

深度感知全景分割（DPS）是場(chǎng)景理解中的一項新的挑戰性任務(wù)，它試圖從單個(gè)圖像構建具有實(shí)例級語(yǔ)義理解的三維場(chǎng)景。

DPS的一個(gè)簡(jiǎn)單解決方案是在全景分割（PS）網(wǎng)絡(luò )中添加一個(gè)密集的深度回歸頭，為每個(gè)標記的像素生成一個(gè)深度值，該方法直觀(guān)但次優(yōu)。

由于它使用兩個(gè)獨立的分支處理這兩個(gè)任務(wù)，因此它沒(méi)有探索它們之間的互利關(guān)系，尤其是沒(méi)有利用方便的實(shí)例級語(yǔ)義線(xiàn)索來(lái)提高深度準確性。

另外，作者觀(guān)察到，相鄰實(shí)例的像素通常具有不連續的深度。例如，一條線(xiàn)中的兩輛車(chē)可能有不同的深度。因此，使用相同的像素深度回歸器很難預測兩輛車(chē)的準確深度。

另一方面，作者考慮到這些像素來(lái)自不同的車(chē)輛，如果分別使用單獨的回歸器，則有利于深度估計。

按照上述思路，作者在本文中提出了一個(gè)可以以相同的實(shí)例方式預測掩碼和深度值的統一的PanopticDepth模型框架（如圖1）。

圖1 深度感知全景分割統一解決方案的示例

貢獻

1.提出了一種特定于實(shí)例的動(dòng)態(tài)卷積核技術(shù)將深度估計和全景分割方法統一起來(lái)，從而提高了這兩種任務(wù)的性能。

2.為了簡(jiǎn)化深度估計，受批量歸一化的啟發(fā)，提出將每個(gè)實(shí)例深度圖表示為三元組，即歸一化深度圖、深度范圍和深度偏移，將原始實(shí)例深度映射的值規范化為[0，1]，以提高了學(xué)習效率。

3.基于新的深度圖表示（如深度偏移）添加了實(shí)例級深度統計，以加強深度監控。為適應這種新的監督，提出了相應的深度損失，以改進(jìn)深度預測。

方法

作者提出了一種統一的深度感知全景分割模型PanopticDepth，它以相同的實(shí)例方式預測掩模和深度值。除了主干網(wǎng)和特征金字塔網(wǎng)絡(luò )之外，它還包括三個(gè)子網(wǎng)絡(luò )，包括用于生成實(shí)例分類(lèi)的核生成器、實(shí)例特定掩碼和深度卷積核、用于生成實(shí)例掩碼的全景分割模型以及用于估計實(shí)例深度的實(shí)例深度圖生成器。網(wǎng)絡(luò )架構如圖2所示。

圖2  PanopticDepth框架

1.內核生成器

通過(guò)核生成器子網(wǎng)絡(luò )生成實(shí)例分類(lèi)、掩碼卷積核和深度估計核（圖2的上半部分）。內核生成器基于最先進(jìn)的全景分割模型PanopticFCN，該模型采用了PS的動(dòng)態(tài)卷積技術(shù)，與其他最新方法相比，所需的訓練時(shí)間和GPU內存更少。

作者采用的內核生成器分為內核生成器和內核融合兩個(gè)階段。在內核生成器階段，將FPN中第i階段的一個(gè)單階段特征作為輸入，生成器生成一個(gè)內核權重映射，以及分別為對象和對象生成的兩個(gè)位置映射，給定每個(gè)FPN階段的位置圖和核權重圖，在核融合階段，合并多個(gè)FPN階段的重復核權重，通過(guò)提出的自適應核融合（AKF）操作實(shí)現的。

2.全景分割

采用了一種特定于實(shí)例的核方法來(lái)執行全景分割，如圖2底部所示。thing和stuff實(shí)例的掩碼M是通過(guò)卷積共享的高分辨率掩碼嵌入映射得到的∈ ，掩碼核為，然后進(jìn)行Sigmoid激活：

首先丟棄冗余實(shí)例掩碼。然后，將所有剩余的實(shí)例掩碼與argmax合并，以生成不重疊的全景分割結果，這樣每個(gè)像素都被分配到一個(gè)事物或填充片段，而沒(méi)有任何像素標記為“VOID”。

此外，作者還提出了一個(gè)額外的訓練過(guò)程，即在全圖像尺度上微調學(xué)習模型，但批量較小。以彌補訓練和測試之間的性能差距。

3.基于實(shí)例的深度估計

通過(guò)在全景分割中使用的相同實(shí)例特定核技術(shù)來(lái)預測每個(gè)實(shí)例的深度，該技術(shù)將深度估計和全景分割的管道統一起來(lái)。如圖2的中間部分所示，首先在深度嵌入上運行深度核以生成實(shí)例深度圖，然后根據全景分割結果合并這些單獨的圖像以生成最終的整體深度圖。

3.1深度生成器

給定實(shí)例特定深度內核Kd和共享深度嵌入Ed，類(lèi)似于實(shí)例掩碼生成過(guò)程，通過(guò)卷積和Sigmoid激活生成規范化的實(shí)例深度圖D'，然后通過(guò)等式4或等式5將其非規范化為深度圖D：

其中深度圖D′只對每個(gè)實(shí)例中的相對深度值進(jìn)行編碼，因此可以更容易地學(xué)習。此外，作者開(kāi)發(fā)了兩種歸一化方案，即公式4和公式5，并發(fā)現后者效果更好。

在獲得所有實(shí)例深度圖之后，作者根據不重疊的全景分割掩碼M將它們聚合為一個(gè)完整的圖像深度圖。這在實(shí)例邊界處生成了精確的深度值。

3.2深度損失

作者基于比例不變對數誤差和相對平方誤差的組合開(kāi)發(fā)了深度損失函數，如下：

由于采用了基于實(shí)例的深度估計方法，作者在傳統的像素級監控和額外的實(shí)例級監控下學(xué)習深度預測，這從經(jīng)驗上提高了深度精度。為了實(shí)現雙重監督，最終深度損失Ldep包括兩個(gè)損失項。一個(gè)是像素級深度損失，另一個(gè)是實(shí)例級深度損失：

實(shí)驗

表1：城市景觀(guān)驗證和測試集的全景分割結果?！盇KF：“自適應內核融合”FSF：全面微調

表2：城市景觀(guān)DPS上的深度感知全景分割結果

表3：城市景觀(guān)DPS的消融研究?！盜DE“：實(shí)例深度估計”IDN“：實(shí)例深度規范化

表4：城市景觀(guān)的單目深度估計結果方法利用全景分割注釋

圖3：像素級深度估計在兩個(gè)實(shí)例的邊界處輸出平滑值，而實(shí)例級深度估計可以生成更合理的不連續深度值

圖4：PanopticDepth模型的預測示例

結論

本文提出了一個(gè)統一的深度感知全景分割框架，生成特定于實(shí)例的內核來(lái)預測每個(gè)實(shí)例的深度和分割掩碼。

采用動(dòng)態(tài)核技術(shù)將高層目標信息引入深度估計，使用深度偏移和深度范圍對每個(gè)實(shí)例深度圖進(jìn)行歸一化，以簡(jiǎn)化共享深度嵌入的學(xué)習。

此外，本文還提出了一種新的深度損失方法來(lái)監督實(shí)例級深度線(xiàn)索的深度學(xué)習。在城市景觀(guān)DPS和SemKITTI DPS基準上的實(shí)驗證明了該方法的有效性。

本文僅做學(xué)術(shù)分享，如有侵權，請聯(lián)系刪文。