ICCV2021|一種用于解決點(diǎn)云場(chǎng)景中同類(lèi)對象分割的網(wǎng)絡(luò )

首次提出：一種用于解決點(diǎn)云場(chǎng)景中同類(lèi)對象分割的端到端網(wǎng)絡(luò )

融合協(xié)同對比學(xué)習和相互注意采樣機制進(jìn)行無(wú)監督點(diǎn)云對象的同類(lèi)分割

Unsupervised Point Cloud Object Co-segmentation by Co-contrastive Learning and Mutual Attention Sampling

代碼地址：https://github.com/jimmy15923/unsup_point_coseg

在本文中作者提出了一項新的點(diǎn)云問(wèn)題，點(diǎn)云同類(lèi)對象分割，即分割一組場(chǎng)景點(diǎn)云中的同類(lèi)3D 對象（可以看作是一個(gè)二類(lèi)（前景、背景）分割問(wèn)題）。作者將此任務(wù)定義為一個(gè)對象點(diǎn)采樣問(wèn)題，并通過(guò)相互注意模塊和共同對比學(xué)習機制實(shí)現它。所提出的方法采用基于神經(jīng)網(wǎng)絡(luò )的兩點(diǎn)采樣器，即對象采樣器和背景采樣器。其中前者針對常見(jiàn)物體的采樣，而后者則專(zhuān)注于其他物體。相互注意模塊探索點(diǎn)云之間的逐點(diǎn)相關(guān)性。它嵌入在兩個(gè)采樣器中，可以從其他采樣器中識別出具有強行跨越云相關(guān)性的點(diǎn)。在為兩個(gè)采樣器選擇的點(diǎn)提取特征后，繼續通過(guò)開(kāi)發(fā)協(xié)同對比損失函數來(lái)優(yōu)化網(wǎng)絡(luò )，這樣可以最小化估計對象點(diǎn)之間的特征差異，同時(shí)最大差異化估計對象和背景點(diǎn)之間的特征。該方法適用于任意對象類(lèi)的點(diǎn)云。它是端到端可訓練的，不需要點(diǎn)級注釋。通過(guò)在 ScanObjectNN 和 S3DIS 數據集上進(jìn)行評估，并取得了有潛力的結果。本文主要貢獻如下：

1）首次嘗試為點(diǎn)云同類(lèi)對象分割開(kāi)發(fā)端到端的可訓練網(wǎng)絡(luò )。

2）其次，將點(diǎn)云同類(lèi)對象分割定義為采樣任務(wù)，由提出的相互注意模塊和共同對比學(xué)習機制來(lái)完成最終采樣。

3）第三，作者的方法在兩個(gè)真實(shí)數據集上進(jìn)行了評估，并展示網(wǎng)絡(luò )的潛力。

圖1 無(wú)監督點(diǎn)云同類(lèi)對象分割方法概述。該方法的輸入是一組覆蓋公共類(lèi)別對象的點(diǎn)云（如本例中的椅子）。同時(shí)該方法只需要 3D 坐標作為輸入。

1、目前存在的問(wèn)題

基于深度學(xué)習的點(diǎn)云分割方法大量依賴(lài)于帶有點(diǎn)級注釋的訓練數據。訓練數據收集的高注釋成本阻礙了點(diǎn)云分割的效率。

在2D 圖像同類(lèi)對象分割問(wèn)題中，可以在沒(méi)有附加注釋的情況下分割一組圖像中的常見(jiàn)對象。極大的降低了標注成本。然而，如果直接將 2D 圖像同類(lèi)對象分割技術(shù)應用于3D點(diǎn)云是具有挑戰性的，因為它必須解決三個(gè)主要問(wèn)題。

第一，大多數圖像分割方法依賴(lài)于目標提議生成器或顯著(zhù)性檢測器。這些生成器和檢測器適用于圖像像素，但不適用于 3D 點(diǎn)的空間幾何。

第二，與圖像相比，點(diǎn)云是無(wú)序和非結構化的。提取的點(diǎn)特征通常不足以進(jìn)行同類(lèi)對象分割。

第三，大多數 2D 同類(lèi)對象分割方法采用預先在大型數據集上進(jìn)行預訓練的方式，例如 用ImageNet提取高級語(yǔ)義特征。

如圖 1 所示，該方法主要包括三個(gè)模塊，分別用于解決上述三個(gè)問(wèn)題。

首先，作者將點(diǎn)云同類(lèi)對象分割作為一個(gè)對象點(diǎn)采樣問(wèn)題處理。采用了一對點(diǎn)采樣器：對象采樣器針對屬于常見(jiàn)對象的采樣點(diǎn)，而背景采樣器則抓取其余的采樣點(diǎn)。其中，對象和背景采樣器都是在SampleNet網(wǎng)絡(luò )上開(kāi)發(fā)。

其次，作者開(kāi)發(fā)了一個(gè)相互注意模塊來(lái)探索不同點(diǎn)云之間的逐點(diǎn)相關(guān)性，并嵌入到兩個(gè)采樣器中使用。識別給定圖像或點(diǎn)云中的常見(jiàn) 2D 像素或 3D 點(diǎn)是同類(lèi)對象分割的關(guān)鍵部分。為此，該模塊計算跨點(diǎn)云的注意力圖并編譯用于共同分割的信息特征。實(shí)驗證明，此模塊的采樣器可實(shí)現更好的前景-背景分離。

第三，開(kāi)發(fā)了一種對比損失函數來(lái)解決缺乏預訓練數據和缺乏用于共同分割的監督信號的問(wèn)題。通過(guò)最小化對象采樣器采樣的點(diǎn)的特征差異，同時(shí)最大化不同采樣器選擇的點(diǎn)之間的特征差異。作者使用這種損失函數來(lái)推導出采樣器及其相關(guān)的相互注意模塊。

2、核心方法

圖2方法概述。網(wǎng)絡(luò )架構由兩個(gè)相互注意模塊的采樣器 So 和 Sb 以及一個(gè)特征提取器 f 組成。

1）問(wèn)題描述：

針對一組覆蓋未知類(lèi)別對象的N個(gè)點(diǎn)云D。假設每個(gè)云中的點(diǎn)數為 M，點(diǎn)云同類(lèi)對象分割就是要發(fā)現包含屬于每個(gè)公共對象的所有點(diǎn)的子集。請注意，這里既沒(méi)有提供點(diǎn)級注釋?zhuān)矝](méi)有提供點(diǎn)云級注釋。并且只使用幾何特征（沒(méi)有任何 RGB 信息）。圖 2是所提出方法的框架。

圖 3 中給出了關(guān)于相互注意模塊如何嵌入到采樣器 So 和 Sb 中的詳細過(guò)程。它的作用是估計跨點(diǎn)云、逐點(diǎn)的相互相關(guān)性，然后在采樣期間將其考慮在內。

圖3相互注意模塊的架構

2）物體與背景采樣：

這里作者將點(diǎn)云對象分割定義為前景點(diǎn)采樣問(wèn)題?；谧罱难芯刻岢隽它c(diǎn)云采樣的可微松弛。于是作者在 SampleNet 上開(kāi)發(fā)了對象采樣器 So 和背景采樣器 Sb。具體來(lái)說(shuō)，為了在點(diǎn)云上實(shí)現共同分割，作者對 SampleNet 進(jìn)行了三項修改，包括下游任務(wù)、成對競爭采樣器和跨點(diǎn)云注意機制。

其中下游任務(wù)是無(wú)監督的同類(lèi)對象分割。由于缺乏數據注釋?zhuān)髡唛_(kāi)發(fā)了無(wú)監督的協(xié)同對比損失，用來(lái)優(yōu)化采樣器。模型中的特征提取器 f 來(lái)為每個(gè)采樣點(diǎn)生成特征。

對于共同分割，目標就是將前景點(diǎn)與其他點(diǎn)分開(kāi)。為此，作者使用對象采樣器 So 和背景采樣器 Sb分別為每個(gè)點(diǎn)云 P推斷前景子集On和背景子集Bn。通過(guò)使用對比損失函數，采樣器 So 和 Sb 分別傾向于收集前景和背景點(diǎn)。為了進(jìn)一步防止兩個(gè)采樣器選擇相同的點(diǎn)，作者還將排斥損失函整合到采樣器訓練中，即

其中dc是Chamfer距離，超參數σ=1控制分離余量。

3）相互注意模型：

受現有方法可以在非本地操作下完成捕獲遠程依賴(lài)項的自注意力模塊的啟發(fā)，作者開(kāi)發(fā)了一個(gè)相互注意模塊來(lái)發(fā)現跨點(diǎn)云點(diǎn)的相關(guān)性。與探索圖像內位置相關(guān)性的自注意力模塊相比，圖3中所示的相互注意力模塊側重于小量級中點(diǎn)云之間的相互點(diǎn)相關(guān)性。如圖 3 所示，作者還引入了殘差學(xué)習以獲得更好的性能。

4）共同對比損失：

對比性學(xué)習近年來(lái)已經(jīng)被研究用于無(wú)監督的表征學(xué)習。因此為了實(shí)現了在點(diǎn)云內部和點(diǎn)云之間的對比學(xué)習，作者分別在點(diǎn)和對象兩個(gè)層面上實(shí)現。對比學(xué)習的訓練數據通過(guò)增強的方式從一個(gè)數據實(shí)例中生成。

其中點(diǎn)對比損失函數為：

其中成對相似度是通過(guò)使用內積來(lái)衡量，N 是給定點(diǎn)云的數量

目標對比損失函數為：

在對象層面，一個(gè)數據對是由不同的點(diǎn)云創(chuàng )建的。此外，該部分還被用于共同分割，因此，作者將由此產(chǎn)生的目標函數命名為對比損失。

實(shí)驗環(huán)節：

數據集：

由于點(diǎn)云對象共分割是一項新任務(wù)，因此還沒(méi)有可用于評估的基準數據集。作者暫時(shí)采用的ScanObjectNN 和 S3DIS。

表1在具有不同監督級別和設置的不同方法在 ScanObjectNN 的 OBJ BG 測試集上的分割結果 (mIoU)。100%、10% 和 1pt 分別表示用 100%、10% 和每個(gè)對象類(lèi)別的單個(gè)標記點(diǎn)訓練的方法。

考慮到本文是第一個(gè)用于點(diǎn)云同類(lèi)對象分割的方法，暫時(shí)沒(méi)有同類(lèi)的方法進(jìn)行性能對比。實(shí)驗環(huán)節采用與三種不同監督設置的點(diǎn)云對象分割方法進(jìn)行比較。具體來(lái)說(shuō)，首先，比較了點(diǎn)云分割的全監督方法，并將它們作為性能上限的參考。其次，比較了兩種最新的弱監督分割方法。他們的目標是使用部分點(diǎn)級標簽（point-level labels）或云級標簽（cloud-level labels）作為弱注釋形式來(lái)分割 3D 對象。第三，比較了最新的形狀共同分割方法 AdaCoSeg。

表2 ScanObjectNN 數據集上不同變體的分割結果 (mIoU)。

表3 S3DIS 數據集上的分割結果 (mIoU)

表4 ScanObjectNN 數據集的定性結果。從左到右，從上到下，分別是包、床、垃圾桶、椅子、門(mén)、枕頭、架子、水槽、沙發(fā)和桌子。對于每個(gè)示例，作者展示了輸入云、真實(shí)標簽和分割結果。

表5 S3DIS 數據集的定性結果。作者展示了五個(gè)對象類(lèi)的示例：從上到下分別為書(shū)柜、椅子、門(mén)、沙發(fā)和桌子，每個(gè)類(lèi)有兩個(gè)示例。對于每個(gè)例子，展示了輸入點(diǎn)云、真實(shí)標簽和分割結果

作者除了評估分割方法本身的效果之外，還對分割結果嵌入到背景感知網(wǎng)絡(luò )background-aware network (BGA)進(jìn)行分類(lèi)效果的評價(jià)。表 5 顯示使用偽標簽進(jìn)行訓練可以提高分類(lèi)準確率。

表 5：ScanObjectNN PB_T50_RS數據上的準確度(%)

總結：

本文提出了一個(gè)點(diǎn)云新問(wèn)題，即點(diǎn)云同類(lèi)對象分割問(wèn)題，并提出了一種無(wú)需使用昂貴注釋成本即可解決該問(wèn)題的方法。此外，作者還證明了該方法可以提供偽標簽以改善現實(shí)世界數據集中的對象分類(lèi)性能。