CVPR2021 | PAConv：一種位置自適應卷積，點(diǎn)云分類(lèi)、分割任務(wù)表現SOTA

導讀：  

由香港大學(xué)CVMI Lab和牛津大學(xué)合作提出了一種點(diǎn)云上具有動(dòng)態(tài)內核組裝的位置自適應卷積——PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds，論文已被CVPR2021接收。

PAConv的卷積核由多個(gè)基本權重矩陣組裝而成，而在組裝過(guò)程中，這些權重矩陣的系數是通過(guò)點(diǎn)的位置關(guān)系自適應學(xué)習得到的。這種以數據驅動(dòng)構建卷積核的方式賦予了PAConv很強的靈活性，以更好地處理不規則和無(wú)序的點(diǎn)云數據。此外，與現有點(diǎn)云卷積高度工程化的網(wǎng)絡(luò )結構不同，作者將PAConv直接集成到基于MLP的經(jīng)典點(diǎn)云網(wǎng)絡(luò )架構中，而無(wú)需更改原有的網(wǎng)絡(luò )配置。即使建立在簡(jiǎn)單的網(wǎng)絡(luò )架構上，PAConv仍然以很高的效率在點(diǎn)云分類(lèi)、部件分割和場(chǎng)景分割的任務(wù)中表現SOTA。目前全部的代碼和模型都已開(kāi)源，歡迎大家follow!

一、引言

近年來(lái)，深度學(xué)習在三維點(diǎn)云處理上取得了顯著(zhù)進(jìn)步，但鑒于點(diǎn)云的稀疏性、不規則性和無(wú)序性，這仍然是一項具有挑戰性的任務(wù)?，F有方法大致分為三類(lèi)：第一類(lèi)是對點(diǎn)云進(jìn)行體素化以便可以采用三維網(wǎng)格卷積處理，然而重要的幾何信息可能由于量化而丟失，體素化通常也會(huì )帶來(lái)額外的存儲和計算成本；第二類(lèi)是用共享MLP處理所有點(diǎn)，這種方式難以表征點(diǎn)云空間復雜的變化關(guān)系；第三類(lèi)則是設計可以直接處理點(diǎn)云的卷積核，現有方法亦受限于計算復雜度或靈活性，本文中也特別對現有的點(diǎn)云卷積與本文方法的關(guān)系和區別進(jìn)行了詳盡的討論。

本文提出了一種即插即用的位置自適應卷積PAConv，通過(guò)動(dòng)態(tài)組裝基本權重矩陣來(lái)構造內核，這些權重矩陣的組合系數由ScoreNet自適應地學(xué)習點(diǎn)的相對位置關(guān)系得到。PAConv以數據驅動(dòng)的方式靈活地對三維點(diǎn)云的復雜空間變化和幾何結構進(jìn)行建模，同時(shí)保持很高的效率。另外值得一提的是，最近的點(diǎn)云卷積工作大多采用其量身定制的復雜網(wǎng)絡(luò )架構，使得我們難以評估到底是其自身卷積操作還是網(wǎng)絡(luò )設計而帶來(lái)性能的提升。所以，作者直接將PAConv集成到最簡(jiǎn)單的MLP點(diǎn)云網(wǎng)絡(luò )中，旨在最大程度地降低網(wǎng)絡(luò )結構的影響，以更好地評估PAConv本身的性能。

二、方法概述

接下來(lái)，作者設計了一個(gè)ScoreNet，根據點(diǎn)的位置關(guān)系學(xué)習一個(gè)系數向量以組合權重矩陣。具體地，ScoreNet的輸入為點(diǎn)云中某一個(gè)局部區域的中心點(diǎn)pi和其相鄰點(diǎn)pj之間的相對位置關(guān)系向量，作者在實(shí)驗部分也探討了不同的輸入表征。輸出為一個(gè)歸一化的系數向量：

最終，通過(guò)將Weight Bank中的權重矩陣與ScoreNet預測出的相應系數進(jìn)行組合，得出PAConv的卷積核函數：

PAConv以動(dòng)態(tài)數據驅動(dòng)的方式構造卷積核，其中權重矩陣的系數是從點(diǎn)的位置關(guān)系自適應學(xué)習的，該內核組裝策略可以靈活地對點(diǎn)云的不規則幾何結構進(jìn)行建模。

此外，由于權重矩陣是隨機初始化的并且可能會(huì )收斂為彼此非常相似，因此無(wú)法保證權重矩陣的多樣性。為了避免這種情況，作者設計了一個(gè)權重正則化函數來(lái)懲罰不同權重矩陣之間的相關(guān)性，其定義為：

從而不同的權重矩陣將更分散和獨立，進(jìn)一步確保了所生成卷積核的多樣性。

至此，本文還將PAConv與現有主流的幾種點(diǎn)云卷積PointCNN，PointConv和KPConv進(jìn)行了詳細的對比論述。

三、簡(jiǎn)單的網(wǎng)絡(luò )結構

雖然最近的點(diǎn)云網(wǎng)絡(luò )結構差異較大，但是大多數可以視為經(jīng)典的MLP點(diǎn)云網(wǎng)絡(luò )的不同變體。為了評估PAConv的有效性并最大程度地減少復雜網(wǎng)絡(luò )架構的影響，作者針對不同的點(diǎn)云任務(wù)采用了三個(gè)基于MLP的經(jīng)典且簡(jiǎn)單的網(wǎng)絡(luò )主干來(lái)集成我們的PAConv，而不修改原始的網(wǎng)絡(luò )架構（如網(wǎng)絡(luò )層數、特征通道數）。

對于物體分類(lèi)和物體部件分割任務(wù)，作者直接使用PAConv替換了DGCNN中的EdgeConv 和PointNet編碼器中的MLP。而對于室內場(chǎng)景分割任務(wù)，作者采用了PointNet++最簡(jiǎn)單的單尺度分組（SSG）版本，并用PAConv直接替換PointNet ++編碼器中的MLP。

四、實(shí)驗

對于物體分類(lèi)任務(wù)，作者采用了ModelNet40數據集，取得了現有方法中最高的分類(lèi)準確率，并且在不改變原始骨干網(wǎng)絡(luò )PointNet和DGCNN的結構的情況下，分別帶來(lái)了明顯的提升。

其次，本文還在物體部件分割任務(wù)的數據集ShapeNet Part上對PAConv進(jìn)行了評估，同樣也給DGCNN帶來(lái)了顯著(zhù)的提升。

最后，作者進(jìn)一步在大規模室內場(chǎng)景分割數據集S3DIS上測試了PAConv的性能。值得一提的是，KPConv和PosPool都對輸入點(diǎn)云進(jìn)行了體素化（Grid-sampling）預處理以獲得更規則的輸入結構和更多的背景信息來(lái)提升性能，然而這種方式不可避免地帶來(lái)更多的訓練內存開(kāi)銷(xiāo)，所以作者直接參考PointNet++采用了更簡(jiǎn)單的塊采樣（Block-sampling）來(lái)進(jìn)行數據預處理。PAConv依然為骨干網(wǎng)絡(luò )PointNet++帶來(lái)了明顯的提升，并保持著(zhù)較少的計算開(kāi)銷(xiāo)（FLOPs）。

此外，論文還可視化了ScoreNet學(xué)到的系數在空間中的分布?？梢钥闯?，對于每個(gè)權重矩陣，其系數的分布是不同的，表明不同的權重矩陣捕獲了不同的點(diǎn)位置關(guān)系。

五、總結

本論文提出了PAConv，一種具有動(dòng)態(tài)內核組裝的位置自適應卷積，用于點(diǎn)云處理。PAConv通過(guò)結合Weight Bank中的基本權重矩陣以及通過(guò)ScoreNet從點(diǎn)位置學(xué)習的相關(guān)系數來(lái)構造卷積核。通過(guò)將PAConv集成到簡(jiǎn)單的MLP點(diǎn)云網(wǎng)絡(luò )而無(wú)需修改網(wǎng)絡(luò )配置時(shí)，它依然可以表現SOTA，并且保持著(zhù)很高的模型效率。大量的實(shí)驗和可視化證明了PAConv的有效性。