基于3D邊界特征的視覺(jué)定位技術(shù)

最近因為有些重要工作需要處理，系列文章因此擱置，月底時(shí)間稍微充裕，我們繼續上一次的主題，聊一聊3D幾何語(yǔ)義中的邊界屬性，感興趣的同學(xué)可以回顧一下上一篇分享。

3D空間中的邊界特征線(xiàn)是機器視覺(jué)感知中的一種重要的特征，在形狀分析、視覺(jué)定位、網(wǎng)格簡(jiǎn)化、柵格創(chuàng )建、非照片級的渲染和表面平滑等方面具有廣泛的應用。根據特征線(xiàn)是否與視點(diǎn)相關(guān)聯(lián)，可以將特征線(xiàn)分為兩類(lèi)：與視點(diǎn)相關(guān)的特征線(xiàn)和與視點(diǎn)無(wú)關(guān)的特征線(xiàn)。一般情況下，與視圖無(wú)關(guān)的特征線(xiàn)的計算與3D模型的拓撲結構有關(guān)。3D模型可以是連續的（例如參數化曲面），也可以是離散的（例如網(wǎng)格和點(diǎn)云）。與視點(diǎn)無(wú)關(guān)的特征線(xiàn)僅反映了3D對象的幾何屬性，而與視點(diǎn)有關(guān)的特征線(xiàn)則描述了表面幾何形狀和位置的屬性，即我們通常所理解的“輪廓”。

圖1 典型的3D模型的輪廓特征線(xiàn)

簡(jiǎn)單介紹完視覺(jué)上的邊界特征線(xiàn)，接下來(lái)我以一個(gè)具體問(wèn)題為例，介紹一個(gè)3D邊緣特征在視覺(jué)定位問(wèn)題上的應用。

應用的背景

近年來(lái)，重工業(yè)領(lǐng)域已經(jīng)開(kāi)始研究如何使用自動(dòng)化的移動(dòng)設備來(lái)解決生產(chǎn)力和人員安全問(wèn)題，尤其是工作在室外環(huán)境下的大型作業(yè)車(chē)輛，因此迫切需要一種基于視覺(jué)的車(chē)輛定位方法。車(chē)輛在動(dòng)態(tài)且非均勻的室外照明條件下運行時(shí)，周?chē)h(huán)境惡劣，盡管這個(gè)問(wèn)題可以通過(guò)使用場(chǎng)景先驗知識調整相機曝光并改善圖像信息的質(zhì)量來(lái)解決，但完全基于2D圖像的感知有時(shí)候可能還是不太靠譜（PS：這里可以吐槽一下特斯拉）。隨著(zhù)3D技術(shù)的普及，機器人車(chē)輛在戶(hù)外工業(yè)環(huán)境中運行需要定位，而定位器可以使用環(huán)境中的3D邊界圖來(lái)估計車(chē)輛的姿態(tài)。

在上述應用背景的前提下，一種解決策略是將利用攝像機采集的輸入邊緣與環(huán)境中預定義3D邊界映射進(jìn)行比較，從而完成定位，因此三維空間中的幾何特征輪廓就派上了用場(chǎng)，為了不偏離本文的核心，只闡述涉及3D邊界的核心流程（PS:關(guān)于其他環(huán)節的實(shí)現，感興趣的同學(xué)可以自行學(xué)習）。

A.魚(yú)眼相機的標定

在圖像測量過(guò)程以及機器視覺(jué)應用中，為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應點(diǎn)之間的相互關(guān)系，必須建立相機成像的幾何模型，這些幾何模型參數就是相機參數。相機標定實(shí)際上就是計算相機外參和內參的過(guò)程，完成標定后，我們便可以從2D圖像中恢復3D圖像。

·外參

·內參

完成上述標定過(guò)程后，采集到的實(shí)際結果如圖1所示。緊接著(zhù)利用圖像處理提取出相應目標區域內的2D邊界，如圖2所示。

圖1 魚(yú)眼相機視野

圖2 圖像邊界的提取

B.遮擋問(wèn)題的處理

動(dòng)態(tài)場(chǎng)景中的高效遮擋剔除可以加速渲染進(jìn)程，這項技術(shù)本來(lái)是游戲和實(shí)時(shí)圖形處理領(lǐng)域的一個(gè)方向。如果建筑物的可見(jiàn)部分比被遮擋的部分多，則粒子濾波器對由未知物體引起的遮擋問(wèn)題更具有魯棒性。（這一結論可以參考J.Hasselgren的論文）

因此針對可能遇到的自遮擋問(wèn)題，可以采用欠采樣深度緩沖區技術(shù)處理，該技術(shù)是一種的實(shí)時(shí)技術(shù)。通過(guò)這種方法可以將建筑物的表面渲染到深度緩沖區，然后只有位于前面的邊緣會(huì )通過(guò)濾波器。但這種方法也有局限性，比如深度緩沖器的分辨率會(huì )受到限制，導致表面與其自身邊緣無(wú)法區分的問(wèn)題。為避免此問(wèn)題，可以將表面和邊緣之間的偏移距離設置為大于該深度處緩沖區的分辨率。

C.3D線(xiàn)的提取

在完成上述兩個(gè)基礎問(wèn)題后，為了更好的提取出建筑物的邊界，在這個(gè)環(huán)節我們采用3D Hough變換與三維點(diǎn)云鄰域信息分析相結合的方法。Hough變換是一種眾所周知的有效方法，用于找到匹配一組2D點(diǎn)的線(xiàn)。每條線(xiàn)由兩個(gè)參數ρ和θ表示，這兩個(gè)參數表示從法線(xiàn)的起點(diǎn)到該線(xiàn)的長(cháng)度和角度。而3D數據中邊界點(diǎn)本身就是一種局部信息的表達，因此二者結合可以產(chǎn)生一定的效果。具體結果如圖3所示。（PS:關(guān)于這一部分的邊界提取，實(shí)際上涉及很多分割的知識，比如在這個(gè)環(huán)節實(shí)際上需要預分割出平面，只有具有足夠數量的點(diǎn)的平面簇類(lèi)才會(huì )被考慮用于線(xiàn)提?。?/p>

圖3 3D邊界在場(chǎng)景中的映射

D.似然估計

這一環(huán)節我們需要用到粒子濾波器(particle filter)。粒子濾波器是一種使用蒙特卡羅方法(Monte Carlo method)的遞歸濾波器，透過(guò)一組具有權重的隨機樣本(稱(chēng)為粒子)來(lái)表示隨機事件的后驗概率，從含有噪聲或不完整的觀(guān)測序列，估計出動(dòng)力系統的狀態(tài)，粒子濾波器可以運用在任何狀態(tài)空間的模型上。

通過(guò)與邊緣圖像和3D邊界圖進(jìn)行比較來(lái)生成每個(gè)粒子的似然度度量。根據每個(gè)粒子的姿勢將3D邊界投影到圖像平面上，因此可以進(jìn)行直接比較。

其中，Px是對齊邊緣像素數a與可見(jiàn)邊緣像素總數v之間的比率，k是一個(gè)加權似然度量常數。

圖2 圖像邊界與3D映射邊界的匹配

走完上述流程，基本就完成了視圖定位的很大一部分。以上就是3D邊緣的一個(gè)應用實(shí)例，為了更加貼合這次分享的主題，所以只給出了簡(jiǎn)化流程，實(shí)際上每個(gè)環(huán)節都值得探究，包括后續的評價(jià)環(huán)節，感興趣的小伙伴可以探索一下。