無(wú)人駕駛技術(shù)中的激光雷達和攝像頭都干些什么？

　　激光雷達與攝像頭性能對比

　　在無(wú)人駕駛環(huán)境感知設備中，激光雷達和攝像頭分別有各自的優(yōu)缺點(diǎn)。

　　攝像頭的優(yōu)點(diǎn)是成本低廉，用攝像頭做算法開(kāi)發(fā)的人員也比較多，技術(shù)相對比較成熟。攝像頭的劣勢，第一，獲取準確三維信息非常難（單目攝像頭幾乎不可能，也有人提出雙目或三目攝像頭去做）;另一個(gè)缺點(diǎn)是受環(huán)境光限制比較大。

　　激光雷達的優(yōu)點(diǎn)在于，其探測距離較遠，而且能夠準確獲取物體的三維信息;另外它的穩定性相當高，魯棒性好。但目前激光雷達成本較高，而且產(chǎn)品的最終形態(tài)也還未確定。

　　就兩種傳感器應用特點(diǎn)來(lái)講，攝像頭和激光雷達攝像頭都可用于進(jìn)行車(chē)道線(xiàn)檢測。除此之外，激光雷達還可用于路牙檢測。對于車(chē)牌識別以及道路兩邊，比如限速牌和紅綠燈的識別，主要還是用攝像頭來(lái)完成。如果對障礙物的識別，攝像頭可以很容易通過(guò)深度學(xué)習把障礙物進(jìn)行細致分類(lèi)。但對激光雷達而言，它對障礙物只能分一些大類(lèi)，但對物體運動(dòng)狀態(tài)的判斷主要靠激光雷達完成。

　　多線(xiàn)激光雷達----多少線(xiàn)合適？

　　目前，國外和國內做激光雷達的廠(chǎng)商并不多。比如 Velodyne 推出 16 線(xiàn)、32 線(xiàn)和 64 線(xiàn)激光雷達產(chǎn)品。Quanergy 早期推出的 8 線(xiàn)激光雷達產(chǎn)品 M-8（固態(tài)激光雷達在研）。Ibeo 主要推出的是 4 線(xiàn)激光雷達產(chǎn)品，主要用于輔助駕駛。速騰聚創(chuàng )（RoboSense）推出的是 16 線(xiàn)激光雷達產(chǎn)品。

　　到底多少線(xiàn)的激光雷達產(chǎn)品才能符合無(wú)人駕駛廠(chǎng)商，包括傳統汽車(chē)廠(chǎng)商、互聯(lián)網(wǎng)造車(chē)公司的需求？

　　多線(xiàn)激光雷達，顧名思義，就是通過(guò)多個(gè)激光發(fā)射器在垂直方向上的分布，通過(guò)電機的旋轉形成多條線(xiàn)束的掃描。多少線(xiàn)的激光雷達合適，主要是說(shuō)多少線(xiàn)的激光雷達掃出來(lái)的物體能夠適合算法的需求。理論上講，當然是線(xiàn)束越多、越密，對環(huán)境描述就更加充分，這樣還可以降低算法的要求。

　　業(yè)界普遍認為，像谷歌或百度使用的 64 線(xiàn)激光雷達產(chǎn)品，并不是激光雷達最終的產(chǎn)品形態(tài)。激光雷達的產(chǎn)品的方向肯定是小型化，而且還要不斷減少兩個(gè)相鄰間發(fā)射器的垂直分辨率以達到更高線(xiàn)束。

　　激光雷達產(chǎn)品參數包括四方面：測量距離、測量精度、角度分辨率以及激光單點(diǎn)發(fā)射的速度。我主要講分辨率的問(wèn)題：一個(gè)是垂直分辨率，另一個(gè)是水平分辨率。

　　現在多線(xiàn)激光雷達水平可視角度是 360 度可視，垂直可視角度就是垂直方向上可視范圍。分辨率與攝像頭的像素是非常相似的，激光雷達最終形成的三維激光點(diǎn)云，類(lèi)似于一幅圖像有許多像素點(diǎn)。激光點(diǎn)云越密，感知的信息越全面。

　　水平方向上做到高分辨率其實(shí)不難，因為水平方向上是由電機帶動(dòng)的，所以水平分辨率可以做得很高。目前國內外激光雷達廠(chǎng)商的產(chǎn)品，水平分辨率為 0.1 度。

　　垂直分辨率是與發(fā)射器幾何大小相關(guān)，也與其排布有關(guān)系，就是相鄰兩個(gè)發(fā)射器間隔做得越小，垂直分辨率也就會(huì )越小?？梢钥闯鰜?lái)，線(xiàn)束的增加主要還是為了對同一物體描述得更加充分。如果是不通過(guò)減少垂直分辨率的方式來(lái)增加線(xiàn)束，其實(shí)意義不大。

　　如何去提高垂直分辨率？目前業(yè)界就是通過(guò)改變激光發(fā)射器和接收器的排布方式來(lái)實(shí)現：排得越密，垂直分辨率就可以做得很小。另一方面就是通過(guò)多個(gè) 16 線(xiàn)激光雷達耦合的方式，在不增加單個(gè)激光雷達垂直分辨率的情況下同樣達到整體減小垂直分辨率的效果。

　　但是，這兩種方法都有一定的缺陷。

　　第一種方法，如果在不增加垂直可視范圍情況下增加線(xiàn)束，是有一定天花板的。因為激光發(fā)射器的幾何大小很難進(jìn)一步再縮小，比如說(shuō)做到垂直 1 度的分辨率，如果想做到 0.1 度，幾乎不可能。

　　第二種方法，多傳感器耦合，即多個(gè)激光雷達耦合，因為它不是單一產(chǎn)品，那么對往后的校準將會(huì )有很高的要求。

　　激光雷達和攝像頭分別完成什么工作？

　　無(wú)人駕駛過(guò)程中，環(huán)境感知信息主要有這幾部分：一是行駛路徑上的感知，對于結構化道路可能要感知的是行車(chē)線(xiàn)，就是我們所說(shuō)的車(chē)道線(xiàn)以及道路的邊緣、道路隔離物以及惡劣路況的識別;對非結構道路而言，其實(shí)會(huì )更加復雜。

　　周邊物體感知，就是可能影響車(chē)輛通行性、安全性的靜態(tài)物體和動(dòng)態(tài)物體的識別，包括車(chē)輛，行人以及交通標志的識別，包括紅綠燈識別和限速牌識別。

　　對于環(huán)境感知所需要的傳感器，我們把它分成三類(lèi)：

　　感知周?chē)矬w的傳感器，包括激光雷達、攝像頭和毫米波雷達這三類(lèi);

　　實(shí)現無(wú)人駕駛汽車(chē)定位的傳感器，就是 GPS 、IMU 和 Encoder;

　　其他傳感器，指的是感知天氣情況及溫、濕度的傳感器。

　　今天主要講的是感知周?chē)矬w的傳感器，即：激光雷達、毫米波雷達和攝像頭。其實(shí)他們都有各自的優(yōu)缺點(diǎn)。

　　在無(wú)人駕駛環(huán)境感知中，攝像頭完成的工作包括：

　　車(chē)道線(xiàn)檢測;

　　障礙物檢測，相當于把障礙物識別以及對障礙物進(jìn)行分類(lèi);

　　交通標志的識別，比如識別紅綠燈和限速牌。

　　對車(chē)道線(xiàn)的檢測主要分成三個(gè)步驟：

　　第一步，對獲取到的圖片預處理，拿到原始圖像后，先通過(guò)處理變成一張灰度圖，然后做圖像增強;

　　第二步，對車(chē)道線(xiàn)進(jìn)行特征提取，首先把經(jīng)過(guò)圖像增強后的圖片進(jìn)行二值化（ 將圖像上的像素點(diǎn)的灰度值設置為 0 或 255，也就是將整個(gè)圖像呈現出明顯的黑白效果），然后做邊緣提取;

　　第三步，直線(xiàn)擬合。

　　車(chē)道線(xiàn)檢測難點(diǎn)在于，對于某些車(chē)道線(xiàn)模糊或車(chē)道線(xiàn)被泥土覆蓋的情況、對于黑暗環(huán)境或雨雪天氣或者在光線(xiàn)不是特別好的情況下，它對攝像頭識別和提取都會(huì )造成一定的難度。

　　另一個(gè)是障礙物檢測。上圖是我們在十字路口做的實(shí)驗，獲取到原始圖像后，通過(guò)深度學(xué)習框架對物體進(jìn)行識別。在這當中，做訓練集其實(shí)是主要的難點(diǎn)。

　　還有一個(gè)是道路標識的識別，這一部分的研究比較多，這里不再贅述。

　　激光雷達能夠完成什么工作？

　　第一是路沿檢測，也包括車(chē)道線(xiàn)檢測;第二是障礙物識別，對靜態(tài)物體和動(dòng)態(tài)物體的識別;第三是定位以及地圖的創(chuàng )建。

　　對于路沿檢測，分為三個(gè)步驟：拿到原始點(diǎn)云，地面點(diǎn)檢測、提取路沿點(diǎn)，通過(guò)路沿點(diǎn)的直線(xiàn)擬合，可以把路沿檢測出來(lái)。

　　接下來(lái)是障礙物識別，識別諸如行人、卡車(chē)和私家車(chē)等以及將路障信息識別出來(lái)。

　　障礙物的識別有這樣幾步，當激光雷達獲取三維點(diǎn)云數據后，我們對障礙物進(jìn)行一個(gè)聚類(lèi)，如上圖紫色包圍框，就是識別在道路上的障礙物，它可能是動(dòng)態(tài)也可能是靜態(tài)的。

　　最難的部分就是把道路上面的障礙物聚類(lèi)后，提取三維物體信息。獲取到新物體之后，會(huì )把這個(gè)物體放到訓練集里，然后用 SVM 分類(lèi)器把物體識別出來(lái)。

　　如上圖，左上角、左下角是車(chē)還是人？對于機器而言，它是不清楚的。右上角和右下角（上圖）是我們做的訓練集。做訓練集是最難的，相當于要提前把不同物體做人工標識，而且這些標識的物體是在不同距離、不同方向上獲取到的。

　　我們對每個(gè)物體，可能會(huì )把它的反射強度、橫向和縱向的寬度以及位置姿態(tài)作為它的特征，進(jìn)行提取，進(jìn)而做出數據集，用于訓練。最終的車(chē)輛、行人、自行車(chē)等物體的識別是由SVM分類(lèi)器來(lái)完成。我們用這種方法做出來(lái)的檢測精確度還是不錯的。

　　利用激光雷達進(jìn)行輔助定位。定位理論有兩種：基于已知地圖的定位方法以及基于未知地圖的定位方法。

　　基于已知地圖定位方法，顧名思義，就是事先獲取無(wú)人駕駛車(chē)的工作環(huán)境地圖（高精度地圖），然后根據高精度地圖結合激光雷達及其它傳感器通過(guò)無(wú)人駕駛定位算法獲得準確的位置估計?，F在大家普遍采用的是基于已知地圖的定位方法。

　　制作高精度地圖也是一件非常困難的事情。舉個(gè)例子，探月車(chē)在月球上，原來(lái)不知道月球的地圖，只能靠機器人在月球上邊走邊定位，然后感知環(huán)境，相當于在過(guò)程中既完成了定位又完成了制圖，也就是我們在業(yè)界所說(shuō)的 SLAM 技術(shù)。

　　激光雷達是獲取高精度地圖非常重要的傳感器。通過(guò) GPS、IMU 和 Encoder 對汽車(chē)做一個(gè)初步位置的估計，然后再結合激光雷達和高精度地圖，通過(guò)無(wú)人駕駛定位算法最終得到汽車(chē)的位置信息。