視覺(jué)方案做ADAS，單目和雙目到底有什么差別？

目前視覺(jué)方案做ADAS既有雙目也有單目，兩者在距離檢測上用了不同的技術(shù)路線(xiàn)，產(chǎn)品化時(shí)也存在各自?xún)?yōu)缺點(diǎn)，對此作者談了談自己的看法。本文作者姜安，為中科慧眼CTO。

ADAS功能的第一步是感知，也就是觀(guān)察車(chē)輛周邊負責的路況環(huán)境。在這個(gè)基礎上才能做出相應的路徑規劃和駕駛行為決策。目前感知所采用的傳感器包含各種形式的雷達、單目攝像頭、雙目攝像頭等，或是由這些傳感器進(jìn)行不同組合形成的感知系統，而這些傳感器件各有利弊，傳感器融合是大勢所趨。

在這其中，攝像頭不可或缺，可以通過(guò)采集前方道路圖像，實(shí)現車(chē)道線(xiàn)障礙物以及行人檢測ADAS功能。關(guān)于A(yíng)DAS攝像頭選用有哪些講究？單雙目方案存在哪些差異？在此談一談我的看法。

ADAS攝像頭成像哪些要求？

根據ADAS檢測需要，攝像頭在選擇時(shí)需要具備下面2個(gè)特點(diǎn)：

一是要看得足夠遠?？吹脑竭h就能有更加充裕的時(shí)間做出判斷和反應，從而避免或者降低事故發(fā)生造成的損失。這類(lèi)攝像頭關(guān)注的參數是焦距，焦距越長(cháng)看的會(huì )越遠。但是焦距越長(cháng)，帶來(lái)的問(wèn)題是視角越窄，所以需要折衷考慮。

二是要求高動(dòng)態(tài)。選用具有高動(dòng)態(tài)范圍的黑白相機，可以有效抑制光暈現象，并增強暗處的細節，從而提高成像質(zhì)量。另外，彩色圖像在鏡頭表面進(jìn)行了鍍膜，雖然提升了人眼的感知體驗，但實(shí)際上降低了信噪比或者說(shuō)信息量。這對后續的圖像處理不利。

根據這些要求，很容易發(fā)現目前行業(yè)里的一種炒作現象。很多車(chē)上使用的智能硬件多是行車(chē)記錄儀、云鏡等產(chǎn)品，會(huì )在原來(lái)成像系統的基礎上添加ADAS功能，其實(shí)只是廠(chǎng)家賺取噱頭的方式。

因為行車(chē)記錄儀的目的是記錄車(chē)輛周邊的狀況，看的越清晰越好、越全面越好，即“人友好”。這就需要成像系統具有超高的分辨率、超好的色彩還原性、超大的廣角鏡頭，視角增大意味著(zhù)焦距的縮小。這與ADAS對成像系統的要求截然相反，ADAS要求的圖像質(zhì)量是“機器友好”，因此在行車(chē)記錄儀的成像系統基礎上開(kāi)發(fā)ADAS功能是不切實(shí)際的。目前很多號稱(chēng)有ADAS功能的行車(chē)記錄儀，一般都只有車(chē)道線(xiàn)檢測這一個(gè)功能。有的雖然有別的如碰撞預警的功能，但是用戶(hù)體驗極差。

單/雙目的測距原理區別

目前攝像頭ADAS有單目和雙目?jì)煞N方案，兩者的共同特點(diǎn)，就是通過(guò)攝像頭采集圖像數據，然后從圖像數據上得到距離信息。ADAS一個(gè)很重要的作用是碰撞預警。碰撞預警需要關(guān)注距離的變化，需要估計即將碰撞的時(shí)間。有了距離測量，才會(huì )有距離變化，有距離變化才會(huì )有碰撞時(shí)間的估計，最后才會(huì )有預警。

單目攝像頭的大致測距原理，是先通過(guò)圖像匹配進(jìn)行目標識別（各種車(chē)型、行人、物體等），再通過(guò)目標在圖像中的大小去估算目標距離。這就要求在估算距離之前首先對目標進(jìn)行準確識別，是汽車(chē)還是行人，是貨車(chē)、SUV還是小轎車(chē)。準確識別是準確估算距離的第一步。

要做到這一點(diǎn)，就需要建立并不斷維護一個(gè)龐大的樣本特征數據庫，保證這個(gè)數據庫包含待識別目標的全部特征數據。比如在一些特殊地區，為了專(zhuān)門(mén)檢測大型動(dòng)物，必須先行建立大型動(dòng)物的數據庫；而對于另外某些區域存在一些非常規車(chē)型，也要先將這些車(chē)型的特征數據加入到數據庫中。

如果缺乏待識別目標的特征數據，就會(huì )導致系統無(wú)法對這些車(chē)型、物體、障礙物進(jìn)行識別，從而也就無(wú)法準確估算這些目標的距離。導致ADAS系統的漏報。

而雙目檢測的方式就是通過(guò)對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進(jìn)行距離測量，而無(wú)需判斷前方出現的是什么類(lèi)型的障礙物。所以對于任何類(lèi)型的障礙物，都能根據距離信息的變化，進(jìn)行必要的預警或制動(dòng)。

雙目攝像頭的原理與人眼相似。人眼能夠感知物體的遠近，是由于兩只眼睛對同一個(gè)物體呈現的圖像存在差異，也稱(chēng)“視差”。物體距離越遠，視差越??；反之，視差越大。視差的大小對應著(zhù)物體與眼睛之間距離的遠近，這也是3D電影能夠使人有立體層次感知的原因。

圖中的人和椰子樹(shù)，人在前，椰子樹(shù)在后，最下方是雙目相機中的成像?？梢钥闯鲇覀认鄼C成像中人在樹(shù)的左側，左側相機成像中人在樹(shù)的右側，這是因為雙目的角度不一樣。再通過(guò)對比兩幅圖像就可以知道人眼觀(guān)察樹(shù)的時(shí)候視差小。而觀(guān)察人時(shí)視差大，因為樹(shù)的距離遠，人的距離近。這就是雙目三角測距的原理。雙目系統對目標物體距離感知是一種絕對的測量，而非估算。

單/雙目方案的優(yōu)勢與難點(diǎn)

單目的優(yōu)勢在于成本較低，對計算資源的要求不高，系統結構相對簡(jiǎn)單。其缺點(diǎn)在于必須不斷更新和維護一個(gè)龐大的樣本數據庫，才能保證系統達到較高的識別率；無(wú)法對非標準障礙物進(jìn)行判斷；距離并非真正意義上的測量，準確度較低。

雙目系統成本比單目系統要高，但尚處于可接受范圍內，并且與激光雷達等方案相比成本較低；二是沒(méi)有識別率的限制，因為從原理上無(wú)需先進(jìn)行識別再進(jìn)行測算，而是對所有障礙物直接進(jìn)行測量；三是精度比單目高，直接利用視差計算距離；四是無(wú)需維護樣本數據庫，因為對于雙目沒(méi)有樣本的概念。

雙目系統的一個(gè)難點(diǎn)在于計算量非常大，對計算單元的性能要求非常高，這使得雙目系統的產(chǎn)品化、小型化的難度較大。所以在芯片或FPGA上解決雙目的計算問(wèn)題難度比較大。國際上使用雙目的研究機構或廠(chǎng)商，絕大多數是使用服務(wù)器來(lái)進(jìn)行圖像處理與計算的；也有部分將算法進(jìn)行簡(jiǎn)化后，使用FPGA進(jìn)行處理。目前，中科慧眼在芯片上的計算效率已經(jīng)達到15fps，在FPGA+ARM架構上的計算效率達到了40fps。

另一個(gè)難點(diǎn)在于雙目的配準效果。通過(guò)雙目攝像頭的圖像配準可以計算生成表示距離的二維圖像。下圖是中科慧眼雙目方案對實(shí)際場(chǎng)景信息采集與計算得到的距離的對應關(guān)系，不同飽和度顏色代表不同距離，從暖色調至冷色調為距離由近及遠。在計算過(guò)程中，需要對噪點(diǎn)與空洞做很好的抑制。從右圖可以看出，色調（距離）是平滑過(guò)渡，沒(méi)有跳變。

△中科慧眼距離計算獲得的二維圖像

一些FPGA方案中有很多噪點(diǎn)與空洞，對后續計算不利，存在安全風(fēng)險。對于小障礙物的識別，既要做到?jīng)]有雜點(diǎn)和空洞，又要表現細節。否則比如一條橫著(zhù)的欄桿無(wú)法識別，會(huì )增加駕駛的風(fēng)險。下面的圖表現的是小物體和行人的探測上中科慧眼雙目方案與國際上其他算法的對比。

△Our為中科慧眼算法小障礙物的雙目配準效果，其它為國際流行傳統方法的處理效果

小結

因為檢測原理上的差異，雙目攝像頭在距離測算上相比單目有自己的特點(diǎn)，其硬件成本和計算量級的加倍，是難關(guān)也是突破口。就像谷歌自動(dòng)駕駛汽車(chē)不斷積累大量的經(jīng)驗和使用數據，才可能一步步積累實(shí)現自動(dòng)駕駛。中科慧眼的雙目產(chǎn)品目前完成了樣機，也正在進(jìn)行大規模路測。從產(chǎn)品理論技術(shù)原型走到真正被用戶(hù)接受的產(chǎn)品，還有很長(cháng)的路要走。