【技術(shù)講座】用一個(gè)攝像頭使汽車(chē)不碰撞

※ 照片上的攝像頭配備位置是示意圖，不符合日本的安全標準。日本國土交通省安全標準“第29條第4款中的第195條第5款”對攝像頭安裝位置做了規定，要求攝像頭與前窗上下端的距離為窗高20％以?xún)?，或者被后視鏡遮擋的位置。

說(shuō)到使用攝像頭的汽車(chē)防碰撞系統，在日本最有名的是富士重工的“EyeSight”。但還有一家企業(yè)，在該市場(chǎng)掌握著(zhù)全球70％的份額，那就是只用1個(gè)攝像頭就實(shí)現了防碰撞系統的Mobileye。該公司的總部雖然設在荷蘭，但在以色列開(kāi)發(fā)基地擁有多達300名的技術(shù)人員。在本文中，該公司的研發(fā)負責人將為您介紹這家被全世界汽車(chē)廠(chǎng)商關(guān)注的公司的現狀，以及以圖像識別為中心的技術(shù)內容。

我們開(kāi)發(fā)的使用單眼攝像頭的汽車(chē)后裝防碰撞報警系統“MobileyeC2-270”已經(jīng)銷(xiāo)往了世界42個(gè)國家。在日本，2011年開(kāi)始提供面向企業(yè)的銷(xiāo)售和安裝服務(wù)，面向個(gè)人的服務(wù)也已于2012年4月啟動(dòng)（注1）。

（注1）在日本，Mobileye的汽配產(chǎn)品由i-mobile公司銷(xiāo)售。該公司成立于2011年7月，是日本進(jìn)口Mobileye產(chǎn)品的總代理。包括安裝費在內，“Mobileye C2-270”的價(jià)格為13.5萬(wàn)日元。

在使用攝像頭的防碰撞系統中，富士重工號稱(chēng)“不撞的汽車(chē)”的“Eye-Sight”在日本最為著(zhù)名。這項技術(shù)使用兩個(gè)攝像頭檢測車(chē)輛和行人，還具備發(fā)出報警后自動(dòng)停車(chē)功能。

但縱觀(guān)全世界，在使用攝像頭的防碰撞系統市場(chǎng)上，Mobileye以70％以上的份額雄踞榜首。我們最早從事的是以歐洲汽車(chē)廠(chǎng)商為中心供應單眼攝像頭圖像處理SoC的業(yè)務(wù)，之后，在2006年創(chuàng )立了自行組裝最終產(chǎn)品并在汽配市場(chǎng)上銷(xiāo)售的業(yè)務(wù)。

我們開(kāi)發(fā)的圖像處理SoC“EyeQ2”已經(jīng)被應用到了德國寶馬新款“1系”的防碰撞報警功能和瑞典沃爾沃的系統之中。此外還被美國通用汽車(chē)（GM）和美國福特汽車(chē)等世界主要汽車(chē)廠(chǎng)商采用（表1）。最近，我們還在與日本企業(yè)合作進(jìn)行開(kāi)發(fā)。

5種警示功能

Mobileye C2-270的主要功能包括與前方車(chē)輛和行人碰撞警示、車(chē)道偏離警示、車(chē)距警示（圖1）。不僅能通過(guò)蜂鳴聲報警，還能通過(guò)顯示裝置向駕駛員報警。具體的報警功能包括以下5種：（1）前方車(chē)距監測與警示（HMW）；（2）前方車(chē)輛碰撞警示（FCW）；（3）低速時(shí)前方車(chē)輛碰撞警示（UFCW）；（4）行人碰撞警示（PCW）；（5）車(chē)道偏離警示（LDW）。

圖1：警示5種危險
通過(guò)視覺(jué)信息發(fā)出警示的顯示裝置能夠通過(guò)秒數顯示車(chē)距（車(chē)距/秒速），以及前方車(chē)輛、行人和車(chē)道偏。

（1）前方車(chē)距監測與警示，顯示的是本車(chē)與前車(chē)的車(chē)距除以本車(chē)秒速得到的數值。當與前車(chē)的車(chē)距距小于2.5秒時(shí)，顯示器將顯示車(chē)距的秒數。當車(chē)距小于事先設定的秒數時(shí)，代表車(chē)輛的圖標將變成紅色，并鳴響“嗶”的警報蜂鳴聲。檢測距離最遠為90m左右。

（2）前方車(chē)輛碰撞警示，在碰撞可能發(fā)生之前2.7秒，車(chē)輛圖標將變成紅色，同時(shí)大聲發(fā)出“嗶嗶嗶嗶”的警報，提醒駕駛員踩剎車(chē)。

（3）低速時(shí)前方車(chē)輛碰撞警示，也叫做虛擬保險杠。事先在自車(chē)保險杠前方1～2m處設定虛擬保險杠，在時(shí)速低于30km以下的情況下，當前方車(chē)輛接近到觸碰虛擬保險杠的距離時(shí)，鳴響“嗶、嗶”的警報聲。其作用是防止堵車(chē)和等紅綠燈時(shí)發(fā)生碰撞。

（4）行人碰撞警示，該功能在檢測到前方30m以?xún)扔行腥藭r(shí)，首先會(huì )靜默地點(diǎn)亮紅色的行人標志，在行人進(jìn)入危險距離，可能發(fā)生碰撞的2秒前發(fā)出“嗶-嗶-”的蜂鳴聲。

（5）車(chē)道偏離警示，當汽車(chē)時(shí)速達到55km/h以上，無(wú)意偏離車(chē)道時(shí)，顯示器將顯示偏離一側車(chē)道的標志，同時(shí)發(fā)出“嘟嘟嘟嘟嘟嘟嘟”的警告聲。如果是打開(kāi)轉向燈變更車(chē)道，則判斷為有意偏離車(chē)道，不會(huì )發(fā)出報警聲也不會(huì )顯示圖標。

如上所述，由于每種警示的報警聲各不相同，因此在熟悉之后，駕駛員無(wú)需查看顯示裝置，根據聲音即可判斷出警示的種類(lèi)。

事故預防率接近100％

我們的碰撞報警系統在減少交通事故數量上的效果已經(jīng)得到了驗證。調查由瑞士豐泰保險公司（AXA Winterthur）實(shí)施。保險公司也希望通過(guò)為汽車(chē)安裝防碰撞系統減少事故，削減事故賠償的保險金數額。

此次調查揭示了發(fā)覺(jué)危險后踩剎車(chē)的時(shí)間與事故發(fā)生率之間的關(guān)系（圖2）。調查結果顯示，對于前方碰撞，如果能夠提前2.0秒察覺(jué)到危險并通知駕駛員，基本可以100％防止事故發(fā)生。鑒于這一情況，AXA等歐洲各大保險公司都推出了以配備本公司的防碰撞報警系統為條件的保費打折活動(dòng)。

圖2：只要在2秒之前發(fā)出報警，事故發(fā)生率基本可以降到零
如果在發(fā)生事故的0.5秒之前發(fā)出報警，碰撞的概率為35％以上，如果提前2秒以上，絕大多數事故都可以得到預防。（圖：《日經(jīng)電子》根據豐泰保險的資料制作）

防碰撞報警系統其實(shí)也有助于提升駕駛技術(shù)（注2）。在剛安裝的時(shí)候，報警聲經(jīng)常響個(gè)不停，過(guò)上幾周，報警次數便會(huì )驟降到一半以下（圖3）。因為一旦駕駛出現差錯，系統馬上就會(huì )通過(guò)聲音和顯示通知駕駛員，使其自然而然地掌握正確的駕駛方式。這不僅有助于提高駕駛水平，對于提升燃效也貢獻頗大。（特約撰稿人：Gideon Stein，荷蘭Mobileye公司Chief Research Scientist；實(shí)川裕敏，i-mobile技術(shù)及售后負責人）

圖3：3周內報警次數減半
可口可樂(lè )歐洲集團的配送車(chē)自從安裝Mobileye的防碰撞報警系統后，駕駛員的駕駛水平顯著(zhù)提高。

（注2）還有其他事例可以驗證防碰撞報警系統的有效性。例如，美國某運輸公司驗證并比較了是否安裝Mobileye系統對于交通事故成本的影響。結果顯示，每行駛100英里（160km），未配備車(chē)的事故率比配備車(chē)高1.4倍。如果換算成事故造成的損失費，配備防碰撞系統大約可以削減130萬(wàn)日元。

適合小型、低成本化

　　實(shí)現防碰撞報警系統的方法并非只有我們采用的單眼攝像頭方式（表2）。此前的防碰撞報警系統大多使用毫米波雷達和激光雷達，但這種系統需要與車(chē)輛一體化開(kāi)發(fā)，而且安裝車(chē)型有限，在價(jià)格方面，毫米波雷達更是價(jià)格高昂。

　　利用攝像頭的方式還有富士重工為EyeSight采用的立體攝像頭方式。與毫米波雷達方式相比，這種方式的優(yōu)點(diǎn)在于能夠降低系統的成本，而且還能開(kāi)發(fā)出汽車(chē)后裝產(chǎn)品。

　　我們公司從1999年創(chuàng )建之初開(kāi)始，一直致力于開(kāi)發(fā)單眼攝像頭方式，目的是為了實(shí)現小型化、低成本化及系統簡(jiǎn)潔化。與采用立體攝像頭的方式相比，可檢測的距離雖然偏短，但我們認為通過(guò)改進(jìn)圖像處理技術(shù)可以縮小差距。這是與其他公司形成差異最重要的項目，也是我們傾力開(kāi)發(fā)的核心技術(shù)。

　　系統簡(jiǎn)潔化是向汽配市場(chǎng)推出產(chǎn)品時(shí)必不可少的要素。為了提高檢測性能，使用攝像頭的防碰撞系統必須在安裝時(shí)對攝像頭位置進(jìn)行輸入和校正。立體攝像頭必須仔細調節2個(gè)攝像頭之間的距離和安裝角度。如果把攝像頭數量減少到1個(gè)，就能夠減少校正作業(yè)耗費的時(shí)間和勞力。

改進(jìn)硬件，采用黑白攝像元件

　　C2-270由攝像頭單元、顯示裝置和電纜盒構成。電纜盒使用CAN總線(xiàn)等從車(chē)輛讀取速度、制動(dòng)器、雨刷、方向指示器、遠光燈的信號。

　　C2-270除了攝像頭單元和攝像元件之外，還內置了核心部分——圖像處理SoC（圖4）。配備的CMOS圖象傳感器采用的是美國AptinaImaging公司生產(chǎn)的分辨率為VGA（640×480像素）的“MT9V024”。CMOS為1/3英寸，像素間距為6.0μm。視角為水平38度×垂直30度。鏡頭的焦距（f）為5.7mm，光圈為F=1.6。

圖4：簡(jiǎn)單的部件構成
“C2-270”的攝像頭單元部件數量少，圖像處理SoC“EyeQ2”占據了很大的安裝面積。

　　采用的CMOS圖象傳感器為黑白產(chǎn)品，能夠檢測到與月圓之夜相當、亮度在0.1lx以下的光線(xiàn)。我們自主開(kāi)發(fā)的曝光調整技術(shù)能夠優(yōu)化控制每個(gè)場(chǎng)景的曝光。這是因為識別車(chē)道線(xiàn)、車(chē)輛、標識時(shí)的最佳曝光數值各不相同。

　　除此之外，C2-270還做了其他改進(jìn)，能夠把感光度分成3個(gè)階段，以3幀為1組進(jìn)行拍攝。在黑暗環(huán)境下，首先提高感光度捕捉遠處的光線(xiàn)，然后逐漸降低感光度，捕捉極近距離的光線(xiàn)。攝像頭本身的拍攝速度雖然為每秒60幀，但在處理時(shí)，是按照每秒約15幀的速度進(jìn)行處理。

可以并行處理七個(gè)任務(wù)

圖像處理SoC——EyeQ2配備了2個(gè)美國美普思科技（MIPS Technologies）的32bit CPU內核“MIPS 24Kf”（圖5）。該CPU的工作頻率為332MHz，還配備了8個(gè)用于圖像處理的64bit編解碼引擎（VCE：video codec engines），同時(shí)可以并行處理七個(gè)任務(wù)。

圖5：配備兩個(gè)CPU內核
圖像處理SoC “EyeQ2”的結構示意圖。CPU內核采用了支持多線(xiàn)程功能的“MIPS 24Kf”。

　　在接通電源的狀態(tài)下，C2-270的攝像頭將一直監控前方視野，同時(shí)持續地識別進(jìn)入視野的車(chē)輛、行人、車(chē)道線(xiàn)。因此，具備高速處理性能的圖像處理SoC必不可少。在開(kāi)發(fā)之初，我們曾經(jīng)采用了某大型半導體廠(chǎng)商生產(chǎn)的通用圖像處理器，但處理性能不足很快就體現了出來(lái)。因此，我們一改過(guò)去只開(kāi)發(fā)軟件的體制，開(kāi)始開(kāi)發(fā)硬件，也就是專(zhuān)用于預防碰撞系統的圖像處理器。

軟件是關(guān)鍵，根據三個(gè)特征判定車(chē)輛

　　EyeQ2實(shí)際上能夠同時(shí)處理汽車(chē)預防式安全系統和防撞輔助系統所必須的以下檢測（圖6）：（1）前方車(chē)輛、（2）車(chē)道線(xiàn)、（3）與前方車(chē)輛的距離、（4）與前方車(chē)輛的相對速度和相對加速度、（5）車(chē)道內的前方車(chē)輛、（6）彎道、（7）行人。

圖6：檢測車(chē)輛和車(chē)道線(xiàn)
通過(guò)檢測車(chē)輛和車(chē)道線(xiàn)提高了報警精度，可區分同一車(chē)道內的車(chē)輛及其他車(chē)道的車(chē)輛。

關(guān)于（1）車(chē)輛檢測，識別車(chē)輛依照的是對三個(gè)特征的檢測，分別是車(chē)輛后部的矩形檢測、后輪檢測、2個(gè)尾燈的檢測（圖7）。系統將通過(guò)比對預先保存的幾十種車(chē)輛形狀的圖案，判斷前方物體是否為汽車(chē)。如果是汽車(chē)，系統可以判斷出后輪輪胎的位置。而尾燈則是夜晚重要的檢測要素。

圖7：捕捉車(chē)輛后方的特征
通過(guò)檢測長(cháng)方形或正方形的車(chē)輛后部以及2個(gè)輪胎、尾燈，判斷前方物體為車(chē)輛。

在識別車(chē)輛時(shí)，CMOS傳感器上的車(chē)寬需要達到13個(gè)像素以上，這相當于與車(chē)寬為1.6m的車(chē)輛相距115m。從CMOS傳感器的性能來(lái)看，前方的識別限度約為90m。

單眼攝像頭也能測量距離

　?。?）車(chē)道線(xiàn)的檢測數據將用于車(chē)距監測及警示、前方車(chē)輛碰撞警示。50m遠的寬度為10cm的車(chē)道線(xiàn)在CMOS傳感器上相當于2個(gè)像素。系統將從攝像頭圖像中識別出車(chē)道線(xiàn)，根據攝像頭的視野和在前窗上安裝的位置等信息計算出車(chē)道線(xiàn)的寬度及其與車(chē)輛的相對位置，利用卡爾曼濾波器推測車(chē)道線(xiàn)。

　?。?）與前方車(chē)輛的距離是利用“遠近法原理”計算得出的（圖8）。其原理如下，因為攝像頭的地面高度（H）已知，所以，路面上前方車(chē)輛接觸地面的位置比水平面上無(wú)限遠的一點(diǎn)（延伸焦點(diǎn)，FOE：focusof expansion）略低幾度。

圖8：車(chē)距檢測的原理
單眼攝像頭檢測車(chē)距利用“遠近法原理”。事先測量出攝像頭的地面高度H，根據關(guān)系公式計算出距離Z。

映射到攝像頭內部的CMOS傳感器上的圖像的高度（y）隨與前車(chē)（后輪輪胎與道路的接觸面）的距離而變化。攝像頭的焦距（f）同樣為已知條件。按照“H：Z＝y：f”計算，即可求出與前車(chē)的距離Z。而且，距離碰撞的時(shí)間也可以根據“Z/相對速度”的公式求出。

攻克檢測行人這一難題

與車(chē)輛的識別相比，（7）行人檢測的難度要大得多。行人不同于車(chē)輛，動(dòng)作、服裝、身體各部分的變化要素很多，而且還需要與街上的建筑、汽車(chē)、電線(xiàn)桿、樹(shù)木等背景圖案區分開(kāi)來(lái)。

　　為了在有人走向行駛車(chē)道時(shí)盡可能縮小檢測延遲，對于車(chē)道外行人的檢測必不可少。因此可以容許出現某種程度的誤判。

　　提高行人檢測的精度依靠的是“單幀分類(lèi)”和“多幀認證”兩個(gè)步驟。首先通過(guò)“單幀分類(lèi)”判斷出“好像是行人”，然后再轉入“多幀認證”，當檢測到行人進(jìn)入車(chē)道內時(shí)提高等級，采取立即發(fā)出報警等處理方式。

　　在行人識別中，系統將把推測為行人的圖像分成9個(gè)區域提取特征（圖9），結合多幀的動(dòng)態(tài)變化提高精度。識別到的VGA分辨率的縱長(cháng)長(cháng)方形行人圖像將在調整到12×36像素后進(jìn)入“單幀分類(lèi)”處理。根據匯總了3～25m范圍內15萬(wàn)個(gè)廣泛的行人事例（考慮到了動(dòng)作和停頓、照明、背景圖案、氣象條件、天氣下的可視條件等）的測試數據集進(jìn)行分類(lèi)（注3）。

圖9：提取行人特征
把拍攝的圖像分成9個(gè)區域提取特征，識別其是否為行人。

（注3）數字依照Mobileye發(fā)表的論文，與現在的產(chǎn)品參數可能存在差異。

　　測試數據集根據在日本、德國（慕尼黑）、美國（底特律）、以色列各國的市區行駛50個(gè)小時(shí)獲得的數據制成。這種方法在誤判率為5.5％的情況下，檢測率可達90％?？紤]到檢測率與誤判率的均衡，最終采用的檢測率為93.5％，此時(shí)誤判率約為8％。

　　對于“單幀分類(lèi)”無(wú)法檢測出的情況，在“多幀認證”這一步中，考慮到了動(dòng)態(tài)步伐和移動(dòng)檢測、再檢測、腳部位置檢測，目的是區分行人與背景中的靜止物體（電線(xiàn)桿、樹(shù)木、護欄）的辦法。借助以上改進(jìn)，系統在白天能夠識別出30m前方身高在1m以上的行人。

攝像頭方式特有的弱點(diǎn)

　　我們的防碰撞報警系統也存在弱點(diǎn)。因為是基于攝像頭進(jìn)行圖像識別，所以人眼看不到的東西無(wú)法識別。在識別車(chē)道線(xiàn)時(shí)，掉色的車(chē)道線(xiàn)、在雨雪覆蓋下難以辨識的車(chē)道線(xiàn)可能無(wú)法識別。

　　在隧道的入口和出口附近，前方車(chē)輛與隧道影像重疊也可能造成誤報；前方車(chē)輛映照在被雨水淋濕的道路上的倒影也有可能造成誤報；當太陽(yáng)位于靠近地平線(xiàn)的正前方時(shí)，攝像頭有時(shí)會(huì )無(wú)法正確識別前方車(chē)輛；而且，當攝像頭正前方的前窗上有水滴時(shí)，系統有可能發(fā)生魚(yú)眼鏡頭效應，對前方車(chē)輛的大小判斷錯誤（注4）。

（注4）以上是Mobileye技術(shù)部門(mén)列舉的可能發(fā)生誤判的場(chǎng)合和條件。

未來(lái)將把自動(dòng)駕駛也納入視野

　　為了改善這些弱點(diǎn)，我們已經(jīng)著(zhù)手開(kāi)始改進(jìn)圖像處理SoC。目前正在與意法合資意法半導體合作開(kāi)發(fā)名為“EyeQ3”的第3代產(chǎn)品。計劃在2014年開(kāi)始供應配備該SoC的產(chǎn)品。

　　EyeQ3內嵌4個(gè)支持多線(xiàn)程的“MIPS32內核”，每個(gè)CPU內核都配備了我們的VMP（vector microcode processor）。我們計劃通過(guò)靈活分配控制與數據處理，使其性能達到EyeQ2的6倍。

　　而且，我們還計劃實(shí)現支持多攝像頭輸入等大容量影像數據處理。如果除了前方之外，攝像頭還能安裝在后方和側面用以獲取信息，應該能實(shí)現更可靠的防碰撞報警系統。

　　隨著(zhù)攝像頭與汽車(chē)的融合，自動(dòng)駕駛也已經(jīng)進(jìn)入了我們的視野，現在已經(jīng)著(zhù)手開(kāi)發(fā)。需要解決的課題雖多，但我們每天都在積極地迎接挑戰。在今后，Mobileye依然將全力開(kāi)發(fā)更加方便大眾的汽車(chē)技術(shù)。