高級輔助駕駛系統：駕駛員應知應會(huì )！

接近黃昏的時(shí)候開(kāi)始下雨了，駕駛員們紛紛打開(kāi)大燈。很快，濕滑的路面反射了大燈燈光、街燈、商場(chǎng)霓虹燈，還有西沉的陽(yáng)光，路面看起來(lái)像萬(wàn)花筒那樣閃爍著(zhù)各種光芒。自然光在減弱，而夜晚的燈光還不是那么明亮，路面看起來(lái)模模糊糊。

雨刮器很久沒(méi)有工作了，您感覺(jué)前面就像涂了泥一樣昏暗，路邊的陰影也好像擋在了路中央。在朦朧中，您意識到車(chē)的盲點(diǎn)范圍里有一輛沒(méi)開(kāi)大燈的車(chē)，您打著(zhù)轉向燈，摸索著(zhù)向中間車(chē)道行駛。突然，您想起了自己的車(chē)里應該有先進(jìn)的主動(dòng)安全系統。

近期可能出現的三種結果

這個(gè)故事可能有三種不同的結果，技術(shù)取勝，人戰勝機器，還有可能發(fā)生事故?？赡苁沁@樣的：在您認識到將要發(fā)生什么之前，轉向燈已經(jīng)開(kāi)始閃爍，自己的車(chē)稍稍向中間車(chē)道加速，然后，輕輕的剎車(chē)，避開(kāi)了附近看不到的行人，也提醒了后面的車(chē)輛。

也可能是這樣：當車(chē)輪轉向時(shí)，您感覺(jué)到汽車(chē)的車(chē)道保持功能在起作用，把車(chē)拉回到原來(lái)的車(chē)道。但是，您仍然繼續，打著(zhù)轉向燈，安全的并線(xiàn)，對其他車(chē)輛刺耳的喇叭聲不聞不問(wèn)。而此時(shí)，行人從路邊冒出，前擋風(fēng)玻璃前視顯示系統沒(méi)有讓您及時(shí)看到這個(gè)人。好在您躲開(kāi)了他。

或者，可能這樣：您轉向時(shí)，您聽(tīng)到了不熟悉但是非常刺耳的報警聲。在您還沒(méi)有搞明白怎么回事時(shí)，一輛車(chē)從盲點(diǎn)里鳴著(zhù)喇叭沖出來(lái)—現在，您沒(méi)有別的選擇，只能慌亂的剎車(chē)停下來(lái)。防抱死剎車(chē)功能在濕滑的路面上起作用了，讓您感到恐慌，車(chē)子終于緊挨著(zhù)受驚嚇的行人停下來(lái)了。在極度驚恐中，您瞥了一眼儀表盤(pán)，知道了瘋狂報警的原因—高級輔助駕駛系統 (ADAS) 關(guān)閉了。

這就是同一個(gè)場(chǎng)景三種完全不同的結果。這源于三種完全不同的 ADAS 。為說(shuō)明這些不同，理解其影響，我們將詳細研究 ADAS 的實(shí)現。在今年的設計自動(dòng)化大會(huì )上，舉行了一次主題研討和公開(kāi)論壇，對此很好的進(jìn)行了闡述。

從傳感器開(kāi)始

ADAS 系統是邏輯流水線(xiàn)，要理解它最好從寬輸入范圍入手。福特汽車(chē)電子和電氣系統研究主任兼研究員 James Buczkowski 說(shuō)：“隨著(zhù)向自動(dòng)化方向的發(fā)展，難點(diǎn)在于僅采用一種傳感器是遠遠不夠的。”

在公開(kāi)論壇上，主持人是 Cadence 總編輯 Brian Fuller ，他也要求專(zhuān)家們研討一下 ADAS 傳感器。傳感器系統供應商 Nuvation 首席設計工程師 Edward Ayrapetian 認為，“目前我們使用了多種類(lèi)型的傳感器。一般而言，您會(huì )看到激光雷達、普通雷達和高分辨率視頻攝像機的組合使用。但是隨著(zhù)圖像處理算法的改進(jìn)，所有一切都在不斷變化。”

Ayrapetian 解釋說(shuō)，每一類(lèi)傳感器都有其優(yōu)缺點(diǎn)，其他專(zhuān)家對此也表示同意。例如，激光雷達是谷歌 “無(wú)人駕駛” 汽車(chē)研究平臺的主要傳感器。這一技術(shù)的標志是激光器和旋轉的鏡子構成的半個(gè)圓球。激光雷達比較擅長(cháng)勾勒出物體的外形，并提供距離數據—這些都是目標識別算法所必須的。而且，激光雷達對背景光線(xiàn)也不太敏感。

Ayrapetian 提醒說(shuō)，“但是谷歌使用的激光雷達傳感器價(jià)格高達 10 萬(wàn)美元。” 而且，在有霧或者下雪等低能見(jiàn)度的時(shí)候，從物體表面反射回來(lái)的光束所攜帶的信息量很少，激光雷達就不太好用了。Ayrapetian 提到了非常著(zhù)名的加州沙漠聚會(huì )，“我們把自動(dòng)駕駛卡車(chē)開(kāi)向‘火人’。我們所知道的是，激光雷達無(wú)法識別一大片塵霧和磚墻。”

而雷達在一定程度上是非常好的互補技術(shù)。如果您仔細選好了頻率、波形和接收信號處理功能，那么，雷達不會(huì )受到干擾的影響，實(shí)際上在低能見(jiàn)度和光照條件下都能正常工作。大陸汽車(chē)系統和技術(shù)公司 ADAS 業(yè)務(wù)部主任 Christian Schumacher 補充說(shuō)：“雷達能夠很好的獲得距離數據。但是，雷達不擅長(cháng)識別物體。” 不太理想的外形數據，而且沒(méi)有紋理或者顏色信息，這讓物體識別算法無(wú)法工作。

因此，我們使用了攝像機。隨著(zhù)低成本高分辨率攝像機的出現，視頻成為 ADAS 的關(guān)鍵傳感器技術(shù)，為物體識別提供了豐富的數據。多攝像機系統能夠避開(kāi)某些視覺(jué)障礙，提供雖然有限但是足夠用的基于視差的距離信息。但是攝像機也有其問(wèn)題，能見(jiàn)度差的時(shí)候無(wú)法工作。Schumacher 提醒說(shuō)：“攝像機對光照要求很高。我們需要找到平衡點(diǎn)—一種在所有駕駛條件下都非常高效的系統，但是不能有太多的傳感器。”

通過(guò)采用更好的算法來(lái)互相補充，以減少傳感器。Ayrapetian 說(shuō)：“我們要考慮傳感器所面臨的問(wèn)題及其關(guān)鍵程度來(lái)定制傳感器。如果把需求縮窄，就能夠改進(jìn)算法。我們基本能夠采用更好的視頻流圖像處理算法來(lái)替代激光雷達。”

傳感器融合

即使在圖像處理技術(shù)上有所突破，大家一致認為仍然需要先進(jìn)的傳感器融合技術(shù)才能從幾種不同類(lèi)型的數據中，獲得車(chē)輛周?chē)h(huán)境正確的信息：物體，其速度和加速狀態(tài)，以及可能的行為等。一個(gè)重要而且復雜的問(wèn)題是，在系統中要進(jìn)行多少次處理。有可能是將所有的原始數據送入融合引擎—例如，卡爾曼濾波器或者深度學(xué)習神經(jīng)網(wǎng)絡(luò )，看一看能夠得出什么。這種想法有一定的可行性，例如實(shí)際上有一類(lèi)特殊的網(wǎng)絡(luò )，卷積網(wǎng)絡(luò )，它用在物體識別時(shí)的性能非常好。

但是，設計人員更傾向于采用他們在操作層面上能夠理解的系統。在5月份舉行的嵌入式視覺(jué)大會(huì )的一次研討中，谷歌自動(dòng)駕駛汽車(chē)團隊的技術(shù)主任 Nathaniel Fairfield 說(shuō)：“我們的策略是開(kāi)發(fā)簡(jiǎn)單的系統來(lái)處理傳感器數據，然后，以更抽象的方式來(lái)融合經(jīng)過(guò)預處理的數據。我們更愿意通過(guò)一個(gè)大濾波器來(lái)運行所有一切。”

一種簡(jiǎn)化的方法是對處理步驟進(jìn)行邏輯排序 (圖1)。每一個(gè)傳感器都會(huì )進(jìn)行本地信號調理，甚至可能根據下游的反饋來(lái)自動(dòng)適應。然后，每一個(gè)傳感器會(huì )在本地根據其掌握的信息進(jìn)行物體估算，為推斷出的這些物體附加一些屬性。

圖1. 您可以把ADAS看成是處理器流水線(xiàn)，越來(lái)越抽象的看待汽車(chē)周?chē)沫h(huán)境。

例如，激光雷達能夠確定地面 030 方向有一個(gè)物體，從右向左移動(dòng)，距離大概 20.24 米。雷達也會(huì )報告，在同一位置，地面噪聲背景上可能有一個(gè)物體。一對高分辨率攝像機會(huì )看清楚這一物體—看起來(lái)非常像一頭金色獵犬，方向在 025 至 035 之間，大概 15 米之外。

這些信息會(huì )被傳送至融合引擎，接收有物體存在這一主視圖，附加上最可靠的屬性—例如，位置、速度、大小和顏色。這些信息隨后會(huì )被送至一個(gè)分類(lèi)引擎，將其標示為一條狗—例如，位置、速度、大小和顏色。這些信息隨后會(huì )被送至一個(gè)分類(lèi)引擎，將其標示為一條狗

這看起來(lái)很有邏輯性，但卻不能解決問(wèn)題。甚至在每一階段采用哪類(lèi)算法都沒(méi)有達成一致。Schumacher 觀(guān)察到：“目前，大部分步驟都是基于規則的。但是，基于規則的系統需要很多支持。我們會(huì )看到一些算法采用了人們不好解釋的方法。”

本田北美研究所的首席科學(xué)家 Victor Ng-Thow Hing 同意這一觀(guān)點(diǎn)，“深度神經(jīng)網(wǎng)絡(luò )在識別任務(wù)上會(huì )遠遠超過(guò)人，甚至超過(guò)基于規則的算法。有些方面會(huì )否定規則。我認為應該有一種混合方法。”

Ayrapetian 說(shuō)，“不論哪種方法，重要的是認識到能不能解決問(wèn)題。目前，自動(dòng)駕駛汽車(chē)還不能 100% 的一直保持在車(chē)道上行駛。在新環(huán)境下，神經(jīng)網(wǎng)絡(luò )也不能很好的工作。甚至谷歌汽車(chē)也依靠非常詳細的地圖來(lái)識別物體，定位自己。我們還沒(méi)有達到非常智能的程度來(lái)完全理解傳感器數據。”

策略分類(lèi)

對于所有的難題，分類(lèi)引擎還遠遠不夠。對物體分類(lèi)如果能夠成功的話(huà)，會(huì )產(chǎn)生物體列表，標識上距離和速度等實(shí)際屬性，根據其可能的身份進(jìn)行分類(lèi)，例如，人、綠化灌木，或者建筑符號等。在分類(lèi)過(guò)程中，也應該針對其在 ADAS 判決過(guò)程中的重要性而標上屬性：非常危險、導航線(xiàn)索，或者無(wú)關(guān)的背景等。還應該對分類(lèi)的不確定性等級進(jìn)行評價(jià)。分類(lèi)功能應使用各種不同的濾波器、神經(jīng)網(wǎng)絡(luò )以及基于規則的分類(lèi)樹(shù)，通過(guò)融合不同傳感器的數據得出自己的結論。

現在，問(wèn)題的本質(zhì)發(fā)生了很大變化。至少在一些較好的條件下，ADAS 系統非常詳細的知道其位置和環(huán)境?，F在，它必須決定下一步做什么，特別是出現不確定性因素時(shí)。就目前而言，這意味著(zhù)基于規則的系統。

Ayrapetian 解釋說(shuō)：“您可以使用神經(jīng)網(wǎng)絡(luò )來(lái)識別物體，甚至是把汽車(chē)放在周?chē)h(huán)境中。但是，您需要規則來(lái)得出判斷，并解釋。”

使用基于規則的系統來(lái)決定 ADAS 響應的基本原因可能在于我們對神經(jīng)網(wǎng)絡(luò )工作方式的感情因素?？梢杂柧毶疃葘W(xué)習網(wǎng)絡(luò )，使其能夠比人更正確的理解環(huán)境—也就是，99% 的時(shí)間都能夠正確理解被測試的視頻。但是，即使對金色獵犬有 1% 的誤解人們也不會(huì )滿(mǎn)意：我們要的是非?？煽康囊巹t，決不能撞上一條小狗。

更深層次的問(wèn)題在于系統驗證和控制兼容問(wèn)題。很多工程師都強烈的感受到，在相信一款設計之前，必須能夠理解設計是怎樣工作的—實(shí)際上，在規劃驗證策略之前。而且，符合某些規則要求設計中的每一組成都是可追溯的，回溯到最初的需求來(lái)源。所有這些需求對于神經(jīng)網(wǎng)絡(luò )而言都是切實(shí)的問(wèn)題，人很難完全理解網(wǎng)絡(luò )中某一階段在干什么，也不能追溯回系統需求文檔的某些章節。

相反，基于規則的系統一般非常直觀(guān)：您可以讀取一條規則，知道為什么在此處要采用它。但是，基于規則的系統實(shí)行起來(lái)也有局限。很難設計一個(gè)能夠在不可預見(jiàn)的環(huán)境中正常工作的系統—務(wù)要求很好的進(jìn)行抽象思維，找到勝任于某些環(huán)境的規則。隨著(zhù)規則的增多，計算要求和行為預測都會(huì )帶來(lái)問(wèn)題。例如，有可能加入看起來(lái)非常合理的規則，不經(jīng)意間，在基于規則的判斷樹(shù)上設立了死循環(huán)，或者，建立了無(wú)法實(shí)時(shí)遍歷的規則列表。

除了混合神經(jīng)網(wǎng)絡(luò )和規則之外，還有第三種因素。很多系統設計人員覺(jué)得根本不可能只從傳感器數據中得出正確的環(huán)境模型，因此，他們要求來(lái)自基礎設施的數據：來(lái)自道路和十字路口的固定傳感器的數據，以及從其他車(chē)輛送來(lái)的數據。Ng-Thow Hing 觀(guān)察到，“在日本，計劃是使用智能基礎設施來(lái)實(shí)現問(wèn)題追溯。” 道路傳感器可以定位車(chē)輛，非常精確的測量其速度，減少物體識別和分類(lèi)的壓力，從而減少判斷單元的不確定性。來(lái)自其他車(chē)輛的數據是另一關(guān)鍵參數，車(chē)內傳感器很難理解這些數據：其他車(chē)輛要往哪里開(kāi)。

但是，基礎設施數據需要非常好的社會(huì )組織，還要考慮政治因素，以及只有少數國家能夠承擔得起的投入等。因此，目前世界上大部分 ADAS 設計人員還不能依靠這些。Schumacher 提醒說(shuō)：“最后，您還需要地圖信息，需要基礎設施信息。我們還有時(shí)間來(lái)‘靠邊停車(chē)’。”

無(wú)論ADAS判斷階段采用哪種實(shí)施計劃，它都必須產(chǎn)生兩類(lèi)輸出 (圖2)。第一類(lèi)是必須的，輸出至人機接口，告訴并提醒駕駛員。第二類(lèi)輸出—只是在某些設計中有，只用于某些環(huán)境中，直接作用在車(chē)輛主系統上：轉向，剎車(chē)，傳動(dòng)等，如果所有這些都失效了，那么還有被動(dòng)安全系統。

圖2. 判斷系統有兩類(lèi)不同的基本輸出流。

可能讓人吃驚的是，最熱門(mén)的爭議是人機接口：它什么時(shí)候應該起作用，怎樣起作用?福特公司的 Buczkowski 在其 DAC 主題演講中，建議應該讓駕駛員感到 “這輛車(chē)很理解我—也是這么干的。”

這就說(shuō)明了問(wèn)題：對于駕駛員，ADAS是有個(gè)性的。Schumacher 提醒說(shuō)：“如果錯誤的反應太多，或者系統太謹慎了，那么，駕駛員就會(huì )把它關(guān)掉。” Ng-Thow Hing 對此表示同意：“其復雜性在于有很多不同的駕駛習慣。” 謹慎的駕駛員喜歡報警甚至是直接干預。沖動(dòng)的駕駛員不愿意受到干涉;甚至是那些符合安全駕駛要求的干涉。如果他們覺(jué)得 ADAS 系統讓他們在乘客面前出丑了，他們會(huì )永久關(guān)掉系統。

Schumacher 解釋說(shuō)：“例如，道路保持功能在提醒駕駛員時(shí)，乘客也會(huì )很清楚的知道。如果設計成直接干預，可以通過(guò)控制轉向系統或者采用不同的剎車(chē)扭矩來(lái)完成。一種方法要比其他方法作用更明顯。”

讓人分散注意力也是問(wèn)題。人機接口必須引起駕駛員的注意，并給出正確反應的建議。不能給出不具指導性的警報，這只能進(jìn)一步分散駕駛員的注意力—特別是在某些緊急時(shí)刻。

干預

如果我們越來(lái)越需要自動(dòng)駕駛汽車(chē)，那么 ADAS 對汽車(chē)的控制會(huì )更多。這就帶來(lái)了其他兩種設計難題—什么時(shí)候以及怎樣控制車(chē)輛。

第一個(gè)問(wèn)題是兩個(gè)問(wèn)題中最難解決的。很明顯，系統不應該嘗試在當前環(huán)境下有可能出現危險或者無(wú)法進(jìn)行的操作。例如，60 kph 時(shí)，ADAS 不能?chē)L試右轉。這種要求實(shí)際上意味著(zhù)，判斷單元必須有詳細設定的規則來(lái)控制能否使用車(chē)輛控制系統接口。但是考慮到有各種各樣的車(chē)輛速度、車(chē)輛方向以及道路狀況組合，在實(shí)時(shí)控制系統中，基于規則的方法很難解決問(wèn)題。ADAS 可能需要車(chē)輛的連續動(dòng)態(tài)模型，這樣，它能夠從所需的軌跡中計算出可行的控制輸入。這對于其本身并不意味著(zhù)計算負載。

第二個(gè)問(wèn)題是個(gè)性問(wèn)題的另一種表現。ADAS 總是應該控制汽車(chē)嗎?如果駕駛員的行動(dòng)與計算策略相沖突，它應該干預嗎?或者，它應該拖延駕駛員的操作，直到避免發(fā)生事故的最后一刻?如果駕駛員不聽(tīng)指揮，那么 ADAS 應該怎么響應?最后一個(gè)問(wèn)題的答案是環(huán)境預知，例如駕駛員酒駕或者出現了危險行人的情況，還是應該可以調整，或者適應駕駛員的個(gè)性?

開(kāi)弓沒(méi)有回頭箭

所有這些問(wèn)題都代表了設計人員的價(jià)值判斷，答案會(huì )在 ADAS 系統設計、成本以及性能上產(chǎn)生非常不同的結果。那么，您購買(mǎi)汽車(chē)時(shí)怎么判斷系統的質(zhì)量和個(gè)性化問(wèn)題呢?

Ng-Thow Hing 提醒說(shuō)：“市場(chǎng)上汽車(chē)的質(zhì)量和性能良莠不齊。我們需要非常有經(jīng)驗的專(zhuān)家來(lái)幫助購車(chē)者理解他們能得到什么。”

Schumacher 更悲觀(guān)一些，至少對于美國市場(chǎng)是這樣的。他說(shuō)：“在美國，簡(jiǎn)單的產(chǎn)品通常能夠獲得成功。在歐洲，情況則完全不同。購車(chē)者在做出決定之前會(huì )研究資料，反復比較。”

我們知道 ADAS 系統還有很多未解決的問(wèn)題，也有很多不同的方法來(lái)解決這些問(wèn)題。不同的方法在解決基本問(wèn)題上各有所長(cháng)，例如，道路保持、速度管理以及防碰撞等。但這也會(huì )多多少少給 ADAS 系統帶來(lái)不同的個(gè)性化：駕駛員和乘客關(guān)心的個(gè)性化。

所以，我們從開(kāi)放的角度看一切都有可能，只是在 ADAS 設計選擇上稍有不同。實(shí)際上，大量的可能結果只有三種實(shí)例，每一種都對駕駛員及其周?chē)藗兊母惺苡杏绊?，最終會(huì )影響安全。