康謀分享 | AD/ADAS的性能概覽：在A(yíng)D/ADAS的開(kāi)發(fā)與驗證中“大海撈針”！

如果您希望從數百萬(wàn)小時(shí)的駕駛數據中查找特定的相關(guān)駕駛事件和未遂事故，以確保您的所需功能正確運行，最好的方法就是創(chuàng )建一個(gè)系統性能的概覽分析，實(shí)現在數據日志中快速檢索關(guān)注點(diǎn)。為此，康謀在本文將為您詳細介紹IVEX的智能概覽功能，助力AD/ADAS的開(kāi)發(fā)與驗證！

一、AD/ADAS性能概覽的重要性

為了開(kāi)發(fā)、演進(jìn)、測試和驗證自動(dòng)駕駛（AD）功能或自動(dòng)駕駛輔助系統（ADAS），各大企業(yè)都在生成數千小時(shí)的包含仿真或真實(shí)世界的駕駛數據日志。那么，如何才能知道自身的AD/ADAS系統是否始終按要求運行？是否朝著(zhù)更好的表現發(fā)展？

對“脫離”AD/ADAS模式的情況進(jìn)行分析是一種常見(jiàn)的方法。這有助于了解系統失敗的“原因”，而后可對表現不佳的地方進(jìn)行分組，提供一個(gè)概覽以確定糾正這些失敗的優(yōu)先順序。然而，“脫離”分析僅涵蓋“已知”的不當行為，對于邊緣/極端情況該如何處理？更重要的是，對于險些發(fā)生的事故如何處理？

例如，由于一個(gè)錯誤檢測或者說(shuō)“幽靈檢測”，白色的自車(chē)認為它將與車(chē)輛1發(fā)生碰撞，因此決定執行變道操作，如圖1所示。幸運的是，由于自車(chē)的左車(chē)道是空的，該操作是可行的，否則就可能會(huì )由于自車(chē)的急剎車(chē)而導致與車(chē)輛4發(fā)生追尾事故。

圖1 追尾未遂

這種更深入、更有成效的分析也與ISO 21448（SOTIF）所提出的過(guò)程相匹配，以識別在某些不利觸發(fā)條件下系統可能會(huì )表現出的局限性、弱點(diǎn)與干擾，而這些都可能導致事故或相關(guān)意外事件的發(fā)生。

如果能夠提供AD/ADAS系統性能的概覽，工程師就可以迅速在結構化分析中定位所有相關(guān)的事件或條件，例如：

（1）數據日志中出現了哪些未遂事故？

（2）系統在哪一個(gè)操作域（OD）表現不佳，原因是什么？

（3）開(kāi)發(fā)是否正朝著(zhù)更好的表現方向發(fā)展？

（4）是否應該修改功能需求，以便流暢且充分地與現實(shí)世界交互？

（5）功能是否滿(mǎn)足了指定的需求？

因此，為了開(kāi)發(fā)和驗證AD/ADAS系統，需要有效地識別、分析并了解所有可能的未遂事故、性能不足或觸發(fā)條件，這些都對AD/ADAS系統構成了挑戰。然而，當前高度依賴(lài)人工的技術(shù)手段如同“海底撈針”，在數百萬(wàn)小時(shí)的駕駛數據中幾乎難以發(fā)現目標。

二、康謀IVEX智能概覽 

為了整理駕駛數據并找到那些重要的“針”，康謀IVEX通過(guò)使用特定的安全和關(guān)鍵績(jì)效指標（SPIs，KPIs），即根據采集/模擬駕駛數據匯總的“指標（metrics）”，以創(chuàng )建系統性能的最佳概覽。

1、利用指標整理駕駛數據

由于采集數據的非結構化特性和不斷變化的動(dòng)態(tài)交通環(huán)境，整理駕駛數據存在巨大挑戰。我們設定了3個(gè)主要指標類(lèi)型來(lái)整理數據：傳感器與感知指標、行為指標、舒適度指標。

第一層是傳感器與感知指標。它們是自動(dòng)駕駛汽車(chē)與環(huán)境的初始接觸點(diǎn)，表示系統對周?chē)h(huán)境的感知程度，有助于在開(kāi)發(fā)的早期階段突出性能不佳的情況，例如誤報對象檢測、車(chē)道線(xiàn)提取失敗等。

第二層指標關(guān)注AD/ADAS系統采取的控制和行為動(dòng)作。例如，對于自動(dòng)緊急制動(dòng)（AEB）系統，需要檢查制動(dòng)信號是否在正確的時(shí)間觸發(fā)，進(jìn)而產(chǎn)生更好的減速。

第三層指標是指乘客可能體驗到的舒適度。例如，為了驗證自動(dòng)車(chē)道保持輔助系統（ALKS），可以測量車(chē)輛產(chǎn)生的任何會(huì )給乘客帶來(lái)不適的擺動(dòng)行為。

根據待測的AD/ADAS功能確定了哪些指標是感興趣的之后，就可以有效地開(kāi)始整理數據。除了前面的例子，指標還可以是跟蹤感知物體尺寸、檢查檢測到的車(chē)輛邊界框是否分裂或合并、監測與其他交通元素的前后距離和橫向距離、預測潛在碰撞以及評估檢測到的車(chē)道標識質(zhì)量。IVEX軟件也允許工程師通過(guò)簡(jiǎn)單的編程API包含他們自己的定制指標。

2、創(chuàng )建合理且可觀(guān)的概覽

當使用選定的指標整理好記錄的駕駛數據后，如何在所有的數據中找到所需的“針”？在IVEX中，我們創(chuàng )建了一個(gè)優(yōu)化的流程來(lái)高效處理所有駕駛數據日志。

我們匯總了所有的測量結果，提供了一個(gè)基于指標的清晰組織。此外，由于當前的L2+ ADAS系統受限于運行設計域（ODD），例如ALKS僅適用于車(chē)速低于60公里/小時(shí)的高速公路場(chǎng)景。我們根據ODD對分析進(jìn)行切分，以便于簡(jiǎn)化搜索空間。所有結果被匯總并呈現在一個(gè)簡(jiǎn)潔、可定制的界面中，只需單擊三下即可“大海撈針”，詳細檢查特定的駕駛場(chǎng)景。

現在，我們可以觀(guān)察整理得到的數據結果，如下圖所示。這些結果是對所有數據日志的全面匯總，并以簡(jiǎn)單但具有指導性的方式展示。每個(gè)指標的結果顯示在每一行上，而ODD則顯示在列中。在每個(gè)單元格內呈現的是相應指標與ODD組合的違規率。

圖2 聚合分析

舉個(gè)例子，假設我們正在分析城市環(huán)境中駕駛系統的舒適性：

在一次點(diǎn)擊中，我們選擇了“低速”ODD（小于15公里/小時(shí)）下的“急剎車(chē)”指標。

接下來(lái),我們看到的是在所選擇的ODD內,所有分析的數據日志中施加的制動(dòng)減速度分布情況。如果要求規定施加的制動(dòng)減速度應小于4米/秒2，那么可以立即看到有0.06%的情況未能滿(mǎn)足這一要求。通過(guò)第二次點(diǎn)擊，就可以選擇特定的制動(dòng)范圍（分布中的列）來(lái)分析特定的事件/情景。

圖3 智能概覽訪(fǎng)問(wèn)特定記錄數據流程示意圖

而后，工程師就可以直接訪(fǎng)問(wèn)確切時(shí)間戳的特定記錄數據，觀(guān)察完整情況并獲得有關(guān)問(wèn)題的額外見(jiàn)解。

三、結論

本文案例中，IVEX可以從69小時(shí)的駕駛日志中準確篩選出會(huì )令乘客非常不舒適的特定急剎車(chē)事件（減速度超過(guò)4米/秒2），展示了一種非常簡(jiǎn)單工作流程。除了能夠幫助工程師在幾秒鐘內從大量數據中找到相關(guān)事件，IVEX還提供可用于根據SOTIF和UL4600進(jìn)行安全論證的報告。

簡(jiǎn)而言之，IVEX可以助力于實(shí)現：

1、整理海量數據日志并從中識別特定事件

2、識別需要添加為SOTIF分析一部分的觸發(fā)條件

3、跟蹤AD/ADAS系統在不同迭代中的演變，以展示系統改進(jìn)的論據，并為UL4600文檔提供具體的支持。