助力汽車(chē)自我思考

汽車(chē)行業(yè)是推動(dòng)人工智能（AI）發(fā)展的重要行業(yè)之一，這是因為該行業(yè)致力于自動(dòng)駕駛汽車(chē)和高級駕駛員輔助系統（ADAS）的泛在利益。

汽車(chē)正在變得越來(lái)越智能，但是如果汽車(chē)行業(yè)要實(shí)現完全自動(dòng)駕駛的目標，他們還有很長(cháng)的路要走。盡管業(yè)界還在討論實(shí)現全自動(dòng)化所需的理想技術(shù)組合，但是有一點(diǎn)是明確的，那就是人工智能，尤其是神經(jīng)網(wǎng)絡(luò )將發(fā)揮重要作用。

神經(jīng)網(wǎng)絡(luò )

神經(jīng)網(wǎng)絡(luò )的作用是執行對于傳統視覺(jué)或模式識別系統來(lái)說(shuō)具有挑戰性的任務(wù)。通過(guò)使每個(gè)神經(jīng)網(wǎng)絡(luò )各自不同，并針對特定任務(wù)進(jìn)行設計，它可以更高效、更精確地執行任務(wù)。

所有神經(jīng)網(wǎng)絡(luò )的組織模式都是在多個(gè)層面上多次處理數據。因此，神經(jīng)網(wǎng)絡(luò )可以在不同的輸入模式下運行十到二十次，而不是用一組特定的參數只運行一次操作。這個(gè)想法是，通過(guò)所有這些不同的路徑，選擇的數量就會(huì )增加。當到了需要做出決策的時(shí)候，它已經(jīng)從輸入中提取了所有的信息。

在路標識別的示例中，第一層可能正在尋找一個(gè)標識的角形狀，然后是顏色等各個(gè)步驟執行下去，直到它可以非常確信地說(shuō)這是一個(gè)路標并說(shuō)明其含義。這樣做的好處在于無(wú)需對每一個(gè)步驟都進(jìn)行編程，神經(jīng)網(wǎng)絡(luò )將會(huì )自己完成，并且隨著(zhù)時(shí)間的推移而不斷學(xué)習。該算法知道它需要識別的內容，并將嘗試不同的方法，直到實(shí)現目標，并在過(guò)程中不斷學(xué)習。一旦神經(jīng)網(wǎng)絡(luò )在經(jīng)過(guò)培訓之后，它便可以在實(shí)際應用中發(fā)揮作用。這意味著(zhù)工程師不必花費數小時(shí)來(lái)微調復雜的算法，他們只需向神經(jīng)網(wǎng)絡(luò )展示它需要發(fā)現的內容并讓其自學(xué)完成。

這些技術(shù)已經(jīng)在車(chē)輛中被廣泛用于目標檢測、分類(lèi)和分析，而駕駛員監測、訪(fǎng)問(wèn)控制以及語(yǔ)音和手勢識別也可以利用不同類(lèi)型的神經(jīng)網(wǎng)絡(luò )。此外，將傳統視覺(jué)與神經(jīng)網(wǎng)絡(luò )相結合的人工智能方法，可用于行人路徑分析和環(huán)繞視圖等應用場(chǎng)景，它將同時(shí)依賴(lài)于圖形處理器（GPU）和神經(jīng)網(wǎng)絡(luò )加速器（NNA）。

在從傳感器到電子控制單元（ECU）整個(gè)鏈路中也可以使用神經(jīng)網(wǎng)絡(luò )，在預處理、中間處理和后處理中使用的各種技術(shù)將人工智能引入了其中。

此外，車(chē)聯(lián)網(wǎng)（V2X）技術(shù)正在開(kāi)發(fā)中，該技術(shù)將主要使用自動(dòng)駕駛汽車(chē)作為傳感載體，為各種智慧城市和智慧交通場(chǎng)景提供數據和信息。同樣，這些進(jìn)展將依賴(lài)于采用GPU和NNA的方法實(shí)現人工智能，以支持來(lái)自越來(lái)越大的輸入集的各種分析和計算。

傳感器融合

自動(dòng)駕駛和高度自動(dòng)化的車(chē)輛將嚴重依賴(lài)各種類(lèi)型的傳感器，包括攝像頭、熱成像、雷達、激光雷達（LiDAR）等。所有這些傳感器傳出的信號都需要進(jìn)行解讀和融合，以便全面了解車(chē)輛內部和外部發(fā)生的情況。

傳感器融合對于自動(dòng)駕駛至關(guān)重要，它將涉及到GPU和神經(jīng)網(wǎng)絡(luò )以及機器學(xué)習和人工智能的結合。

車(chē)輛內部傳感器融合的一個(gè)很好的示例是駕駛員監測。在當今的車(chē)輛中，各種各樣的傳感器都能夠檢測到駕駛員是否注意力不集中。神經(jīng)網(wǎng)絡(luò )可以分析拍攝到的駕駛員圖像，以判斷他或她是否在睡覺(jué)、處于疲倦狀態(tài)、注意力不集中，甚至通過(guò)移動(dòng)設備講話(huà)或發(fā)信息。這對于早期的自動(dòng)駕駛車(chē)輛來(lái)說(shuō)是至關(guān)重要的信息，因為它可能需要駕駛員在某些時(shí)候重新控制車(chē)輛，因為汽車(chē)需要知道駕駛員是否處于合適的狀態(tài)才能這樣做。

駕駛員監測是如何工作的？對準駕駛員面部的攝像頭為分析面部元素（尤其是眼睛）的算法提供了輸入。是睜著(zhù)眼睛還是閉著(zhù)眼睛？如果是閉著(zhù)眼睛，閉眼多長(cháng)時(shí)間？眼神是否飄忽不定？駕駛員正在看向哪里？

研究整個(gè)面部可以確定駕駛員是生氣還是悲傷。如果是憤怒，系統會(huì )建議駕駛員先靠邊停車(chē)并冷靜下來(lái)，然后再繼續行駛。

所有這些都是基于構建一個(gè)面部圖像，提取關(guān)鍵點(diǎn)并使用神經(jīng)網(wǎng)絡(luò )提取情緒、注視時(shí)間等來(lái)判斷駕駛員的精神狀態(tài)。

在未來(lái)的兩三年內，駕駛員監測可能會(huì )成為必須從歐洲新車(chē)評估計劃（NCAP）和美國國家高速公路通行安全管理局（NHTSA）獲得批準的一項要求，因此駕駛員監測會(huì )成為汽車(chē)制造商必須要實(shí)施的技術(shù)，不僅要適用于高端汽車(chē)，還要適用于所有車(chē)輛。

自動(dòng)駕駛的等級

美國汽車(chē)工程師學(xué)會(huì )（SAE）和美國高速公路交通安全管理局已將自動(dòng)駕駛汽車(chē)的能力分為六個(gè)等級?；旧?，等級0完全沒(méi)有自動(dòng)化，而在等級1中，汽車(chē)將為駕駛員提供一些幫助。等級2具有更多的駕駛輔助功能，甚至可以自主執行一些任務(wù)，例如自動(dòng)緊急制動(dòng)以避免碰撞。

等級3是一個(gè)棘手的問(wèn)題，雖然汽車(chē)是自動(dòng)駕駛，但駕駛員必須隨時(shí)準備駕駛車(chē)輛。駕駛員監測將是等級3自動(dòng)駕駛的關(guān)鍵，因為駕駛員必須做好干預的準備，并且在一定程度上，車(chē)輛有責任確保駕駛員做好準備。

在等級4中，即使駕駛員可以接手車(chē)輛駕駛，但從理論上講，車(chē)輛也可以處理它所處現場(chǎng)的所有情況。等級5的車(chē)輛將實(shí)現全自動(dòng)化，沒(méi)有方向盤(pán)和踏板。

車(chē)輛自動(dòng)駕駛性能每提高一個(gè)級別，所需的計算性能就會(huì )增加大約十倍。這就是為什么神經(jīng)網(wǎng)絡(luò )很重要的原因，因為它們可以在非常低的功耗下提供這種性能。

目標檢測

以一個(gè)行人為例，汽車(chē)的車(chē)載攝像頭和傳感器可以記錄行人是在行走或站立；神經(jīng)網(wǎng)絡(luò )可被用于繪制行人可能要走的路線(xiàn)，并計算車(chē)輛是否需要減速或快速制動(dòng)。神經(jīng)網(wǎng)絡(luò )還可以觀(guān)察同一幅圖像并對其進(jìn)行分割，從中挑選出其他物體，并應用目標識別技術(shù)來(lái)判斷出它們是否代表了車(chē)輛需要注意的東西。所有這些都必須把車(chē)輛的位置以及它想要去的地方納入考慮之中，如果車(chē)輛正在倒車(chē)，并檢測到在車(chē)輛后面有一個(gè)小孩，就需要迅速處理并進(jìn)行剎車(chē)。要做到這一點(diǎn)，就需要人工智能和神經(jīng)網(wǎng)絡(luò )來(lái)查看那里是否有物體存在，并對其進(jìn)行識別認出是一個(gè)孩子，然后向執行器或駕駛員發(fā)送一個(gè)信號，以采取措施。

由于攝像頭通常會(huì )帶有某種魚(yú)眼鏡頭，因此這將使其變得更加復雜。這會(huì )產(chǎn)生一張變形的圖片，需要先矯正然后進(jìn)行解讀。來(lái)自這個(gè)設備以及其他傳感器的輸入需要結合起來(lái)，從而在瞬間做出決策。

數據處理

與此同時(shí)，來(lái)自汽車(chē)周?chē)钠渌畔⒁苍丛床粩嗟乇凰瓦_，包括來(lái)自于所有傳感器的以及從其他車(chē)輛或基礎設施通過(guò)無(wú)線(xiàn)通信接收到的信息。這是一個(gè)巨大的數據量，可能在太字節（terabyte）范圍內。

ECU將遍布汽車(chē)各處，并根據數據做出決策。這可能會(huì )涉及到100個(gè)或者更多的ECU。業(yè)界正在使用一些方法來(lái)研究如何用更少的ECU和更多的計算能力來(lái)實(shí)現這一點(diǎn)。攝像頭或傳感器旁邊的嵌入式人工智能可以做出一些決定，從而減少車(chē)輛需要傳遞的信息。

這意味著(zhù)需要不同等級的處理方式。數據可以在捕獲點(diǎn)進(jìn)行預處理，例如拉直魚(yú)眼鏡頭的圖像。中間處理可能包括各種已計劃的任務(wù)、目標識別、決策制定等。之后可以進(jìn)行后處理，當信息可以被清理整齊并顯示在屏幕上時(shí)，讓駕駛員就知道正在發(fā)生什么或已經(jīng)發(fā)生了什么。

應用

這些數據處理技術(shù)也被用于創(chuàng )建當前正在開(kāi)發(fā)的應用，以在車(chē)內創(chuàng )建虛擬環(huán)視車(chē)身支撐柱。在此用例中，將在支撐柱（連接車(chē)頂和車(chē)身的支撐柱）上安裝攝像頭來(lái)捕獲車(chē)外發(fā)生的事情。支撐柱的內部將提供一個(gè)顯示器，以顯示這些攝像頭正在捕獲的內容，從而為駕駛員提供一個(gè)不間斷的視場(chǎng)。

這個(gè)過(guò)程非常難以實(shí)現。系統必須了解駕駛員正在查看的另一側是什么情景。圖片將需要修正變形并放置在不平整或彎曲的表面上，然后重新變形到支撐柱的輪廓上。

盡管這一進(jìn)步是未來(lái)的趨勢，但一些高端車(chē)輛已經(jīng)提供了環(huán)繞視圖系統，并且它們很快將應用于中檔和入門(mén)級車(chē)輛。GPU被用于分析遍布車(chē)輛周?chē)母鱾€(gè)攝像頭所捕獲的圖像（通常有四個(gè)或五個(gè)攝像頭），并將圖像拼接在一起。根據拼接的圖像，神經(jīng)網(wǎng)絡(luò )將執行目標檢測和路徑預測，以查看這些目標是否有可能攔擋車(chē)輛的路徑。

信息娛樂(lè )和導航

在車(chē)載信息娛樂(lè )系統（IVI）和導航方面，GPU也起著(zhù)重要作用。它們還參與語(yǔ)音控制，這很可能成為人與車(chē)之間的關(guān)鍵接口。因此，對于衛星導航系統來(lái)說(shuō)，駕駛員不必操作按鈕和鍵盤(pán)來(lái)輸入目的地，而是只需說(shuō)出郵政編碼或街道名字，然后就可要求系統繪制出路線(xiàn)。

儀表盤(pán)將被連接到外部攝像頭，以用于路標識別等操作。如果攝像頭捕捉到一個(gè)限速的標志，該標志可以在有效的時(shí)間內顯示在駕駛員面前；如果汽車(chē)超過(guò)限速，就會(huì )發(fā)出聲響警告。

實(shí)際上，整個(gè)儀表顯示區將使用GPU進(jìn)行圖像渲染和信息優(yōu)先級排序。如果系統確定駕駛員需要了解一些關(guān)鍵信息，該信息可能會(huì )從儀表顯示區中彈出，甚至可以投射到擋風(fēng)玻璃上。擋風(fēng)玻璃上的圖像也可以被用作導航系統的一部分，向駕駛員顯示正確的轉彎方向或說(shuō)明汽車(chē)在即將到來(lái)的路口需要駛入哪條車(chē)道。

后視鏡的換代是另一個(gè)主要的、潛在的發(fā)展方向。一些新型汽車(chē)已經(jīng)在開(kāi)發(fā)中，其上的后視鏡已被可顯示來(lái)自不同攝像頭視圖的屏幕取代。與傳統的后視鏡一樣，除了顯示車(chē)后發(fā)生的情況之外，它們還可被用于盲點(diǎn)檢測。在此，神經(jīng)網(wǎng)絡(luò )可以向駕駛員發(fā)出關(guān)于有關(guān)其無(wú)法看到的汽車(chē)的警告，并自動(dòng)阻止汽車(chē)變道進(jìn)入另一輛汽車(chē)的路線(xiàn)。

智慧城市

世界各國的各地政府正在朝著(zhù)一個(gè)長(cháng)期目標邁進(jìn)，那就是讓智慧城市擁有自動(dòng)駕駛和高度自動(dòng)化的車(chē)輛，并將其集成到覆蓋整個(gè)城鎮或城市的智能交通系統中。

其背后的理念是，所有的城市服務(wù)和規劃工作都是相互協(xié)調和聯(lián)系的，以便讓市民獲得更多的信息，讓城市生活更愉快，更重要的是更加健康。為實(shí)現這一目標，減少污染和交通擁堵至關(guān)重要。

智能交通系統將控制整個(gè)城市的交通基礎設施。該基礎設施將與車(chē)輛進(jìn)行通信，交通信號燈和車(chē)輛也將相互通信，并將收集到的數據發(fā)送回去。

這方面的一個(gè)實(shí)例就是控制交通信號燈，使車(chē)輛暢通無(wú)阻地以最佳速度通過(guò)一個(gè)區域。如果緊急服務(wù)車(chē)輛需要快速駛入，則可以使用這些相同的交通信號燈來(lái)阻止其他道路使用者，并為他們創(chuàng )建一條安全的道路。

如果一地發(fā)生交通堵塞，車(chē)輛可以將此信息傳遞給基礎設施；反過(guò)來(lái)，基礎設施又可以通知其他車(chē)輛遠離該區域，這樣就不會(huì )增加問(wèn)題的嚴重性，以便交通堵塞可以被更快地被清除。這甚至可以被用于城市以外的地方，例如在高速公路的入口匝道上。如果系統已經(jīng)從反向行駛的汽車(chē)中獲悉了備用信息，它可以在駕駛員駛入高速公路之前對其發(fā)出警告，從而使他們能夠考慮其他路線(xiàn)。

為了實(shí)現這一目標，城市將需要有一個(gè)中央智能樞紐，該中樞可以處理傳入的信息并計算哪些數據要發(fā)送給其他車(chē)輛或交通信號燈。這只有在結合了神經(jīng)網(wǎng)絡(luò )、人工智能、機器學(xué)習和先進(jìn)算法之后才能實(shí)現。

結論

NHTSA的研究發(fā)現：高度自動(dòng)化的車(chē)輛將比由人類(lèi)駕駛的車(chē)輛更加安全，94％的事故是由人為失誤造成的?；贏(yíng)I的技術(shù)在響應能力和識別需要快速響應的威脅方面已經(jīng)優(yōu)于人類(lèi)駕駛。

為了實(shí)現這些車(chē)輛所需的處理能力，將需要NNA和GPU配合使用。隨著(zhù)汽車(chē)行業(yè)轉向全自動(dòng)駕駛汽車(chē)，計算能力將需要被大幅提升，NNA將應需而扮演重要角色。據估計，一輛等級5自動(dòng)駕駛汽車(chē)需要的計算能力是等級1自動(dòng)駕駛汽車(chē)的10,000倍。

這是處理性能的極大提高，但也必須在一個(gè)給定的功耗預算內完成。一個(gè)神經(jīng)網(wǎng)絡(luò )加速器（NNA）的性能已經(jīng)是中央處理器（CPU）的100到800倍，而其成品封裝卻比CPU大小小很多。一輛車(chē)可能有一個(gè)很大的CPU，同時(shí)還有許多NNA遍布于車(chē)輛各處，并以比同樣遍布車(chē)輛各處的CPU低得多的功耗和更高的性能來(lái)執行各種任務(wù)。

Imagination Technologies提供了GPU和NNA硅知識產(chǎn)權（IP）。其應用在數字儀表盤(pán)中的技術(shù)比任何競爭對手都要多，并且公司在先進(jìn)駕駛員輔助系統（ADAS）和自動(dòng)駕駛汽車(chē)市場(chǎng)中也處于領(lǐng)先地位。賦能自動(dòng)駕駛汽車(chē)實(shí)用化所需的所有要素都將取決于這些技術(shù)，而這些技術(shù)成為現實(shí)只是時(shí)間問(wèn)題。