可用于自動(dòng)駕駛的神經(jīng)網(wǎng)絡(luò )及深度學(xué)習

作者/Jeff VanWashenova CEVA 汽車(chē)市場(chǎng)營(yíng)銷(xiāo)主管

　　引言

　　高級輔助駕駛系統(ADAS)可提供解決方案，用以滿(mǎn)足駕乘人員對道路安全及出行體驗的更高要求。諸如車(chē)道偏離警告、自動(dòng)剎車(chē)及泊車(chē)輔助等系統廣泛應用于當前的車(chē)型，甚至是功能更為強大的車(chē)道保持、塞車(chē)輔助及自適應巡航控制等系統的配套使用也讓未來(lái)的全自動(dòng)駕駛車(chē)輛成為現實(shí)。

　　如今，車(chē)輛的很多系統使用的都是機器視覺(jué)。機器視覺(jué)采用傳統信號處理技術(shù)來(lái)檢測識別物體。對于正熱衷于進(jìn)一步提高拓展ADAS功能的汽車(chē)制造業(yè)而言，深度學(xué)習神經(jīng)網(wǎng)絡(luò )開(kāi)辟了令人興奮的研究途徑。為了實(shí)現從諸如高速公路全程自動(dòng)駕駛儀的短時(shí)輔助模式到專(zhuān)職無(wú)人駕駛旅行的自動(dòng)駕駛，汽車(chē)制造業(yè)一直在尋求讓響應速度更快、識別準確度更高的方法，而深度學(xué)習技術(shù)無(wú)疑為其指明了道路。

　　以知名品牌為首的汽車(chē)制造業(yè)正在深度學(xué)習神經(jīng)網(wǎng)絡(luò )技術(shù)上進(jìn)行投資，并向先進(jìn)的計算企業(yè)、硅谷等技術(shù)引擎及學(xué)術(shù)界看齊。在中國，百度一直在此技術(shù)上保持領(lǐng)先。百度計劃在 2019 年將全自動(dòng)汽車(chē)投入商用，并加大全自動(dòng)汽車(chē)的批量生產(chǎn)力度，使其在 2021 年可廣泛投入使用。汽車(chē)制造業(yè)及技術(shù)領(lǐng)軍者之間的密切合作是嵌入式系統神經(jīng)網(wǎng)絡(luò )發(fā)展的催化劑。這類(lèi)神經(jīng)網(wǎng)絡(luò )需要滿(mǎn)足汽車(chē)應用環(huán)境對系統大小、成本及功耗的要求。

　　1輕型嵌入式神經(jīng)網(wǎng)絡(luò )

　　卷積式神經(jīng)網(wǎng)絡(luò )(CNN)的應用可分為三個(gè)階段：訓練、轉化及CNN在生產(chǎn)就緒解決方案中的執行。要想獲得一個(gè)高性?xún)r(jià)比、針對大規模車(chē)輛應用的高效結果，必須在每階段使用最為有利的系統。

　　訓練往往在線(xiàn)下通過(guò)基于CPU的系統、圖形處理器(GPU)或現場(chǎng)可編程門(mén)陣列(FPGA)來(lái)完成。由于計算功能強大且設計人員對其很熟悉，這些是用于神經(jīng)網(wǎng)絡(luò )訓練的最為理想的系統。

　　在訓練階段，開(kāi)發(fā)商利用諸如Caffe(Convolution Architecture For Feature Extraction，卷積神經(jīng)網(wǎng)絡(luò )架構)等的框架對CNN進(jìn)行訓練及優(yōu)化。參考圖像數據庫用于確定網(wǎng)絡(luò )中神經(jīng)元的最佳權重參數。訓練結束即可采用傳統方法在CPU、GPU或FPGA上生成網(wǎng)絡(luò )及原型，尤其是執行浮點(diǎn)運算以確保最高的精確度。

　　作為一種車(chē)載使用解決方案，這種方法有一些明顯的缺點(diǎn)。運算效率低及成本高使其無(wú)法在大批量量產(chǎn)系統中使用。

　　CEVA已經(jīng)推出了另一種解決方案。這種解決方案可降低浮點(diǎn)運算的工作負荷，并在汽車(chē)應用可接受的功耗水平上獲得實(shí)時(shí)的處理性能表現。隨著(zhù)全自動(dòng)駕駛所需的計算技術(shù)的進(jìn)一步發(fā)展，對關(guān)鍵功能進(jìn)行加速的策略才能保證這些系統得到廣泛應用。

　　利用被稱(chēng)為CDNN的框架對網(wǎng)絡(luò )生成策略進(jìn)行改進(jìn)。經(jīng)過(guò)改進(jìn)的策略采用在高功耗浮點(diǎn)計算平臺上(利用諸如Caffe的傳統網(wǎng)絡(luò )生成器)開(kāi)發(fā)的受訓網(wǎng)絡(luò )結構和權重，并將其轉化為基于定點(diǎn)運算，結構緊湊的輕型的定制網(wǎng)絡(luò )模型。接下來(lái)，此模型會(huì )在一個(gè)基于專(zhuān)門(mén)優(yōu)化的成像和視覺(jué)DSP芯片的低功耗嵌入式平臺上運行。圖1顯示了輕型嵌入式神經(jīng)網(wǎng)絡(luò )的生成過(guò)程。與原始網(wǎng)絡(luò )相比，這種技術(shù)可在當今量產(chǎn)型車(chē)輛的有限功率預算下帶來(lái)高性能的神經(jīng)處理表現，而圖像識別精確度降低不到 1%。

　　圖1 CDNN將通過(guò)傳統方法生成的網(wǎng)絡(luò )權重轉化為一個(gè)定點(diǎn)網(wǎng)絡(luò )

　　英文解釋?zhuān)?/p>

　　Network structure 網(wǎng)絡(luò )架構

　　Image database 圖像數據庫

　　Training stage(offline) 訓練階段(離線(xiàn))

　　Network weights 網(wǎng)絡(luò )權值

　　Floating-point Network+weight 浮點(diǎn) 網(wǎng)絡(luò )+權重

　　CEVA Network generator CEVA網(wǎng)絡(luò )生成器

　　Fixed-point customized network+weights 定點(diǎn)定制 網(wǎng)絡(luò )+權重

　　Detection stage(real-time)檢測階段(實(shí)時(shí))

　　一個(gè)由低功耗嵌入式平臺托管的輸入大小為224x224，卷積過(guò)濾器分別為11x11、5x5及3x3的24層卷積神經(jīng)網(wǎng)絡(luò )，其性能表現幾乎是一個(gè)在典型的GPU/CPU綜合處理引擎上運行的類(lèi)似CNN的三倍，盡管其所需的內存帶寬只是后者的五分之一， 且功耗大幅降低。

　　2下一代深度學(xué)習神經(jīng)網(wǎng)絡(luò )

　　汽車(chē)制造業(yè)進(jìn)入神經(jīng)網(wǎng)絡(luò )領(lǐng)域所習得的經(jīng)驗不斷推動(dòng)技術(shù)的發(fā)展，并因此開(kāi)發(fā)出了更先進(jìn)的網(wǎng)絡(luò )架構及更復雜的拓撲，如每級多層拓撲、多入/多出及全卷積網(wǎng)絡(luò )。新推出的重要網(wǎng)絡(luò )類(lèi)型不僅可用來(lái)識別物體，也可用來(lái)識別場(chǎng)景，從而提供用以解決汽車(chē)領(lǐng)域應用程序(如自動(dòng)駕駛功能)所需的圖像分割。當然，中國40家左右的汽車(chē)制造商并不會(huì )在此道路上踽踽獨行。他們會(huì )與百度等技術(shù)公司進(jìn)行密切合作。技術(shù)公司是這些網(wǎng)絡(luò )和架構發(fā)展的核心。CNN網(wǎng)絡(luò )生成器功能的完善也為新的網(wǎng)絡(luò )架構和拓撲提供了支持，如SegNet、GoogLeNet、ResNet等其它網(wǎng)絡(luò )結構以及高級網(wǎng)絡(luò )層(圖2)。此外，一鍵啟用也讓預訓網(wǎng)絡(luò )轉換成優(yōu)化的實(shí)時(shí)網(wǎng)絡(luò )執行更為便捷。為確保給常用的網(wǎng)絡(luò )生成器提供支持，CDNN框架與Caffe、TensorFlow(谷歌的機器學(xué)習軟件庫)都有合作。

　　圖 2網(wǎng)絡(luò )生成器的發(fā)展為新網(wǎng)絡(luò )層及更深的架構提供了支持

　　英文解釋?zhuān)?/p>

　　Typical CNN layer 典型的CNN架構

　　Input 輸入

　　Convolutional stage:affine transform 卷積階段：仿射變換

　　Detector stage:nonlinearity 檢測階段：非線(xiàn)性

　　Pooling stage 統籌階段

　　Normalization stage(optional)正規化階段(可選)

　　Output：feature map 輸出：特征映射

　　由于最新推出的嵌入式處理平臺在可擴展性及靈活性上都有了很大改進(jìn)，因此嵌入式部署也可以利用這些改進(jìn)來(lái)完善自身。由于深度學(xué)習領(lǐng)域的發(fā)展越來(lái)越多樣化，因此擁有一個(gè)不僅能滿(mǎn)足當今處理需求，也具有適應未來(lái)的技術(shù)創(chuàng )新的靈活架構非常重要。

　　3鋪好路

　　第一批神經(jīng)網(wǎng)絡(luò )應用程序將專(zhuān)注于視覺(jué)處理，以支持諸如自動(dòng)行人、交通信號或道路特征識別等功能。由于這些系統的性能不斷改進(jìn)，例如處理越來(lái)越大的來(lái)自高分辨率相機的數據集，因此神經(jīng)網(wǎng)絡(luò )也有望在未來(lái)的汽車(chē)中發(fā)揮更大的作用。這些作用將包括承擔系統中其它復雜的信號處理任務(wù)，例如雷達模塊及語(yǔ)音識別系統。

　　隨著(zhù)神經(jīng)網(wǎng)絡(luò )首次應用于車(chē)載自動(dòng)駕駛系統，(據報道，某些國家將在2019-2020年型的新車(chē)輛中使用神經(jīng)網(wǎng)絡(luò )，)對同時(shí)兼具安全性及可靠性的系統的需求會(huì )越來(lái)越大。中國政府計劃在2021至2025年推出自動(dòng)駕駛車(chē)輛。要讓此類(lèi)系統具備可讓客戶(hù)使用的條件，汽車(chē)制造商必須同時(shí)確保其符合相關(guān)的安全標準，如ISO 26262功能安全性。這需要硬件、軟件及系統的綜合發(fā)展。

　　由于這些系統變得越來(lái)越復雜，因此確保系統可靠安全且能滿(mǎn)足處理需求也成為汽車(chē)制造商所面臨的越來(lái)越大的挑戰。

　　4結論

　　機器學(xué)習神經(jīng)網(wǎng)絡(luò )將沿著(zhù)一條挑戰高效處理性能的發(fā)展道路繼續闊步前進(jìn)。先進(jìn)的神經(jīng)網(wǎng)絡(luò )架構已經(jīng)顯現出優(yōu)于人類(lèi)的識別精確性。用于生成網(wǎng)絡(luò )的最新框架，如 CDNN2，正在推動(dòng)輕型、低功耗嵌入式神經(jīng)網(wǎng)絡(luò )的發(fā)展。這種神經(jīng)網(wǎng)絡(luò )將使目前的高級輔助駕駛系統具有較高的精確性及實(shí)時(shí)處理能力。

　　深度學(xué)習神經(jīng)網(wǎng)絡(luò )在量產(chǎn)型車(chē)輛上的首次使用將限于基本的視覺(jué)識別系統，但最終會(huì )在未來(lái)為自動(dòng)化程度越來(lái)越高的車(chē)輛提供支持，幫助其應對眾多的復雜信號處理的挑戰。