瑞薩為自動(dòng)駕駛開(kāi)發(fā)車(chē)載SoC，視頻處理延遲時(shí)間僅為70ms

　　日本瑞薩電子與瑞薩系統設計公司為未來(lái)自動(dòng)駕駛開(kāi)發(fā)了車(chē)載計算SoC，并于2016年2月1日在半導體集成電路技術(shù)國際學(xué)會(huì )“ISSCC 2016”上發(fā)表了演講(Session 4.4)。瑞薩還在當天的演示會(huì )上，演示了使用該SoC同時(shí)處理12通道全高清(1980×1080像素、30幀/秒)影像的情況。這是瑞薩車(chē)載信息IC“R-CAR”的第3代產(chǎn)品，預定2018年3月開(kāi)始量產(chǎn)。

　　瑞薩開(kāi)發(fā)的車(chē)載SoC

　　演示會(huì )現場(chǎng)。近處為車(chē)載儀表，遠處為在顯示器上分12個(gè)畫(huà)面顯示了全高清影像。

　　演示時(shí)使用的板卡。據說(shuō)中間的散熱片等部件的下方安裝了此次開(kāi)發(fā)的SoC。

　　據介紹，這款SoC在一個(gè)芯片上集成了ARM的多個(gè)CPU內核、GPU內核以及6種(17個(gè))視頻處理用處理器。瑞薩認為，到2020年前后，汽車(chē)的各種儀表、駕駛輔助系統(ADAS)、音響及多個(gè)顯示器將會(huì )整合在一起，為此而開(kāi)發(fā)了這種可實(shí)現整合的SoC。

　　此次開(kāi)發(fā)的SoC采用16nm FinFET工藝制造。核心電壓為0.8V，工作頻率為400MHz。外置存儲器設想使用LPDDR-3200。

　　設想的使用方法是，利用視頻處理用處理器群來(lái)處理車(chē)載攝像頭等的影像，用于娛樂(lè )用途，同時(shí)面向ADAS以及之后的自動(dòng)駕駛用途，將這些影像數據用于物體識別等。每秒可處理的視頻為7.5億像素。如果是30幀/秒的全高清影像，這相當于約12個(gè)通道的影像。同時(shí)還支持4K影像，只是通道數量少一些。

　　處理延遲減少4成，通過(guò)流水線(xiàn)處理將總延遲時(shí)間縮短至70ms

　　如果只是單純增加像素，也能通過(guò)增加處理器內核數量等方法來(lái)實(shí)現。據瑞薩介紹，此次開(kāi)發(fā)的關(guān)鍵點(diǎn)之一是減少了視頻處理延遲。原因是就連泊車(chē)等低速行駛時(shí)，影像的延遲也必須低于100ms。

　　視頻處理一般首先用流處理器(SP)來(lái)處理壓縮的視頻幀，然后用編解碼處理器(CP)來(lái)進(jìn)行解碼等。以往的視頻處理IC因使用SP進(jìn)行幀處理的時(shí)間各不相同，為了消除這種偏差，SP處理之后需要數幀的緩沖。僅這樣的緩沖就會(huì )導致近100ms的延遲。

　　瑞薩為了解決這一問(wèn)題，對視頻編碼技術(shù)進(jìn)行選擇，讓SP等的處理時(shí)間一定，而且不等每幀的SP處理結束，每隔幾個(gè)像素就將數據移交給CP。由此，SP處理之后就不再需要緩沖了，從而實(shí)現了視頻數據的流水線(xiàn)處理。SP與CP之間的延遲大幅縮短至1ms。據介紹，包括之后的失真補償處理等在內，視頻處理的總體延遲減小到了70ms。

　　不過(guò)，這并不是最終目標。沒(méi)有駕駛員的完全自動(dòng)駕駛最早有望于2020年代后半期開(kāi)始，如果實(shí)現自動(dòng)駕駛，就必須進(jìn)一步大幅縮短處理延遲?！皩?lái)的目標是，通過(guò)減少SP處理之前的幀緩沖時(shí)間等措施，使壓縮視頻數據的處理延遲降至10ms以下”(瑞薩系統設計第一開(kāi)發(fā)事業(yè)部Cockpit業(yè)務(wù)推進(jìn)部第三科首席工程師、在本屆ISSCC發(fā)表演講的望月誠二)。

　　存儲控制器為CPU內核設置了“后門(mén)”

　　該SoC的另一個(gè)關(guān)鍵點(diǎn)是可在SoC向存儲器寫(xiě)入視頻數據時(shí)壓縮數據。比如，如果以非壓縮形式將12通道全高清視頻數據輸入輸出存儲器，用CP進(jìn)行數據編碼及解碼處理時(shí)，需要20GB/秒的帶寬，會(huì )占用存儲帶寬的40%。這樣可能會(huì )對CPU內核及GPU內核負責的物體識別處理產(chǎn)生不良影響。因此，瑞薩通過(guò)在訪(fǎng)問(wèn)存儲器時(shí)壓縮數據，節約了存儲帶寬。

　　不過(guò)，這樣做存在一個(gè)問(wèn)題。那就是CPU內核等使用的視頻數據基本上都是非壓縮的，因此保存在存儲器里的壓縮數據不能直接使用。針對這一點(diǎn)，瑞薩在存儲控制器中設置了壓縮數據的“影子空間(Shadow space)”。CPU內核訪(fǎng)問(wèn)壓縮數據時(shí)，會(huì )訪(fǎng)問(wèn)這一空間，對數據進(jìn)行解壓縮。

　　據介紹，這樣一來(lái)，CP訪(fǎng)問(wèn)存儲器時(shí)的帶寬縮小到了非壓縮時(shí)的30%，其他處理器訪(fǎng)問(wèn)存儲器時(shí)的帶寬則縮小到了非壓縮時(shí)的50%。由此，連接處理器或存儲器的總線(xiàn)的功耗降低了約50%，SoC的總體功耗也減少20%，降至197mW。

　　此次開(kāi)發(fā)還有一個(gè)關(guān)鍵點(diǎn)。那就是這款SoC符合車(chē)載IC故障頻率等的標準“ISO26262”。關(guān)于這一點(diǎn)，瑞薩在ISSCC 2016的Session 4.5上進(jìn)行了介紹。