瑞薩電子推出為無(wú)人駕駛時(shí)代的汽車(chē)運算SoC而打造的低延遲、高性能和低功耗的攝像頭視頻處理電路模塊

　　全球領(lǐng)先的半導體解決方案供應商瑞薩電子株式會(huì )社今日宣布推出用于未來(lái)無(wú)人駕駛汽車(chē)運算系統SoC(SoC)的新型視頻處理電路模塊。

　　無(wú)人駕駛汽車(chē)運算系統SoC應結合車(chē)載信息娛樂(lè )系統和安全駕駛輔助系統兩個(gè)系統的功能，并能對這兩個(gè)系統進(jìn)行平行操作。需特別指出的是，安全駕駛輔助系統必須能夠低延遲地處理來(lái)自車(chē)載攝像頭的視頻數據，并及時(shí)把適當的信息通知駕駛員。車(chē)載信息娛樂(lè )系統和安全駕駛輔助系統的研發(fā)者所面臨的一個(gè)問(wèn)題是需要無(wú)延遲并穩定地處理大量的視頻數據并運行無(wú)人駕駛車(chē)輛的控制功能。

　　新研發(fā)的視頻處理電路模塊用低延遲的方式進(jìn)行車(chē)載攝像頭視頻的處理。它可以低功耗地對大量視頻數據進(jìn)行實(shí)時(shí)視頻處理，并不對CPU和圖形處理單元(GPU)增加任何額外的負荷，這有利于對無(wú)人駕駛車(chē)輛的控制。瑞薩采用16納米FinFET工藝研發(fā)出新的視頻處理電路模塊原型。除了車(chē)載攝像頭視頻的70 ms延時(shí)處理功能，它還提供了業(yè)內領(lǐng)先的僅197 mW功耗的全高清12路視頻處理功能。

　　最近，預示未來(lái)將出現無(wú)人駕駛車(chē)輛的車(chē)載信息娛樂(lè )系統(如汽車(chē)導航系統和高級駕駛員輔助系統(ADAS))已取得顯著(zhù)的進(jìn)展，讓這些系統更有可能成為結合車(chē)載信息娛樂(lè )系統和安全駕駛輔助系統兩者功能的汽車(chē)運算系統。

　　安全駕駛輔助系統預計將在從車(chē)載攝像頭傳輸過(guò)來(lái)的視頻的基礎上進(jìn)行認知處理，如識別障礙、監測駕駛員的狀態(tài)及預測和避免危險。隨著(zhù)如瑞薩的R-Car T2車(chē)載攝像頭網(wǎng)絡(luò )SoC等設備的出現，我們可以預見(jiàn)從車(chē)載攝像頭傳輸過(guò)來(lái)的視頻數據將被編碼形成視頻流，而安全駕駛輔助系統則必須解碼所接收到的視頻流。為了正確地使用廣角攝像頭提供的圖像進(jìn)行認知處理，必須對視頻數據進(jìn)行處理以校正失真。視頻處理要求實(shí)現低延遲功能，使這一系統能夠及時(shí)地把適當的信息通知駕駛員。

　　另一方面，車(chē)載信息娛樂(lè )系統能夠與多種設備和服務(wù)交互操作(包括智能電話(huà)和云服務(wù))，因此系統中被輸入大量外部視頻信號源的數據。同時(shí)，配備多個(gè)內部顯示器(包括后座監視器)的車(chē)輛變得越來(lái)越普遍。這意味著(zhù)該系統必須能夠處理同時(shí)顯示的多個(gè)視頻信號。車(chē)載信息娛樂(lè )系統必須具有足夠的實(shí)時(shí)處理和顯示大量的視頻數據的性能。

　　新研發(fā)的視頻處理電路模塊能夠低延遲地解碼車(chē)載攝像頭傳輸過(guò)來(lái)的視頻流并進(jìn)行失真校正。它實(shí)時(shí)并低功耗地進(jìn)行汽車(chē)運算系統所要求的復雜的視頻處理，但并不對承擔認知處理任務(wù)的CPU和GPU增加任何額外負荷。

　　新研發(fā)技術(shù)的主要特點(diǎn)：

　　· (1)與流水線(xiàn)操作相結合，對視頻處理器進(jìn)行同步操作以實(shí)現70 ms延時(shí)視頻解碼和失真校正

　　視頻編解碼處理基本上由解析處理和圖像處理構成，其中解析處理的處理性能取決于編碼數據流的量，圖像處理的處理性能取決于圖像分辨率。新型視頻處理電路模塊采用一個(gè)用于解析處理的流處理器和一個(gè)用于圖像處理的編解碼處理器來(lái)實(shí)現視頻編碼和解碼。由于車(chē)載信息娛樂(lè )系統所處理的典型視頻流數據的大小在不同視頻幀之間差異較大，因此處理性能取決于解碼數據流大小的流處理器所需的處理時(shí)間在不同視頻幀之間也差異很大。另一方面，處理性能取決于圖像分辨率的編解碼器所需的處理時(shí)間在每個(gè)視頻幀中都是相同的。因此，必須對流處理器和編解碼處理器進(jìn)行異步操作，但這會(huì )導致嚴重的延時(shí)從而產(chǎn)生問(wèn)題。

　　新研發(fā)的視頻處理電路模塊設有同步運行模式，該模式利用了流處理器和編解碼處理器之間的FIFO，并能夠在視頻幀間隔之間處理大致相同量的視頻流數據，與安全駕駛輔助系統所期望的情況相同。它還設有一個(gè)機制，在這個(gè)機制中每當視頻幀處理期間完成一個(gè)16行的或其倍數的處理時(shí)，編解碼處理器就會(huì )輸送一個(gè)中斷到CPU，從而允許失真校正在稍后的階段內開(kāi)啟而無(wú)須等到視頻幀處理完全結束。這一同步操作和不完全視頻幀流水線(xiàn)操作的結合實(shí)現了從視頻流的接收到視頻解碼和失真校正的完成僅為70 ms的低延遲(比采用28納米工藝的現有瑞薩設備降低了40%)。

　　· (2)汽車(chē)運算系統優(yōu)化后的六種不同類(lèi)型的17個(gè)視頻處理器，提供業(yè)內領(lǐng)先的全高清12路性能

　　新型視頻處理電路模塊集成了六種不同類(lèi)型的17個(gè)視頻處理器，在不對CPU和GPU增加任何額外負荷的情況下實(shí)現實(shí)時(shí)和低功耗的視頻處理。流處理器和編解碼處理器處理視頻編碼和解碼，渲染處理器進(jìn)行失真校正，視頻處理器進(jìn)行一般的圖像處理，混合處理器進(jìn)行圖像合成，顯示處理器進(jìn)行屏幕上圖像顯示的處理。各視頻處理器通過(guò)多級總線(xiàn)相互連接。

　　視頻處理電路模塊原型采用尖端的16納米FinFET工藝制作并由這些視頻處理器組成，經(jīng)過(guò)對這一模塊原型的評估，證明其實(shí)現了真正業(yè)內領(lǐng)先的全高清12路的性能(比采用28納米工藝的瑞薩現有設備提高了約3倍)。

　　· (3)兩種類(lèi)型的數據壓縮的結合，即無(wú)損壓縮和有損壓縮，以業(yè)內領(lǐng)先的197 mW低功耗減少50%的內存帶寬、實(shí)現全高清12路處理

　　當進(jìn)行全高清12路視頻所需的大規模視頻處理時(shí)，數據訪(fǎng)問(wèn)是存儲器性能瓶頸和功耗的主要來(lái)源。此外，在汽車(chē)運算系統中有必要將視頻處理所占用的存儲器帶寬最小化，避免對CPU和GPU的認知處理產(chǎn)生干擾。避免對必須保持較高安全級別的安全駕駛輔助系統造成影響是至關(guān)重要的。

　　由此，存儲在存儲器中的圖像數據被壓縮以減少存儲器帶寬使用率。無(wú)損壓縮不會(huì )改變在較大硅片中的像素值和結果，而有損壓縮會(huì )改變在較小的硅片中的像素值和結果，因此針對圖像處理的特性，用一種適當的方式使用無(wú)損壓縮和有損壓縮，就有可能在一個(gè)典型的視頻處理流程中減少50%的存儲器帶寬。特別是，當訪(fǎng)問(wèn)較小的存儲器模塊時(shí)存儲器訪(fǎng)問(wèn)效率會(huì )降低，這意味著(zhù)存儲器帶寬并沒(méi)有被有效降低，為了避免DDR存儲器的這一特有問(wèn)題，高速緩存被用于視頻解碼，這就包括對小數據模塊的大量訪(fǎng)問(wèn)。這使得增加DDR存儲器的訪(fǎng)問(wèn)容量和減少70%的有效存儲器帶寬成為可能。對采用尖端的16納米FinFET工藝制作的原型進(jìn)行評估的結果顯示，降低存儲器帶寬能夠減少20%的功耗，這與總線(xiàn)上的數據處理量成正比，實(shí)現了真正業(yè)內領(lǐng)先的197 mW全高清12路功耗(比采用28納米工藝的現有瑞薩設備降低了60%)。

　　新研發(fā)的視頻處理電路模塊可在不對CPU和GPU增加任何額外負荷的情況下進(jìn)行海量視頻處理，這將使它實(shí)現具實(shí)時(shí)性能、低功耗和低延時(shí)的車(chē)載信息系統和安全駕駛輔助系統相結合的汽車(chē)運算系統。瑞薩計劃將新的視頻處理電路模塊加入其未來(lái)的汽車(chē)運算系統SoC，有助于讓駕車(chē)體驗更安全、更方便。

　　2月1日，瑞薩在2016年1月31日至2月4日舊金山舉行的國際固態(tài)電路會(huì )議(ISSCC)上發(fā)表了這一技術(shù)。在演示環(huán)節，瑞薩通過(guò)播放全高清12路視頻內容、伴隨存儲器帶寬降低率的實(shí)時(shí)顯示，展示了裝有采用新型視頻處理電路模塊的SoC的測試板的處理性能。