Imagination性能高達600TOPS的終極AI加速器：會(huì )給NVIDIA帶來(lái)多少挑戰者？

曾經(jīng)統治手機GPU IP市場(chǎng)的Imagination，歷經(jīng)變動(dòng)之后，目前在移動(dòng)GPU IP市場(chǎng)占有率有36%，汽車(chē)GPU IP市占率43%。近來(lái)，Imagination近期發(fā)布的一系列新品不僅是其實(shí)力的展現，也足以讓同行們增加對這位老對手的關(guān)注。

11月13日，Imagination發(fā)布了耗時(shí)兩年研發(fā)的最新的第三代神經(jīng)網(wǎng)絡(luò )加速器（NNA）產(chǎn)品IMG Series4，其全新的多核架構可提供600 TOPS（每秒萬(wàn)億次操作）甚至更高的超高性能，主要面向先進(jìn)駕駛輔助系統（ADAS）和自動(dòng)駕駛應用。

以低功耗產(chǎn)品見(jiàn)長(cháng)Imagination推出高性能的終極AI加速器，會(huì )給在自動(dòng)駕駛汽車(chē)芯片市場(chǎng)占有領(lǐng)導地位的NVIDIA多大的沖擊？

耗時(shí)兩年打造的終極AI加速器

Imagination在A(yíng)I火熱的2017年推出首代神經(jīng)網(wǎng)絡(luò )加速器（NNA）PowerVR 2NX，單核性能從1TOPS到4.1TOPS。緊接著(zhù)，2018年P(guān)owerVR 3NX發(fā)布，單核性能從0.6TOPS到10TOPS，多核產(chǎn)品性能從20TOPS到160TOPS。

性能增強的同時(shí)，Imagination的NNA主要面向的市場(chǎng)也從2NX時(shí)的移動(dòng)設備和汽車(chē)市場(chǎng)，進(jìn)一步拓展到智能相機監控、消費電子（尤其是數字電視）、低功耗IoT智能設備領(lǐng)域。

時(shí)隔兩年之后，Imagination才推出第三代NNA產(chǎn)品4NX。4NX系列的單核性能進(jìn)一步提升，每個(gè)單核能以不到1瓦的功耗提供12.5TOPS的性能。相比前兩代NNA，新一代產(chǎn)品強調的是全新多核架構，這個(gè)新的多核架構支持在多個(gè)內核之間對工作負載進(jìn)行靈活的分配和同步，從而實(shí)現更高性能。

Imagination Technologies產(chǎn)品管理部門(mén)總監Gilberto Rodriguez介紹：“我們的軟件提供了精細的控制能力，并通過(guò)對多個(gè)工作負載進(jìn)行批處理、拆分和調度而提高了靈活性，可以在任意數量的內核上使用。Series4可為每個(gè)集群配置 2個(gè)、4個(gè)、6個(gè)或者8個(gè)內核。1個(gè)8內核的集群可以提供100TOPS的算力，配有6個(gè)8核集群的解決方案就可以提供600 TOPS的算力?！?/strong>

據悉，在A(yíng)I推理方面，Series4 NNA的性能比嵌入式GPU快20倍以上，比嵌入式CPU快1000倍。

至于為什么要推出如此高性能的AI加速器，Gilberto Rodriguez表示，“ADAS和自動(dòng)駕駛對芯片有很高的算力需求，比如L2+的駕駛員檢測或語(yǔ)音/手勢控制需要10TOPS的性能，L3-L4級別的自動(dòng)駕駛有50-100TOPS的性能需求，L5級別的自動(dòng)駕駛性能需求超過(guò)500TOPS?！?/p>

“雖然市場(chǎng)上已經(jīng)有滿(mǎn)足自動(dòng)駕駛需求的AI芯片，但功耗不夠理想。所以，我們花兩年時(shí)間去了解和評估客戶(hù)需求，基于我們的前兩代低功耗的產(chǎn)品，推出了高性能低功耗的4NX系列產(chǎn)品，并且將自動(dòng)駕駛作為主打市場(chǎng)，也可以應用于數據中心和桌面級GPU?！? Imagination Technologies視覺(jué)和人工智能部門(mén)高級總監Andrew Grant表示。

600TOPS的高性能如何兼顧低功耗？

需要指出的是，4NX系列的8內核集群要實(shí)現100TOPS的性能，超過(guò)30 TOPS/Watt 的性能功耗比，以及超過(guò)12 TOPS/mm^2 的性能密度是要在5nm節點(diǎn)實(shí)現。

Gilberto Rodriguez也提到，如果要用多個(gè)集群實(shí)現更高算力，Imagination可以提供多集群的協(xié)同機制，但也需要客戶(hù)在應用層進(jìn)行一些設計。

多核靈活架構帶來(lái)的可擴展性讓4NX可以實(shí)現高性能，但對于高性能芯片而言，功耗的控制也非常關(guān)鍵，特別是AI芯片。AI芯片需要處理大量的數據，并且數據的搬運耗費的功耗遠大于數據處理，因此，高性能AI芯片必須想辦法盡量減少數據的搬運，同時(shí)降低延遲和節省帶寬。

對于延遲的降低，Imagination采用的方法是單核組成2核、4核、6核或8核的多核集群中，所有內核可以相互協(xié)作，并行處理一個(gè)任務(wù)，降低處理延遲，縮短響應時(shí)間。當然，集群中和多核既可以共同執行一個(gè)批處理任務(wù)，也可以分別運行各自不同的網(wǎng)絡(luò )，也就是各個(gè)內核能夠獨立運行。

核數的增加帶來(lái)性能提升的同時(shí)降低延遲

不同的核獨立運行

4NX更大的亮點(diǎn)在于其節省帶寬的Tensor Tiling（ Imagination’s Tensor Tiling，ITT）技術(shù)，這是Imagination正在申請專(zhuān)利的技術(shù)，也是4系列中新增的功能。Tensor Tiling技術(shù)利用本地數據的依賴(lài)性將中間數據保存在片上存儲器中，最大限度地減少將數據傳輸至外部存儲器，相比上代產(chǎn)品，將帶寬降低多達90％。

具體而言，神經(jīng)網(wǎng)絡(luò )的多層以融合內核的形式運行在加速器的硬件流水線(xiàn)里，融合內核之間的特征圖（Feature Map）需要通過(guò)外部存儲進(jìn)行交換。Tiling技術(shù)是充分利用緊耦合的 SRAM 來(lái)融合更多的層，更多的層被融合之后，就減少了需要通過(guò)外部存儲交換的特征圖，進(jìn)而達到提升效率，節省帶寬的目的。

還需要說(shuō)明一下Tensor Tiling技術(shù)中的批處理和拆分，批處理是分配適合批處理的大量的小型網(wǎng)絡(luò )任務(wù)到每個(gè)獨立工作的NNA單核，能夠提升并行處理能力。拆分則是任務(wù)在多個(gè)維度被拆分，所有NNA單核共同執行一個(gè)推理任務(wù)，減少網(wǎng)絡(luò )推理延遲的同時(shí)，在理想情況下協(xié)同并行處理的吞吐量與獨立并發(fā)處理的相同，非常適合網(wǎng)絡(luò )層很大的網(wǎng)絡(luò )。

當然，Tensor Tiling的拆分是通過(guò)Imagination提供的編譯器來(lái)完成，不需要開(kāi)發(fā)者手動(dòng)完成，并且利用NNA的性能分析工具能夠對AI任務(wù)進(jìn)行更好地調度和分配。

那Tensor Tiling在節省帶寬的同時(shí)能否減少數據的搬移？Gilberto Rodriguez表示，“答案是肯定的。一方面，Tensor Tiling讓待處理數據通過(guò)內存帶寬的傳輸減少，另一方面，重復利用的神經(jīng)網(wǎng)絡(luò )權重給處理器核的傳輸次數也減少，這讓就可以有效減少數據搬運?！?/p>

硬件上層的工具鏈方面，Imagination的離線(xiàn)和在線(xiàn)工具組成的工作流程可以讓開(kāi)發(fā)者更快實(shí)現部署。

NVIDIA在自動(dòng)駕駛領(lǐng)域將迎來(lái)新對手？

NVIDIA在2015年就推出了車(chē)載計算平臺，此后持續迭代，目前在自動(dòng)駕駛芯片市場(chǎng)已經(jīng)處于優(yōu)勢地位。不過(guò)，擅長(cháng)桌面級GPU的NVIDIA能夠提供高性能，但功耗可能對于電池供電的電動(dòng)汽車(chē)不夠友好。這也是在對功耗要求比較嚴格的移動(dòng)端有優(yōu)勢的Imagination的機會(huì )所在。

與NVIDIA有所不同，Imagination是IP提供商，并不會(huì )直接提供芯片。因此，Imagination可以與領(lǐng)先的汽車(chē)行業(yè)顛覆者、一級供應商、整車(chē)廠(chǎng)（OEM）和汽車(chē)系統級芯片（SoC）廠(chǎng)商合作，推出有競爭力的產(chǎn)品。為了幫助合作伙伴更好進(jìn)入這一市場(chǎng)更快推出車(chē)規級產(chǎn)品，此次推出的NX4還包含IP級別的安全功能且設計流程符合ISO 26262標準。ISO 26262是旨在解決汽車(chē)電子產(chǎn)品風(fēng)險的行業(yè)安全標準。

新推出的4系列NNA可以在不影響性能的情況下，安全地進(jìn)行神經(jīng)網(wǎng)絡(luò )推理。硬件安全機制可以保護編譯后的網(wǎng)絡(luò )、網(wǎng)絡(luò )的執行和數據處理管道。

Andrew Grant透露，已經(jīng)開(kāi)始提供授權，并將于2020年12月在市場(chǎng)上全面供應。授權的客戶(hù)目前已經(jīng)不止一家。

這就意味著(zhù)，自動(dòng)駕駛芯片市場(chǎng)將會(huì )迎來(lái)更多有競爭力的產(chǎn)品。雷鋒網(wǎng)認為，Imagination更強的GPU和NNA產(chǎn)品組合將會(huì )幫助更多想要進(jìn)入這一市場(chǎng)的公司推出更有競爭力的產(chǎn)品。上個(gè)月，Imagination發(fā)布了最新一代的IMG B系列高性能GPU IP，這款多核架構GPU IP 4個(gè)系列內核有33種配置。

更通用的GPU和更專(zhuān)用的AI加速器，顯然可以給高性能計算帶來(lái)更多的選擇。有意思的是，NVIDIA目前也擁有性能強勁的GPU和AI加速Tensor Core的組合。

ABI Research預計，到2027年左右，對ADAS的需求將增長(cháng)兩倍，但汽車(chē)行業(yè)已然將目光投向了更遠的全自動(dòng)駕駛汽車(chē)和自動(dòng)駕駛出租車(chē)，從L2和L3級ADAS向L4和L5級全自動(dòng)駕駛演進(jìn)的過(guò)程中，高性能、低延遲和高能效的結合將是關(guān)鍵所在。

巨大的市場(chǎng)機會(huì )之下，兩家芯片產(chǎn)品優(yōu)勢類(lèi)似的公司，會(huì )如何競爭？