Imagination GPU為邊緣智能提供高效率的加速

作為奕斯偉計算的重要合作伙伴，Imagination 公司受邀出席了9月10日在北京亦莊舉辦的“2024奕斯偉計算開(kāi)發(fā)者伙伴大會(huì )”，來(lái)自Imagination英國總部的專(zhuān)家在大會(huì )上發(fā)表了主題為《用RISC-V CPU + PowerVR GPU迎接邊緣生成式AI的到來(lái)》的演講。

在人工智能（AI）浪潮中成立的奕斯偉計算一直致力于研究和開(kāi)發(fā)創(chuàng )新的計算架構，并通過(guò)與Imagination這樣的全球領(lǐng)先處理器技術(shù)和IP產(chǎn)品提供商合作，針對多模態(tài)AI大模型技術(shù)帶動(dòng)多元化人工智能應用加速涌現的新需求，開(kāi)發(fā)了面向邊緣智能和AI PC等多種應用場(chǎng)景的EIC77系列芯片。這些AI SoC芯片利用了RISC-V計算架構開(kāi)放、靈活、精簡(jiǎn)、可拓展的優(yōu)勢，結合了該公司自研的NPU以及Imagination的GPU，成為了全球首批可商用的基于RISC-V的高性能、低功耗的邊緣側、端側AI推理芯片。

大會(huì )中，Imagination公司專(zhuān)家介紹了與奕斯偉計算的合作成果：作為奕斯偉計算向全球發(fā)布的EIC77 系列邊緣智能SoC中的一款產(chǎn)品，全新的EIC7700X 器件基于 12nm 工藝，采用了 Imagination 的 IMG A 系列 GPU IP；該 GPU 擁有 128 寬 ALU 單元和專(zhuān)用 AI 處理通道，可提供 0.25 TFLOPS、1 TOPS 和 8 Gpixels 的性能。EIC7700X也搭載了奕斯偉自研的NPU單元，可提供19.95 TOPS INT8、9.975 TOPS INT16、 9.975 FTOPS FP16 算力。EIC7700X為邊緣智能提供了強勁的計算和圖形處理能力，可支持大語(yǔ)言模型，其在深度神經(jīng)網(wǎng)絡(luò )（DNN）推理上的算力高達13.3TOPS INT8，可滿(mǎn)足分類(lèi)、檢測、分割、追蹤等各類(lèi)需求。

談到邊緣計算的應用多元化與架構創(chuàng )新，Imagination公司專(zhuān)家表示：首先，我們需要確保邊緣計算架構能夠進(jìn)行有效的、可持續的擴展，在系統資源、電能和帶寬等資源稀缺，以及不同應用場(chǎng)景對資源需求各不相同的情況下，這一點(diǎn)在邊緣計算領(lǐng)域更為重要。因此，靈活通用的異構計算架構才能確保我們的邊緣智能解決方案不會(huì )因為碎片化而無(wú)法實(shí)現，這要求我們擁有的模型也將是通用的、可持續的，同時(shí)才能保障邊緣系統中內計算核的數量可以合理地縮減以滿(mǎn)足功耗要求。

為了確保足夠的通用性以運行目前的工作負載和未來(lái)的工作負載，就需要對邊緣智能SoC中計劃采用的處理器性能和需求進(jìn)行充分的評估，大家往往首先看的是兩個(gè)潛在的選擇。一個(gè)選擇可以是 NPU或者在Imagination的產(chǎn)品組合中被稱(chēng)為AI，這類(lèi)硬件的每瓦最高性能非常出色，但為了達到更高的性能，使用NPU就需要犧牲一些靈活性。第二種選擇是 GPU，其優(yōu)點(diǎn)是可以提供可編程的、可擴展的硬件加速能力，并可根據應用方向上的需求來(lái)選擇相應的GPU去支持所需渲染和計算能力。

雖然這兩種器件類(lèi)型各有優(yōu)勢，邊緣智能最終需要的是能夠完美適用于應用的、在高性能和可擴展性，定制化和通用化中做出最明智決策的系列解決方案。從我們已有的實(shí)踐和Richard Sutton的《苦澀的教訓》中大家可以看到，人們在邊緣人工智能中希望能夠利用通用的硬件和軟件解決方案，盡量避免使用特定的解決方案，因為人工智能一直在發(fā)展，所有的解決方案都要確保與時(shí)俱進(jìn)。

在確定了要用更加通用的硬件和軟件來(lái)推動(dòng)基礎模型的開(kāi)發(fā)和應用這一方向之后，越來(lái)越多的計算技術(shù)正在加速諸如EIC77這樣的邊緣智能芯片走向更廣泛的應用：一方面，RISC-V正在向機器學(xué)習的核心領(lǐng)域進(jìn)發(fā)，不僅是更多RISC-V CPU廠(chǎng)商在向此方向努力，而且RISC-V的相關(guān)標準也在進(jìn)一步完善，使RISC-V成為進(jìn)入AI領(lǐng)域的一條開(kāi)銷(xiāo)最低的途徑。另一方面，邊緣人工智能軟件也在擺脫其他AI應用受制于CUDA生態(tài)的局限，越來(lái)越多諸如OneAPI這樣的應用程序接口可支持工作負載的開(kāi)發(fā)和運行，以及諸如UXL等行業(yè)組織也提供了將CUDA上的AI工作負載轉化為SYCL為在 GPU 或 CPU 上運行的移植解決方案。

展望未來(lái)，Imagination將繼續支持奕斯偉計算倡導的RISC-V數字基礎設施（RISC-V Digital Infrastructure）生態(tài)，在GPU 被用于越來(lái)越多和越來(lái)越廣泛的工作負載，以及支持越來(lái)越多的基礎模型和算法的同時(shí)，與更多的合作伙伴在邊緣計算、AI PC和AI加速等領(lǐng)域中，共同打造更多高性能的智能產(chǎn)品。