RISC-V 在 AI 計算的前景

近日，Semidynamics 首席執行官 Roger Espasa 討論了該公司的高性能、可配置 RISC-V IP，該 IP 強調內存帶寬和針對 AI 和 HPC 的定制。他重點(diǎn)介紹了他們的 

近日，Semidynamics 首席執行官 Roger Espasa 討論了該公司的高性能、可配置 RISC-V IP，該 IP 強調內存帶寬和針對 AI 和 HPC 的定制。他重點(diǎn)介紹了他們的 Gazzillion Misses 延遲處理 IP、集成張量單元，并專(zhuān)注于實(shí)際性能而非基準測試。Espasa 認為 RISC-V 正在超越 Arm，在標準化與靈活性之間取得平衡，并預測 AI 和 chiplet 的采用將發(fā)生轉變。

其解決方案范圍從獨立的 CPU 內核到圍繞張量、矢量和 CPU 組合構建的一體化設計（包括 NPU）。Semidynamics 的主要差異化因素之一是其對內存帶寬和定制化的重視。Gazzillion TLB（翻譯后備緩沖器）和可配置內存子系統等功能使設計人員能夠根據特定工作負載調整處理器，尤其是針對 AI 和數據密集型應用。

在接受 JPR 的 David Harold 采訪(fǎng)時(shí)，Semidynamics 首席執行官 Roger Espasa 談到了該公司的 RISC-V IP 以及他對 RISC-V 未來(lái)的展望。

Espasa 表示，「我們大約在 2017 年開(kāi)始創(chuàng )業(yè)。頭兩年專(zhuān)注于服務(wù)，為一家美國初創(chuàng )公司設計 RISC-V 芯片。之后，我們決定開(kāi)發(fā)自己的 IP。到 2020-2022 年，我們的技術(shù)已經(jīng)準備就緒，并且我們確保了全球客戶(hù)對我們的矢量技術(shù)感興趣?！?/p>

「我們是第一個(gè)推出 RISC-V 大型向量單元的公司，也是第一個(gè)將無(wú)序向量單元與無(wú)序核心相結合的公司。這在 HPC 中尤為重要，而 HPC 現已與 AI 融合。HPC 和 AI 之間的界限已經(jīng)消失。轉向 AI 的客戶(hù)表示，他們喜歡矢量單元，但需要更多操作。因此，我們開(kāi)發(fā)并開(kāi)源了完全符合 RISC-V 的張量指令。這些指令目前正在 RISC-V 工作組中推進(jìn)。我們的目標是幫助客戶(hù)使用簡(jiǎn)單的、僅 RISC-V 軟件堆棧部署 AI，確保我們的解決方案在 AI 發(fā)展過(guò)程中仍然可行?！?/p>

RISC-V 內部似乎正在向標準化轉變，配置文件確保兼容性，同時(shí)允許進(jìn)行一些定制。您是這樣認為的嗎？

Espasa 表示:「定制是 RISC-V 成功的關(guān)鍵，盡管一些競爭對手似乎對此猶豫不決。配置文件很有用——它們?yōu)檐浖?yōu)化提供了基礎，并充分利用了多年的開(kāi)發(fā)成果，就像 Linux 一樣。

但是，如果 RISC-V 是純標準化的，為什么不直接使用 Arm 呢？RISC-V 的吸引力在于通過(guò)定制提供額外的性能。訣竅是在標準化與靈活性之間取得平衡——利用配置文件，同時(shí)添加客戶(hù)特定的增強功能而不破壞兼容性?！?/p>

您的架構支持多種配置，從張量核心到矢量核心。這如何讓您與競爭對手脫穎而出？

Espasa：「許多人認為計算僅限于筆記本電腦、智能手機或數據中心，但處理器無(wú)處不在——汽車(chē)、網(wǎng)關(guān)、電視。這些應用程序需要專(zhuān)門(mén)的優(yōu)化，而這正是 RISC-V 的優(yōu)勢所在。

我們專(zhuān)注于高效傳輸數據，而不是追求峰值基準測試分數。SPECint 或 Dhrystone 等傳統 CPU 基準測試都很好，但我們優(yōu)先考慮實(shí)際工作負載，例如 McCalpin 的 Stream 基準測試，它可以測量?jì)却鎺捓寐??！?/p>

Gazzillion 技術(shù)有何不同？

Espasa：「Gazzillion 允許單核實(shí)現內存帶寬最大化。一位客戶(hù)原本預計需要四個(gè)核心，但很高興只用一個(gè)核心就能實(shí)現同樣的性能，從而簡(jiǎn)化設計并縮短上市時(shí)間。

為了實(shí)現這一目標，我們優(yōu)化了整個(gè)管道（從指令重命名到內存請求），確保核心充分利用可用帶寬。如果提供更多帶寬，我們會(huì )相應地進(jìn)行擴展?！?/p>

AI 需要大量數據傳輸，Gazzillion 如何支持 AI 工作負載？

Espasa：「RISC-V 中關(guān)于張量單元有兩種思想流派——一種主張在總線(xiàn)上使用獨立的張量單元，另一種則主張將其集成在核心中。由于我們可以提供高帶寬，因此我們選擇了集成。

獨立張量單元需要復雜的 DMA 編程、同步和數據傳輸。通過(guò)我們的方法，張量單元位于核心內，從而簡(jiǎn)化了 AI 工作負載并降低了軟件復雜性?！?/p>

Ventana 和其他公司正在探索小芯片，部分是為了 IP 強化。Arm 現在也在討論單片設計。您對小芯片和您的商業(yè)模式持什么態(tài)度？

Espasa：「我們的商業(yè)模式是傳統的許可加版稅。

小芯片是一種顯而易見(jiàn)的演進(jìn)，這不一定是因為 Arm 大力推廣，而是因為它們在更接近硅片的地方能獲得更多價(jià)值。有些客戶(hù)無(wú)法承受三年的設計周期，他們更喜歡能在 18 個(gè)月內部署的解決方案。

芯片組還不是一站式解決方案。目前，主要公司（如 Nvidia）正在內部連接自己的芯片組。下一步是讓不同的供應商集成他們的芯片組。在此之前，我們預計客戶(hù)會(huì )將現有的芯片組與 PCIe 或 UCIe 等標準接口集成。我們正在積極開(kāi)展這一領(lǐng)域的工作，但目前還沒(méi)有宣布任何消息?！?/p>

可以采取什么措施來(lái)優(yōu)化電源效率？

Espasa：「你需要優(yōu)化觸發(fā)器、時(shí)鐘門(mén)控和時(shí)鐘樹(shù)。新設計比幾十年來(lái)積累的低效率舊設計更具優(yōu)勢。我們的全新設計可實(shí)現更精簡(jiǎn)的電源管理。此外，我們實(shí)施了積極的電源門(mén)控—在運行張量時(shí)關(guān)閉矢量單元，反之亦然?！?/p>

隨著(zhù) RISC-V 日趨成熟，大規模采用還面臨哪些障礙？

Espasa：「RISC-V 基金會(huì )正在努力開(kāi)發(fā)服務(wù)器領(lǐng)域，由于需要大量規范，該領(lǐng)域非常復雜。AI 標準化是另一個(gè)關(guān)鍵領(lǐng)域——我們需要一種統一的方法來(lái)實(shí)現軟件的可重用性，同時(shí)保持靈活性。RISC-V 已經(jīng)占據了微控制器領(lǐng)域的主導地位。接下來(lái)是手機和筆記本電腦，但這取決于主要參與者是否確保軟件準備就緒，尤其是針對 Android?！?/p>