芯片大佬領(lǐng)銜，攻英偉達漏洞

最近，芯片界傳奇人物、處理器設計大佬、Tenstorrent 現任首席執行官吉姆·凱勒（Jim Keller）在接受采訪(fǎng)時(shí)表示，英偉達沒(méi)有很好地服務(wù)于很多市場(chǎng)，因此，Tenstorrent 和其它新創(chuàng ) AI 處理器研發(fā)公司是有機會(huì )的。

Jim Keller 曾任職于多家大牌企業(yè)，包括 AMD，英特爾、蘋(píng)果和特斯拉。1998~1999 年，Jim Keller 在 AMD 主導了支撐速龍系列處理器的 K7/K8 架構開(kāi)發(fā)工作，2008~2012 年，在蘋(píng)果牽頭研發(fā)了 A4、A5 處理器，2012~2015 年，在 AMD 主持 K12 Arm 項目和 Zen 架構項目，2016~2018 年，在特斯拉研發(fā) FSD 自動(dòng)駕駛芯片，2018~2020 年，在英特爾參與了神秘項目。

現在，Jim Keller 在 Tenstorrent 領(lǐng)導 AI 處理器的開(kāi)發(fā)，可以為英偉達昂貴的 GPU 提供價(jià)格合理的替代品，英偉達的 GPU 每個(gè)售價(jià) 20,000 ~ 30,000 美元或更多，Tenstorrent 稱(chēng)，其 Galaxy 系統的效率是英偉達 DGX 的 3 倍，成本低 33%。做高性能 AI 應用處理器的產(chǎn)品替代是 Tenstorrent 工作的一部分，但不是全部，該公司的業(yè)務(wù)宗旨是服務(wù)英偉達未能解決的市場(chǎng)痛點(diǎn)，尤其是在邊緣計算領(lǐng)域。

邊緣計算 AI 地位提升

隨著(zhù)海量數據持續增加，以及對計算和存儲系統實(shí)時(shí)性和安全性要求的提升，數據中心已經(jīng)不能滿(mǎn)足市場(chǎng)和客戶(hù)的需求，市場(chǎng)要求相關(guān)軟硬件系統提供商找到更快捷的方式來(lái)服務(wù)客戶(hù)，以提高運營(yíng)效率并降低成本。在邊緣運行 AI 工作負載的邊緣到云解決方案有助于滿(mǎn)足這一需求，將算力放在靠近數據創(chuàng )建點(diǎn)的網(wǎng)絡(luò )邊緣，對于要求近乎實(shí)時(shí)的應用至關(guān)重要，在本地設備上處理算法和數據等，而不是將這些工作負載傳送到云或數據中心。

隨著(zhù) 5G 和物聯(lián)網(wǎng)的發(fā)展，AI 芯片在邊緣運算領(lǐng)域的應用前景十分廣闊，例如，自動(dòng)駕駛汽車(chē)、智慧城市等場(chǎng)景，都需要在終端裝置上進(jìn)行實(shí)時(shí)的 AI 推理。為此，多家廠(chǎng)商紛紛推出了專(zhuān)用于邊緣推理的 AI 芯片。

在制造業(yè)，本地運行的 AI 模型可以快速響應來(lái)自傳感器和攝像頭的數據，以執行重要任務(wù)。例如，汽車(chē)制造商使用計算機視覺(jué)掃描裝配線(xiàn)，以在車(chē)輛離開(kāi)工廠(chǎng)之前識別車(chē)輛的潛在缺陷。在這樣的應用中，非常低的延遲和始終在線(xiàn)的要求使得在整個(gè)網(wǎng)絡(luò )中來(lái)回傳送數據變得不切實(shí)際。即使是少量的延遲也會(huì )影響產(chǎn)品質(zhì)量。另外，低功耗設備無(wú)法處理大的 AI 工作負載，例如訓練計算機視覺(jué)系統所依賴(lài)的模型。從邊緣到云的整體解決方案結合了兩端的優(yōu)勢，后端云為復雜的 AI 工作負載提供可擴展性和處理能力，前端邊緣設備將數據和分析緊密地結合在一起，以最大限度地減少延遲。

以 Arduino 低功耗邊緣設備為例，許多這類(lèi)設備的成本不到 100 美元，用戶(hù)可以組合運行機器學(xué)習模型的幾臺或數千臺設備。例如，一家農業(yè)企業(yè)使用 Arduino 解決方案來(lái)最大限度地提高作物產(chǎn)量，方案涉及傳感器，這些傳感器為邊緣設備提供土壤濕度和風(fēng)況等數據，以確定作物所需的水量。該技術(shù)可以幫助農民避免過(guò)度澆水，并降低電動(dòng)水泵的運行成本。

再例如，一家依賴(lài)精密車(chē)床的制造商將傳感器與 Arduino 設備結合使用，以檢測異常情況，如微小的振動(dòng)，這些振動(dòng)預示著(zhù)設備很可能出現問(wèn)題。對于企業(yè)來(lái)說(shuō)，定期維護比遇到導致生產(chǎn)停止的意外故障更具成本效益。

以上這些應用顯示出邊緣計算的價(jià)值和作用，從目前的應用發(fā)展情況來(lái)看，這樣的應用需求越來(lái)越多，對智能化控制的需求也在增加，這就是邊緣 AI 的價(jià)值所在。而像英偉達這樣的企業(yè)，其 GPU 等高性能芯片主要關(guān)注的是云計算和數據中心市場(chǎng)的 AI 服務(wù)器，對邊緣 AI 市場(chǎng)很少關(guān)注?；诖?，Tenstorrent 等 AI 芯片公司就有機會(huì )了。

更多 AI 芯片公司挑戰英偉達

隨著(zhù)各路玩家競相投入，AI 芯片市場(chǎng)呈現百家爭鳴之勢。據統計，2019 年全球 AI 芯片新創(chuàng )公司數量就已經(jīng)超過(guò) 80 家，總融資額超過(guò) 35 億美元。研究機構預估，到 2025 年，ASIC 將在 AI 芯片市場(chǎng)中占據 43% 的比重，GPU 占 29%，FPGA 占 19%，CPU 占 9%。

一批 AI 芯片新創(chuàng )公司正在崛起，前文提到的 Tenstorrent 就是典型代表；Cerebras Systems 則打造了有史以來(lái)最大的芯片 WSE（Wafer Scale Engine），搭載了 1.2 兆個(gè)晶體管，讓 AI 運算達到了前所未有的規模；明星公司 Groq 則由前 Google 工程師創(chuàng )立，專(zhuān)注于打造用于 AI 推理的低功耗處理器。

這里要介紹一下 Tenstorrent 的技術(shù)和產(chǎn)品，它特別看重低功耗，更適合邊緣 AI 應用。據日經(jīng)新聞報道，Tenstorrent 有望在 2024 年底發(fā)布其第二代多用途 AI 處理器，但沒(méi)有透露處理器的名稱(chēng)。根據該公司 2023 年秋天發(fā)布的路線(xiàn)圖，打算發(fā)布其 Black Hole 獨立 AI 處理器和 Quasar 低功耗、低成本芯片。

早些年，但擔任 Tenstorrent 公司 CTO 的時(shí)候，Jim Keller 就很看好低功耗的 RISC-V 架構，其團隊基于此自研了 Ascalon CPU。據悉，該公司的新一代 Black Hole AI 芯片是基于 SiFive 的 X280 RISC-V 核設計開(kāi)發(fā)的。

Tenstorrent 表示，即將推出的處理器之所以具有高效率和更低的成本，很重要的一個(gè)原因是避免使用高帶寬內存（HBM），改用了 GDDR6，這對于為 AI 推理設計的入門(mén)級 AI 處理器來(lái)說(shuō)是很匹配的。也就是說(shuō)，該公司的 AI 芯片架構對內存帶寬的消耗低于競爭對手，因此成本較低。

雖然 Tenstorrent 尚未搶占 AI 處理器市場(chǎng)的重要份額，但該公司具有成本效益且可擴展的 AI 解決方案，可以滿(mǎn)足英偉達無(wú)法觸及的多種應用需求。不止 Tenstorrent，多家新創(chuàng ) AI 芯片公司也將在未來(lái)幾個(gè)季度推出類(lèi)似應用的·AI 芯片產(chǎn)品?？傊?，不與英偉達正面競爭，越來(lái)越多的 AI 市場(chǎng)新進(jìn)入者更看重那些沒(méi)有被「綠色團隊」占據的市場(chǎng)。

AI 芯片的創(chuàng )新一直在進(jìn)行著(zhù)，除了算力的提升，AI 芯片在架構、功耗、整合度等方面還有很大的優(yōu)化空間。例如，通過(guò)先進(jìn)的封裝技術(shù)，多個(gè) AI 芯片可緊密整合，可大幅提升系統帶寬和能效。AI 專(zhuān)用的內存技術(shù)，如 HBM、壓縮內存等，也將得到更廣泛的應用。

挑戰英偉達生態(tài)系統

除了芯片技術(shù)創(chuàng )新，AI 的生態(tài)系統建設也很重要。英偉達的 CUDA 平臺經(jīng)過(guò)多年發(fā)展，已經(jīng)形成了龐大的開(kāi)發(fā)者社區和豐富的軟件資源，這是其競爭力的重要保證。

其他廠(chǎng)商也紛紛跟進(jìn)，圍繞自己的 AI 芯片建構生態(tài)系統，爭取開(kāi)發(fā)者的支持。Google 推出了基于 TPU 的 TensorFlow 深度學(xué)習框架，并開(kāi)源了相關(guān)代碼；AMD 收購了 Xilinx；英特爾推出了 OneAPI 開(kāi)發(fā)工具套件，試圖統一 CPU、GPU 和 AI 加速器的程序開(kāi)發(fā)接口。

Arm、英特爾、高通、三星等合作組建了統一加速基金會(huì ) (UXL)，目標之一就是取代英偉達的方案。

在 AI 系統當中，芯片互聯(lián)技術(shù)很關(guān)鍵，特別是數據傳輸帶寬，對系統性能的發(fā)揮起著(zhù)重要作用。英偉達在這方面一直在建設自家生態(tài)，該公司最新的 Blackwell GPU 在多芯片互連、網(wǎng)絡(luò )互連方面，將使用新推出的 NVLink 標準協(xié)議，在數據中心網(wǎng)絡(luò )中，英偉達使用的是自家的 InfiniBand 總線(xiàn)。

對于英偉達這種封閉的生態(tài)系統，Jim Keller 很看不慣，他是開(kāi)放技術(shù)的忠實(shí)擁躉，對于那些封閉技術(shù)深?lèi)和唇^。

Jim Keller 提出，英偉達不應該使用私有的 NVLink 標準協(xié)議，應該換成開(kāi)放的以太網(wǎng)標準，他還認為，在數據中心網(wǎng)絡(luò )中，英偉達不該使用 InfiniBand，也應換成以太網(wǎng)，因為 Infiniband 雖然具備低延遲、高帶寬（最高可達 200Gb/s）特性，但以太網(wǎng)能做到 400Gb/s，甚至 800Gb/s。

實(shí)際上，AMD、博通、英特爾、Meta、微軟、甲骨文等巨頭正在合作開(kāi)發(fā)下一代超高速以太網(wǎng) (Utlra Ethernet)，其吞吐量更高，更適合 AI、HPC 應用。

那么，新的以太網(wǎng)技術(shù)能否發(fā)展起來(lái)，并抗衡英偉達的互聯(lián)技術(shù)呢？

2023 年 7 月，多家行業(yè)巨頭成立了超級以太網(wǎng)聯(lián)盟（Ultra Accelerator Link，UALink），旨在與英偉達的 InfiniBand 抗衡。

AMD 正在為 UALink 努力貢獻更廣泛的 Infinity Fabric 共享內存協(xié)議和 GPU 專(zhuān)用 xGMI，所有其他參與者都同意使用 Infinity Fabric 作為加速器互連的標準協(xié)議。英特爾高級副總裁兼網(wǎng)絡(luò )和邊緣事業(yè)部總經(jīng)理 Sachin Katti 表示，由 AMD、Broadcom、Cisco Systems、Google、Hewlett Packard Enterprise、英特爾、Meta Platforms 和 Microsoft 組成的 Ultra Accelerator Link「推廣小組」正在考慮使用以太網(wǎng)的第一層傳輸協(xié)議和 Infinity Fabric 作為將 GPU 內存鏈接到類(lèi)似于 CPU 上的 NUMA 的巨大共享空間的一種方式。

UALink 聯(lián)盟成員相信，系統制造商將創(chuàng )建使用 UALink 的設備，并允許在客戶(hù)構建他們的 Pod 時(shí)將來(lái)自許多參與者的加速器放入這些設備中。您可以有一個(gè)裝有 AMD GPU 的 pod，一個(gè)裝有英特爾 GPU 的 pod，另一個(gè)裝有一些來(lái)自其他廠(chǎng)商的自定義加速器的 pod。該設備可以實(shí)現服務(wù)器設計的通用性，就像 Meta Platforms 和 Microsoft 發(fā)布的開(kāi)放加速器模塊（OAM）規范一樣，系統板上的加速器插槽具備通用性。

據 IDC 統計，在超大規模企業(yè)、云構建者、HPC 中心和大型企業(yè)中，200Gb/s 和 400Gb/s 網(wǎng)絡(luò )的建設已經(jīng)足夠多，InfiniBand 和以太網(wǎng)市場(chǎng)可以同時(shí)增長(cháng)。

以太網(wǎng)無(wú)處不在——邊緣側和數據中心——這與 InfiniBand 不同，后者專(zhuān)門(mén)用于數據中心。IDC 表示，2023 年第三季度，數據中心以太網(wǎng)交換機的銷(xiāo)售額同比增長(cháng)了 7.2%。

在 2022 年第三季度到 2023 年第三季度期間，數據中心以太網(wǎng)交換機的市場(chǎng)規模約為 200 億美元，如果交換占 InfiniBand 收入的一半，那么數據中心以太網(wǎng)交換規模仍比 InfiniBand 交換大 7 倍左右，并且，有越來(lái)越多的 AI 集群遷移到以太網(wǎng)，它們正在蠶食 InfiniBand 的市占率。

IDC 表示，在以太網(wǎng)交換機市場(chǎng)的非數據中心部分，銷(xiāo)售額增長(cháng)更快，2023 年第三季度增長(cháng)了 22.2%，前三個(gè)季度總共增長(cháng)了 36.5%，因為很多公司升級了園區網(wǎng)絡(luò )。

2023 年第三季度，數據中心、園區和邊緣側的以太網(wǎng)交換機市場(chǎng)規模達到 117 億美元，同比增長(cháng)了 15.8%。配套以太網(wǎng)路由器市場(chǎng)下降了 9.4%，這并不奇怪，因為路由器越來(lái)越多地使用包括交換和路由功能的商用芯片構建。

在數據中心，200Gb/s 和 400Gb/s 以太網(wǎng)交換機的銷(xiāo)售額同比增長(cháng)了 44%，端口出貨量同比增長(cháng)了 63.9%。數據中心、邊緣側和園區的 100Gb/s 以太網(wǎng)交換機的銷(xiāo)售額增長(cháng)了 6%。

結語(yǔ)

英偉達在云計算和數據中心 AI 系統方面的優(yōu)勢非常明顯，無(wú)論是芯片行業(yè)巨頭，還是新創(chuàng )公司，要想在這一賽道與英偉達 PK，難度很大，特別是新創(chuàng )公司，前些年以英偉達 GPU 為競品，走同一賽道的幾家小公司，日子過(guò)得都不太好，有的甚至在破產(chǎn)邊緣。只有 AMD、英特爾這樣的大廠(chǎng)可以在同一賽道與英偉達玩一玩。

云計算和數據中心 AI 賽道不好追，那就主攻低功耗、低成本的邊緣側應用市場(chǎng)，這也是一個(gè)很大的市場(chǎng)，且發(fā)展空間廣闊，而目前市場(chǎng)上對口、適用的芯片又不多。在這種情況下，誰(shuí)動(dòng)手早，盡快拿出實(shí)用的產(chǎn)品，誰(shuí)就能在未來(lái)競爭中占得先機。

除了 AI 芯片，互聯(lián)技術(shù)和標準也是一個(gè)很有潛力的投資方向，而且在數據中心和邊緣側都有機會(huì )。英偉達的互聯(lián)和總線(xiàn)技術(shù)不可能面面俱到，隨著(zhù) AI 技術(shù)不斷滲透到各行各業(yè)，以及各個(gè)性能、功耗和成本應用層級，芯片和系統互聯(lián)的發(fā)展空間會(huì )越來(lái)越大，大大小小的公司都在摩拳擦掌。