英特爾AI Gaudi 3 加速器：比 Nvidia H100慢但更便宜

Intel 今天正式推出了適用于 AI 工作負載的 Gaudi 3 加速器。新處理器在 AI 和 HPC 方面的速度比 Nvidia 流行的 H100 和 H200 GPU 慢，因此英特爾將其 Gaudi 3 的成功押注在其較低的價(jià)格和較低的總擁有成本 （TCO） 上。
Intel 的 Gaudi 3 處理器使用兩個(gè)小芯片，其中包含 64 個(gè)張量處理器內核（TPC、256x256 MAC 結構，帶 FP32 累加器）、八個(gè)矩陣乘法引擎（MME，256 位寬矢量處理器）和 96MB 片上 SRAM 緩存，帶寬為 19.2 TB/s。此外，Gaudi 3 還集成了 24 200 GbE 網(wǎng)絡(luò )接口和 14 個(gè)媒體引擎，后者能夠處理 H.265、H.264、JPEG 和 VP9 以支持視覺(jué)處理。該處理器配備 128GB HBM2E 內存，分為八個(gè)內存堆棧，提供 3.67 TB/s 的巨大帶寬。

與 Gaudi 3 相比，英特爾的 Gaudi 2 代表了巨大的改進(jìn)，Gaudi 2 具有 24 個(gè) TPC、兩個(gè) MME 和攜帶 96GB 的 HBM2E 內存。但是，英特爾似乎簡(jiǎn)化了 TPC 和 MME，因為 Gaudi 3 處理器僅支持 FP8 矩陣運算以及 BFloat16 矩陣和向量運算（即不再有 FP32、TF32 和 FP16）。
在性能方面，英特爾表示，Gaudi 3 可以在 600W TDP 左右的情況下提供高達 1856 BF16/FP8 矩陣 TFLOPS 以及高達 28.7 BF16 矢量 TFLOPS。與 Nvidia 的 H100 相比，至少在紙面上，Gaudi 3 的 BF16 矩陣性能略低（1,856 對 1,979 TFLOPS），FP8 矩陣性能低兩倍（1,856 對 3,958 TFLOPS），BF16 矢量性能明顯較低（28.7 對 1,979 TFLOPS）。
比原始規格更重要的是 Gaudi 3 的實(shí)際性能。它需要與 AMD 的 Instinct MI300 系列以及 Nvidia 的 H100 和 B100/B200 處理器競爭。而這還有待觀(guān)察，因為很大程度上取決于軟件和其他因素。目前，英特爾展示了一些幻燈片，聲稱(chēng)與 Nvidia 的 H3 相比，Gaudi 100 可以提供顯著(zhù)的性?xún)r(jià)比優(yōu)勢。
今年早些時(shí)候，英特爾表示，基于基板上八個(gè) Gaudi 3 處理器的加速器套件將花費 125,000 美元，這意味著(zhù)每個(gè)處理器的成本約為 15,625 美元。相比之下，Nvidia H100 卡目前的售價(jià)為 30,678 美元，因此英特爾確實(shí)計劃比其競爭對手擁有很大的價(jià)格優(yōu)勢。然而，由于基于 Blackwell 的 B100/B200 GPU 可能提供的巨大性能優(yōu)勢，這家藍色公司是否能夠保持其相對于競爭對手的優(yōu)勢還有待觀(guān)察。
“對 AI 的需求正在導致數據中心的大規模變革，該行業(yè)正在尋求硬件、軟件和開(kāi)發(fā)人員工具的選擇，”英特爾執行副總裁兼數據中心和人工智能事業(yè)部總經(jīng)理 Justin Hotard 說(shuō)。隨著(zhù)我們推出具有 P-core（性能核）和 Gaudi 3 AI 加速器的 Xeon 6，Intel 正在實(shí)現一個(gè)開(kāi)放的生態(tài)系統，使我們的客戶(hù)能夠以更高的性能、效率和安全性實(shí)施其所有工作負載。
英特爾的 Gaudi 3 AI 加速器將從 IBM Cloud 和 Intel Tiber Developer Cloud 獲得。此外，基于英特爾至強 6 和高迪 3 的系統將于第四季度從戴爾、慧與和 Supermicro 全面上市，戴爾和 Supermicro 的系統將于 10 月發(fā)貨，Supermicro 的機器將于 12 月發(fā)貨。