Inflection AI宣布放棄英偉達GPU，轉投英特爾Gaudi 3懷抱！

10月8日消息，近日人工智能（AI）技術(shù)公司Inflection AI宣布其最新的企業(yè)平臺將放棄采用英偉達（Nvidia）的GPU，轉而使用英特爾的Gaudi 3 加速器。

英特爾對此表示：“雖然 Inflection AI 的 Pi 客戶(hù)應用程序以前在英偉達GPU上運行，但 Inflection 3.0 將由英特爾Gaudi 3 提供支持，部署在英特爾 Tiber AI Cloud 提供的云中實(shí)例上?！?/p>

資料顯示，Inflection AI 成立于 2022 年，最初是一家AI大模型開(kāi)發(fā)廠(chǎng)商，開(kāi)發(fā)了一款名為 Pi 的對話(huà)式個(gè)人助理。然而，在今年春天，其主要創(chuàng )始人 Mustafa Suleyman 和 Karén Simoniyan 離開(kāi) Microsoft 后，這家初創(chuàng )公司已將重點(diǎn)轉移到使用其數據為企業(yè)構建定制的微調模型。

這家初創(chuàng )公司平臺的最新版本 Inflection 3.0 旨在使用他們自己的專(zhuān)有數據集對其模型進(jìn)行微調，目標是構建整個(gè)企業(yè)特定的 AI 應用程序。英特爾公司本身也將成為首批采用 Inflection 3.0服務(wù)的客戶(hù)之一，而這或許也是推動(dòng)讓Inflection放棄英偉達GPU，轉向采用英特爾Gaudi 3 加速器的原因。

雖然 Inflection 3.0將在英特爾Gaudi 3 加速器上運行，但Inflection AI公司不會(huì )馬上建立自己獨立的系統。與托管在亞馬遜Azure 中的 Inflection 2.5 類(lèi)似，最新版本將在英特爾的 Tiber AI Cloud 服務(wù)上運行。Inflection AI公司計劃從 2025 年第一季度開(kāi)始，提供基于英特爾 AI 加速器的物理系統。

雖然 Inflection AI正在使用 Gaudi 3 加速器來(lái)支持其企業(yè)平臺，但并不意味著(zhù)客戶(hù)只能使用 Gaudi 3 加速器來(lái)運行他們完成的模型。

AI 模型和軟件開(kāi)發(fā)并不便宜，但與所需的硬件加速器相比，還是要低很多。比如一個(gè)英偉達H100 GPU大約就需要30000美元，而英特爾的Gaudi 3 則要便宜很多，只要15000美元左右。

資料顯示，Gaudi 3基于臺積電5nm工藝，擁有 8 個(gè)矩陣數學(xué)引擎、64 個(gè)張量?jì)群恕?6MB SRAM（每個(gè)Tile 48MB，可提供12.8 TB/s的總帶寬） 和 128 GB HBM2e 內存，16 個(gè) PCIe 5.0 通道和 24 個(gè) 200GbE 鏈路 。在計算核心的周?chē)?，則是八個(gè)HBM2e內存堆棧，總容量為128 GB，帶寬為3.7 TBps。擁有 1,835 teraFLOPS 的密集 FP8 或 BF16 性能。

英特爾官方公布的數據顯示，Gaudi 3 在流行的大語(yǔ)言模型（LLM）訓練速度方面，比英偉達H100平均快了40%；在流行大模型的推理能效表現上，比如英偉達H100領(lǐng)先50%。英特爾 Gaudi 3 與英偉達 H100 在相同節點(diǎn)數量下，相關(guān)大模型訓練時(shí)間對比上最高快了1.7倍，其中，LLAMA2 70 億參數對比有 1.5 倍于 H100 的優(yōu)勢，LLAMA2 130 億參數最高有 1.7 倍的優(yōu)勢，GPT-3 1750 億參數有 1.4 倍優(yōu)勢。在大模型推理速度表現上，Gaudi 3 相比 H100 平均快了1.5倍，最高快了4倍。

雖然Gaudi 3的 FP8性能與 H100 大致相當，但在 BF16精度下，它提供的密集浮點(diǎn)性能幾乎是H100的兩倍，這對 Inflection 所針對的訓練和微調工作負載產(chǎn)生了很大的影響。至少在紙面上，Gaudi 3 不僅有望在訓練和推理方面比 英偉達H100 更快，而且成本更低。

“通過(guò)在英特爾Gaudi 3上運行 Inflection 3.0，我們看到性?xún)r(jià)比提高了 2 倍...與目前的競爭產(chǎn)品相比?！癐nflection AI 首席執行官肖恩·懷特 （Sean White）本周一在一篇博客文章中寫(xiě)道。

值得一提的是，IBM 也計劃將對 Gaudi 3 的支持擴展到其 watsonx AI 平臺。英特爾此前也曾宣布，該Gaudi 3 加速器已經(jīng)向戴爾科技和超威電腦（Supermicro）等OEM 發(fā)貨。

從明年開(kāi)始，Gaudi 將讓位于名為 Falcon Shores 的 GPU，它將英特爾的 Xe 圖形計算技術(shù)與 Habana 的技術(shù)融合在一起，從而導致有關(guān)遷移路徑的問(wèn)題是可以理解的。

英特爾堅持認為，對于在 PyTorch 等高級框架中編碼的客戶(hù)，后續向 Falcon Shores的遷移將大部分是無(wú)縫的。對于那些在較低級別構建 AI 應用程序的人，英特爾已承諾在 Falcon Shores 首次亮相之前提供額外的指南。

編輯：芯智訊-浪客劍