英特爾首次提交至強CPU Max系列MLPerf測試結果,以極高準確度脫穎而出

今日，MLCommons公布針對 60 億參數大語(yǔ)言模型及計算機視覺(jué)與自然語(yǔ)言處理模型GPT-J的 MLPerf推理v3.1 性能基準測試結果，其中包括英特爾所提交的基于Habana? Gaudi?2 加速器、第四代英特爾?至強?可擴展處理器，以及英特爾?至強? CPU Max 系列的測試結果。該結果顯示了英特爾在A(yíng)I推理方面極具競爭力的表現，并進(jìn)一步加強了其對加速從云到網(wǎng)絡(luò )到邊緣再到端的工作負載中大規模部署AI的承諾。

英特爾執行副總裁兼數據中心與人工智能事業(yè)部總經(jīng)理Sandra Rivera表示：“正如最新的 MLCommons結果顯示，我們擁有強大的、具有競爭力的人工智能產(chǎn)品組合以滿(mǎn)足客戶(hù)對高性能、高效率的深度學(xué)習推理及訓練的需求，同時(shí)，針對各種規模的人工智能模型，英特爾產(chǎn)品組合均具有領(lǐng)先的性?xún)r(jià)比優(yōu)勢?！?/p>

根據6月披露的MLCommons AI訓練結果和Hugging Face性能基準測試驗證，Gaudi2 在先進(jìn)的視覺(jué)語(yǔ)言模型上，性能可以超越英偉達的H100處理器，而今天的結果進(jìn)一步證明了英特爾能夠提供滿(mǎn)足AI計算需求的、英偉達H100和A100的唯一可行的替代方案。

考慮到客戶(hù)的個(gè)性化需求，英特爾正在通過(guò)能夠幫助解決AI工作負載中推理與訓練問(wèn)題的產(chǎn)品，讓AI無(wú)處不在。英特爾的AI產(chǎn)品為客戶(hù)提供了可根據各自性能、效率及目標成本進(jìn)行靈活匹配以獲取最佳AI解決方案的理想選擇，同時(shí)亦幫助客戶(hù)開(kāi)放生態(tài)系統。

關(guān)于Habana Gaudi2的測試結果：

Habana Gaudi2 在GPT-J模型上的推理結果強有力地驗證了其具有競爭力的性能。

●   Gaudi2 在GPT-J-99 和GPT-J-99.9 上的服務(wù)器查詢(xún)和離線(xiàn)樣本的推理性能分別為78.58 次/秒和84.08 次/秒。

●   與英偉達H100相比，Gaudi2提供了令人信服的卓越性能，H100相對于Gaudi2僅表現出 1.09 倍（服務(wù)器）和 1.28 倍（離線(xiàn)）的輕微性能優(yōu)勢。

●   Gaudi2 擁有高于英偉達A100 2.4 倍（服務(wù)器）、 2 倍（離線(xiàn)）的性能。

●   Gaudi2 提交的結果采用 FP8數據類(lèi)型，并在這種新數據類(lèi)型上達到了 99.9% 的準確率。

隨著(zhù)每6-8周公布的 Gaudi2 軟件更新，英特爾將繼續在 MLPerf 基準測試中展現其產(chǎn)品的性能提升，以及持續擴大的模型覆蓋范圍。

Habana Gaudi2 在GPT-J模型上的推理結果驗證了其具有競爭力的性能

關(guān)于第四代至強可擴展處理器的測試結果：

英特爾提交了基于第四代英特爾至強可擴展處理器的7個(gè)推理基準測試，其中包括GPT-J模型。結果顯示，包括視覺(jué)、語(yǔ)言處理、語(yǔ)音和音頻翻譯模型，以及更大的 DLRM v2 深度學(xué)習推薦模型及ChatGPT-J 模型在內，第四代至強處理器對于通用 AI 工作負載擁有出色的性能。此外，截至目前，英特爾仍是唯一一家使用行業(yè)標準的深度學(xué)習生態(tài)系統軟件提交公開(kāi) CPU 結果的廠(chǎng)商。

●   第四代英特爾至強可擴展處理器是通過(guò)流行的AI框架與庫構建及部署通用AI工作負載的理想選擇。對于GPT-J對約 1000-1500 字新聞稿進(jìn)行100 字總結的任務(wù)，第四代至強可擴展處理器可在離線(xiàn)模式下完成每秒兩段的總結提要，在實(shí)時(shí)服務(wù)器模式下完成每秒一段的總結提要。

●   英特爾首次提交了英特爾至強CPU Max 系列的MLPerf 結果，該系列可提供高達64 GB的高帶寬內存。對于 GPT-J而言，它是僅有的能夠達到 99.9% 準確度的 CPU，這對于對精度要求極高的應用來(lái)說(shuō)至關(guān)重要。

●   英特爾與OEM廠(chǎng)商合作提交了測試結果，進(jìn)一步展示了其AI性能的可擴展性，以及基于英特爾至強處理器的通用服務(wù)器的可獲取性，充分滿(mǎn)足客戶(hù)服務(wù)水平協(xié)議 (SLA)。

第四代至強可擴展處理器是構建及部署通用AI工作負載的理想選擇

MLPerf 是業(yè)內享有盛名的 AI 性能基準測試，旨在實(shí)現公平、可重復的產(chǎn)品性能比較。英特爾計劃為下一個(gè) MLPerf測試提交新的AI訓練性能結果。持續的性能更新彰顯了英特爾致力于幫助客戶(hù)、助力AI技術(shù)演進(jìn)所邁出的每一步，無(wú)論是低成本的AI處理器，還是面向網(wǎng)絡(luò )、云和企業(yè)用戶(hù)的高性能AI硬件加速器或是 GPU。