英偉達打臉AMD:H100在軟件加持下,AI性能比MI300X快47%!
12月14日消息,AMD于本月初推出了其最強的AI芯片Instinct MI300X,其8-GPU服務(wù)器的AI性能比英偉達H100 8-GPU高出了60%。對此,英偉達于近日發(fā)布了一組最新的H100與MI300X的性能對比數據,展示了H100如何使用正確的軟件提供比MI300X更快的AI性能。
根據AMD此前公布的數據顯示,MI300X的FP8/FP16性能都達到了英偉達(NVIDIA)H100的1.3倍,運行Llama 2 70B和FlashAttention 2 模型的速度比H100均快了20%。在8v8 服務(wù)器中,運行Llama 2 70B模型,MI300X比H100快了40%;運行Bloom 176B模型,MI300X比H100快了60%。
但是,需要指出的是,AMD在將MI300X 與 英偉達H100 進(jìn)行比較時(shí),AMD使用了最新的 ROCm 6.0 套件中的優(yōu)化庫(可支持最新的計算格式,例如 FP16、Bf16 和 FP8,包括 Sparsity等),才得到了這些數字。相比之下,對于英偉達H100則并未沒(méi)有使用英偉達的 TensorRT-LLM 等優(yōu)化軟件加持情況下進(jìn)行測試。
AMD對于英偉達H100測試的隱含聲明顯示,使用vLLM v.02.2.2推理軟件和英偉達DGX H100系統,Llama 2 70B查詢(xún)的輸入序列長(cháng)度為2048,輸出序列長(cháng)度為128。
而英偉達最新公布的對于DGX H100(帶有8個(gè)NVIDIA H100 Tensor Core GPU,帶有80 GB HBM3)測試,帶有公開(kāi)的NVIDIA TensorRT LLM軟件,v0.5.0用于Batch-1,v0.6.1用于延遲閾值測量。工作量詳細信息與腳注與AMD之前的測試相同。
結果顯示,與 AMD展示的MI300X 8-GPU服務(wù)器性能相比,英偉達DGX H100 服務(wù)器在使用優(yōu)化的軟件加持后,速度提高了 2 倍多,相比 AMD MI300X 8-GPU 服務(wù)器快了47%。
DGX H100 可以在1.7 秒內處理單個(gè)推理任務(wù)。為了優(yōu)化響應時(shí)間和數據中心吞吐量,云服務(wù)為特定服務(wù)設置了固定的響應時(shí)間。這使他們能夠將多個(gè)推理請求組合成更大的“Batch”,并增加服務(wù)器每秒的總體推理次數。MLPerf 等行業(yè)標準基準測試也使用此固定響應時(shí)間指標來(lái)衡量性能。
響應時(shí)間的微小權衡可能會(huì )導致服務(wù)器可以實(shí)時(shí)處理的推理請求數量產(chǎn)生不確定因素。使用固定的 2.5 秒響應時(shí)間預算,英偉達DGX H100 服務(wù)器每秒可以處理超過(guò) 5 個(gè) Llama 2 70B 推理,而B(niǎo)atch-1每秒處理不到一個(gè)。
顯然,英偉達使用這些新的基準測試是相對公平的,畢竟AMD也使用其優(yōu)化的軟件來(lái)評估其GPU的性能,所以為什么不在測試英偉達H100時(shí)也這樣做呢?
要知道英偉達的軟件堆棧圍繞CUDA生態(tài)系統,經(jīng)過(guò)多年的努力和開(kāi)發(fā),在人工智能市場(chǎng)擁有非常強大的地位,而AMD的ROCm 6.0是新的,尚未在現實(shí)場(chǎng)景中進(jìn)行測試。
根據AMD之前透露的信息顯示,其已經(jīng)與微軟、Meta等大公司達成了很大一部分交易,這些公司將其MI300X GPU視為英偉達H100解決方案的替代品。
AMD最新的Instinct MI300X預計將在2024年上半年大量出貨,但是,屆時(shí)英偉達更強的H200 GPU也將出貨,2024下半年英偉達還將推出新一代的Blackwell B100。另外,英特爾也將會(huì )推出其新一代的AI芯片Gaudi 3。接下來(lái),人工智能領(lǐng)域的競爭似乎會(huì )變得更加激烈。
編輯:芯智訊-浪客劍
*博客內容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權請聯(lián)系工作人員刪除。