英偉達打臉AMD：H100在軟件加持下，AI性能比MI300X快47%！

12月14日消息，AMD于本月初推出了其最強的AI芯片Instinct MI300X，其8-GPU服務(wù)器的AI性能比英偉達H100 8-GPU高出了60%。對此，英偉達于近日發(fā)布了一組最新的H100與MI300X的性能對比數據，展示了H100如何使用正確的軟件提供比MI300X更快的AI性能。

根據AMD此前公布的數據顯示，MI300X的FP8/FP16性能都達到了英偉達（NVIDIA）H100的1.3倍，運行Llama 2 70B和FlashAttention 2 模型的速度比H100均快了20%。在8v8 服務(wù)器中，運行Llama 2 70B模型，MI300X比H100快了40%；運行Bloom 176B模型，MI300X比H100快了60%。

但是，需要指出的是，AMD在將MI300X 與 英偉達H100 進(jìn)行比較時(shí)，AMD使用了最新的 ROCm 6.0 套件中的優(yōu)化庫（可支持最新的計算格式，例如 FP16、Bf16 和 FP8，包括 Sparsity等），才得到了這些數字。相比之下，對于英偉達H100則并未沒(méi)有使用英偉達的 TensorRT-LLM 等優(yōu)化軟件加持情況下進(jìn)行測試。

AMD對于英偉達H100測試的隱含聲明顯示，使用vLLM v.02.2.2推理軟件和英偉達DGX H100系統，Llama 2 70B查詢(xún)的輸入序列長(cháng)度為2048，輸出序列長(cháng)度為128。

而英偉達最新公布的對于DGX H100（帶有8個(gè)NVIDIA H100 Tensor Core GPU，帶有80 GB HBM3）測試，帶有公開(kāi)的NVIDIA TensorRT LLM軟件，v0.5.0用于Batch-1，v0.6.1用于延遲閾值測量。工作量詳細信息與腳注與AMD之前的測試相同。

結果顯示，與 AMD展示的MI300X 8-GPU服務(wù)器性能相比，英偉達DGX H100 服務(wù)器在使用優(yōu)化的軟件加持后，速度提高了 2 倍多，相比 AMD MI300X 8-GPU 服務(wù)器快了47%。

DGX H100 可以在1.7 秒內處理單個(gè)推理任務(wù)。為了優(yōu)化響應時(shí)間和數據中心吞吐量，云服務(wù)為特定服務(wù)設置了固定的響應時(shí)間。這使他們能夠將多個(gè)推理請求組合成更大的“Batch”，并增加服務(wù)器每秒的總體推理次數。MLPerf 等行業(yè)標準基準測試也使用此固定響應時(shí)間指標來(lái)衡量性能。

響應時(shí)間的微小權衡可能會(huì )導致服務(wù)器可以實(shí)時(shí)處理的推理請求數量產(chǎn)生不確定因素。使用固定的 2.5 秒響應時(shí)間預算，英偉達DGX H100 服務(wù)器每秒可以處理超過(guò) 5 個(gè) Llama 2 70B 推理，而B(niǎo)atch-1每秒處理不到一個(gè)。

顯然，英偉達使用這些新的基準測試是相對公平的，畢竟AMD也使用其優(yōu)化的軟件來(lái)評估其GPU的性能，所以為什么不在測試英偉達H100時(shí)也這樣做呢？

要知道英偉達的軟件堆棧圍繞CUDA生態(tài)系統，經(jīng)過(guò)多年的努力和開(kāi)發(fā)，在人工智能市場(chǎng)擁有非常強大的地位，而AMD的ROCm 6.0是新的，尚未在現實(shí)場(chǎng)景中進(jìn)行測試。

根據AMD之前透露的信息顯示，其已經(jīng)與微軟、Meta等大公司達成了很大一部分交易，這些公司將其MI300X GPU視為英偉達H100解決方案的替代品。

AMD最新的Instinct MI300X預計將在2024年上半年大量出貨，但是，屆時(shí)英偉達更強的H200 GPU也將出貨，2024下半年英偉達還將推出新一代的Blackwell B100。另外，英特爾也將會(huì )推出其新一代的AI芯片Gaudi 3。接下來(lái)，人工智能領(lǐng)域的競爭似乎會(huì )變得更加激烈。

編輯：芯智訊-浪客劍