NVIDIA兩款全新GPU首秀：刷新AI推理紀錄、性能314倍于CPU

　　時(shí)隔半年，MLPerf組織發(fā)布最新的MLPerf Inference v1.0結果，V1.0引入了新的功率測量技術(shù)、工具和度量標準，以補充性能基準，新指標更容易比較系統的能耗，性能和功耗。

　　V1.0版本的基準測試內容云端推理依舊包括推薦系統、自然語(yǔ)言處理、語(yǔ)音識別和醫療影像等一系列工作負載，邊緣AI推理測試則不包括推薦系統。

MLPerf Inference v1.0

　　所有主要的OEM都提交了MLPerf測試結果，其中，在AI領(lǐng)域占有優(yōu)勢地位的NVIDIA此次是唯一一家提交了從數據中心到邊緣所有MLPerf基準測試類(lèi)別數據的公司，并且憑借A100 GPU刷新了紀錄。

　　不僅如此，超過(guò)一半提交成績(jì)的系統都采用了NVIDIA的AI平臺。

　　不過(guò)，初創(chuàng )公司提交其AI芯片推理性能Benchmark的依舊很少。

AI推理最高性能半年提升45%

　　雷鋒網(wǎng)在MLPerf Inference v0.7結果發(fā)布的時(shí)候已經(jīng)介紹過(guò)，NVIDIA去年5月發(fā)布的安培架構A100 Tensor Core GPU在云端推理的基準測試性能是最先進(jìn)英特爾CPU的237倍。

　　經(jīng)過(guò)半年的優(yōu)化，NVIDIA又將推薦系統模型DLRM、語(yǔ)音識別模型RNN-T和醫療影像3D U-Net模型的性能進(jìn)一步提升，提升幅度達最高達45%，與CPU的性能差距也提升至314倍。

　　從架構的角度看，GPU架構用于推理優(yōu)勢并不明顯，但NVIDIA依舊憑借其架構設計配合軟件優(yōu)化刷新了MLPerf AI云端和邊緣推理的Benchmark紀錄。

　　MLPerf的Benchmark證明了A100 GPU性能，但其不菲的售價(jià)也是許多公司難以承受的。

　　今天，更具性?xún)r(jià)比的NVIDIAA30（功耗165W）和A10（功耗150W）GPU也在MLPerf Inference v1.0中首秀。

　　A30 GPU強于計算，支持廣泛的AI推理和主流企業(yè)級計算工作負載，如推薦系統、對話(huà)式AI和計算機視覺(jué)。

　　A10 GPU更側重圖像性能，可加速深度學(xué)習推理、交互式渲染、計算機輔助設計和云游戲為混合型AI和圖形工作負載提供支持?？梢詰糜贏(yíng)I推理和訓練的A30和A10 GPU今年夏天開(kāi)始會(huì )應用于各類(lèi)服務(wù)器中。

A100云端AI推理性能比CPU高314倍

       A100經(jīng)過(guò)半年的優(yōu)化，與CPU的性能差距從v0.7時(shí)最多237倍的差距增加到了最高314倍。

　　具體來(lái)看，在數據中心推理的Benchmark中，在離線(xiàn)（Offline）測試，A100比最新發(fā)布的A10有1-3倍的性能提升，在服務(wù)器（Server）測試中，A100的性能最高是A10的近5倍，在兩種模式下，A30的性能都比A10高。

　　值得注意的是，英特爾本月初最新發(fā)布的第三代至強可擴展CPU Ice Lake的推理性能相比上一代Cooper Lake在離線(xiàn)測試的ResNet-50和SSD-Large模型下有顯著(zhù)提升，但相比A100 GPU體現出17-314倍的性能差距。

　　高通AI 100的云端AI推理在MLPerf Inference v1.0測試下表現不錯，其提交的離線(xiàn)和服務(wù)器測試下的ResNet-50和SSD-Large模型成績(jì)顯示，高通AI 100的推理性能均比NVIDIA新推出的A10 GPU高，其它模型的成績(jì)高通并未提交。

　　從每瓦性能來(lái)看，高通A100在提交成績(jì)的ResNet-50和SSD-Large模型中比A100更高，但性能比A100低。

　　賽靈思的VCK5000 FPGA在圖像分類(lèi)ResNet-50的測試中表現不錯。

Jetson系列是唯一提交所有邊緣推理測試成績(jì)的芯片

　　A系列GPU在云端AI推理的性能優(yōu)勢可以延續至邊緣端。MLPerf的邊緣AI推理Benchmark分為Single-Stream和Multi-Stream，A100 PCIe、A30、A10在Single-Stream的所有模型下都有顯著(zhù)的性能優(yōu)勢，高通A100在ResNet-50模型下也優(yōu)勢明顯，不過(guò)高通也僅提交了這一模型的成績(jì)。

　　這些產(chǎn)品用于邊緣AI推理有些大材小用，NVIDIA的Jetson家族的AGX Xavier和Xavier NX更適合邊緣場(chǎng)景，根據提交的數據，Centaur公司在ResNet-50模型中優(yōu)勢明顯，SSD-Small模型下的性能與Jetson Xavier NX性能相當。

　　邊緣AI推理的Multi-Stream Benchmark，只有NVIDIA提交了成績(jì)，A100 PCIe版本的性能最高是Jetson AGX Xavier和Xavier NX的60倍。

　　在NVIDIA此次提交的結果中，多項是基于Triton推理服務(wù)器，其支持所有主要框架的模型，可在GPU及CPU上運行，還針對批處理、實(shí)時(shí)和串流傳輸等不同的查詢(xún)類(lèi)型進(jìn)行了優(yōu)化，可簡(jiǎn)化在應用中部署AI的復雜性。

　　雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))了解到，在配置相當的情況下，采用Triton的提交結果所達到的性能接近于最優(yōu)化GPU能夠達到性能的95%，和最優(yōu)化CPU99%的性能。

　　另外，NVIDIA還使用Ampere架構的多實(shí)例GPU性能，在單一GPU上使用7個(gè)MIG實(shí)例，同時(shí)運行所有7項MLPerf離線(xiàn)測試，實(shí)現了與單一MIG實(shí)例獨立運行幾乎完全相同的性能。

小結

　　MLPerf Benchmark結果的持續更新，可以為在IT基礎設施投資的企業(yè)提供一些有價(jià)值的參考，也能推動(dòng)AI的應用和普及。

　　在這個(gè)過(guò)程中，軟件對于A(yíng)I性能的提升非常重要，同樣是A100 GPU，通過(guò)有針對性的優(yōu)化，半年實(shí)現了45%的性能提升。

　　同時(shí)也不難發(fā)現，NVIDIA正在通過(guò)持續的軟硬件優(yōu)化，以及更豐富的產(chǎn)品組合，保持其在A(yíng)I領(lǐng)域的領(lǐng)導力，在A(yíng)I領(lǐng)域想要超越NVIDIA似乎正在變得越來(lái)越難。