NVIDIA Hopper GPU于A(yíng)I推論基準創(chuàng )世界紀錄

NVIDIA H100 Tensor核心GPU在MLPerf人工智能（AI）基準檢驗初登場(chǎng)，便在各項推論作業(yè)負載創(chuàng )下世界紀錄，其效能較前一代GPU高出達4.5倍。此測試結果顯示，對于先進(jìn)AI模型有最高效能需求的用戶(hù)來(lái)說(shuō)，Hopper就是首選產(chǎn)品。
 

NVIDIA Hopper在MLPerf人工智能推論基準檢驗初登場(chǎng)即創(chuàng )新世界紀錄

此外，NVIDIA A100 Tensor核心GPU及用于開(kāi)發(fā)AI機器人的NVIDIA Jetson AGX Orin模塊在影像和語(yǔ)音識別、自然語(yǔ)言處理和推薦系統等所有MLPerf測試項目中，整體推論表現持續領(lǐng)先群雄。
亦稱(chēng)為Hopper的H100，在本輪測試的六個(gè)神經(jīng)網(wǎng)絡(luò )中提高單一加速器的效能標準。它在獨立服務(wù)器和脫機的情況下，在傳輸量和速度皆展現領(lǐng)先優(yōu)勢。NVIDIA Hopper架構的效能較NVIDIA Ampere架構的GPU高出4.5倍，在MLPerf測試結果中持續保持全面領(lǐng)先地位。
Hopper在熱門(mén)的BERT自然語(yǔ)言處理模型上的出色表現，部分要歸功于它的Transformer引擎。BERT自然語(yǔ)言處理模型是MLPerf AI模型中規模最大、對效能要求最高的模型之一。這些推論基準檢驗是H100 GPU的首次公開(kāi)展示，此產(chǎn)品將在今年底上市。H100 GPU將參與MLPerf日后的訓練測試。
各大云端服務(wù)供貨商與系統制造商已采用的NVIDIA A100 GPU，在最新的AI推論測試中依舊位居主流效能的領(lǐng)導地位。在數據中心與邊緣運算的類(lèi)別和情境中，A100 GPU的成績(jì)比其他參與者提交的測試結果都更為突出。A100在六月的MLPerf訓練基準檢驗中一馬當先，展現處理整個(gè)AI工作流程的出色能力。
A100 GPU自2020年7月首次參與MLPerf基準檢驗以來(lái)，隨著(zhù)NVIDIA AI軟件持續改善，效能已經(jīng)提高6倍。NVIDIA AI是在數據中心與邊緣運算中，唯一能夠運行所有MLPerf推論作業(yè)負載和情境的平臺。
NVIDIA GPU能夠在各大AI模型上提供頂尖效能，讓用戶(hù)成為真正的贏(yíng)家。他們在真實(shí)世界中的應用通常會(huì )用到多種神經(jīng)網(wǎng)絡(luò )。例如，AI應用程序可能要理解用戶(hù)的口語(yǔ)請求、對影像進(jìn)行分類(lèi)、提出建議，然后用聽(tīng)起來(lái)像人的聲音做出回應。每一步都要用到不同類(lèi)型的AI模型。
MLPerf基準檢驗涵蓋這些AI模型及其它熱門(mén)的AI作業(yè)負載和情境，像是計算機視覺(jué)、自然語(yǔ)言處理、推薦系統、語(yǔ)音識別等。這些測試確保用戶(hù)能獲得可靠且靈活的效能來(lái)進(jìn)行部署。
MLPerf基準檢驗具透明度且客觀(guān)，也因此用戶(hù)仰賴(lài)這些測試結果以做出明智的采購決策。亞馬遜（Amazon）、Arm、百度（Baidu）、Google、哈佛大學(xué)（Harvard）、英特爾（Intel）、Meta、微軟（Microsoft）、史丹佛大學(xué)（Stanford）與多倫多大學(xué)（University of Toronto）等眾多業(yè)者與學(xué)術(shù)單位皆對MLPerf表達支持。
NVIDIA Orin運行MLPerf邊緣運算類(lèi)別的每一項基準檢驗，多項表現更勝于其他低功耗系統單芯片。相較于四月時(shí)首次參與MLPerf測試，這次的能源效率提高多達50%。在前一回合的測試中，Orin的運行速度比上一代Jetson AGX Xavier模塊快5倍，而能源效率平均高出2倍。
Orin將NVIDIA Ampere架構GPU與強大的Arm CPU核心叢集整合到單一芯片內。已可在用于開(kāi)發(fā)機器人和自主系統的NVIDIA Jetson AGX Orin開(kāi)發(fā)工具包及生產(chǎn)模塊中取得，并支持完整的NVIDIA AI軟件堆棧，包括用于自動(dòng)駕駛車(chē)（NVIDIA Hyperion）、醫療設備（Clara Holoscan）與機器人（Isaac）的多個(gè)平臺。
從MLPerf的測試結果便能看出NVIDIA AI獲得業(yè)界最廣泛的機器學(xué)習生態(tài)系支持。在本輪測試中，有超過(guò)七十份測試結果是透過(guò)NVIDIA的平臺運行，像是微軟Azure即提交在其云端服務(wù)中運行NVIDIA AI的成果。
此外，由華碩（ASUS）、戴爾科技集團（Dell Technologies）、富士通（Fujitsu）、技嘉（GIGABYTE）、慧與科技（Hewlett Packard Enterprise）、聯(lián)想（Lenovo）及美超威（Supermicro）等十家系統制造商推出的19款NVIDIA認證系統亦參與本次測試。
它們的測試結果顯示，無(wú)論是在云端或在用戶(hù)自己的數據中心服務(wù)器上，NVIDIA AI都能為用戶(hù)提供絕佳效能。NVIDIA的合作伙伴深知，MLPerf是一項讓客戶(hù)用于評估AI平臺及供貨商的寶貴工具，因此才會(huì )加入測試。最新一輪的結果顯示，他們如今提供給用戶(hù)的出色效能，將隨著(zhù)NVIDIA平臺的發(fā)展而更將持續強化。
于此次測試中使用的各種軟件公開(kāi)于MLPerf資源庫，每個(gè)人都能取得這些世界級的成果。我們不斷將優(yōu)化結果放入NGC（GPU加速軟件目錄）的容器中。用來(lái)為本次提交的AI推論測試結果進(jìn)行優(yōu)化的NVIDIA TensorRT也能在NGC中取得。