NVIDIA擴大AI推理優(yōu)勢 在A(yíng)rm服務(wù)器上獲突破

根據近日發(fā)布的基準測試結果，NVIDIA在使用x86及Arm CPU進(jìn)行AI推理時(shí)取得了最佳成績(jì)。這是NVIDIA連續第三次在MLCommons推理測試中創(chuàng )造性能和能效紀錄。MLCommons是一家成立于2018年5月的行業(yè)基準測試組織。

      這場(chǎng)測試是第一次在A(yíng)rm系統上進(jìn)行數據中心類(lèi)別的測試，這使用戶(hù)在部署AI這一目前最具變革性的技術(shù)時(shí)有了更多的選擇。

      領(lǐng)先的性能

      在最新一輪測試中，由NVIDIA AI平臺驅動(dòng)的系統在所有七項推理性能測試中都名列前茅，這些系統來(lái)自NVIDIA和其九家生態(tài)系統合作伙伴，包括阿里巴巴、戴爾科技、富士通、技嘉、慧與、浪潮、聯(lián)想、寧暢和超微。

      NVIDIA是唯一一家在本輪和迄今為止每一輪測試中取得所有MLPerf測試結果的公司。

      推理（Inference）指計算機通過(guò)運行AI軟件來(lái)識別對象或進(jìn)行預測。在這個(gè)過(guò)程中，計算機使用深度學(xué)習模型來(lái)過(guò)濾數據，進(jìn)而發(fā)現人類(lèi)所無(wú)法捕捉的結果。

      MLPerf推理基準測試基于當今最常用的AI工作負載和場(chǎng)景，涵蓋計算機視覺(jué)、醫學(xué)影像、自然語(yǔ)言處理、推薦系統、強化學(xué)習等。

      因此，無(wú)論用戶(hù)部署何種AI應用，都可以通過(guò)NVIDIA創(chuàng )造自己的紀錄。

      為什么性能十分重要

      隨著(zhù)AI用例從數據中心擴展到邊緣和其他領(lǐng)域，AI模型和數據集將不斷增加。就是為什么用戶(hù)需要既可靠又能靈活部署的性能。

      MLPerf讓用戶(hù)有信心做出明智的購買(mǎi)決定。該組織得到了幾十家行業(yè)領(lǐng)導者的支持，包括阿里巴巴、Arm、百度、谷歌、英特爾和NVIDIA，因此這些測試是透明的和客觀(guān)的。

      將Arm靈活應用于企業(yè)AI

      憑借在能效性能上的不斷增長(cháng)和不斷擴展的軟件生態(tài)系統，Arm架構正在向全球各地的數據中心進(jìn)軍。

      最新基準測試表明，作為GPU加速的平臺，在AI推理工作中，使用Ampere Altra CPU的Arm服務(wù)器與具有類(lèi)似配置的X86服務(wù)器提供的性能幾乎相同。事實(shí)上，在其中的一項測試中，Arm服務(wù)器的性能甚至超過(guò)了類(lèi)似配置的x86系統。

      NVIDIA一直以來(lái)支持所有類(lèi)型的CPU架構，十分高興地看到Arm在同行評審的行業(yè)基準測試中能夠證明其AI性能。

      Arm高性能計算和工具高級總監DavidLecomber表示：“作為MLCommons的創(chuàng )始成員，Arm致力于通過(guò)創(chuàng )建標準和基準來(lái)更好地應對挑戰并激發(fā)加速計算行業(yè)的創(chuàng )新?！?/p>

      “最新推理結果表明，Arm CPU和NVIDIA GPU驅動(dòng)的Arm系統已能夠應對數據中心中的各種AI工作負載?！?/p>

      NVIDIA合作伙伴展示其AI性能

      NVIDIA AI技術(shù)得到了廣大和日益擴展的生態(tài)系統的支持。

      在最新基準測試中，七家OEM廠(chǎng)商共提交了22個(gè)GPU加速的平臺。

      這些服務(wù)器中的大多數型號都是NVIDIA認證系統，經(jīng)驗證可以運行多種加速工作負載，而且其中很多型號都支持上個(gè)月正式發(fā)布的NVIDIA AI Enterprise軟件。

      參與本輪測試的合作伙伴包括戴爾科技、富士通、慧與、浪潮、聯(lián)想、寧暢、超微以及云服務(wù)提供商阿里巴巴。

      軟件的力量

      NVIDIA能夠在所有AI用例中取得成功的一個(gè)關(guān)鍵因素是其完整的軟件棧。

      在推理方面，這包括針對各種用例的預訓練AI模型。NVIDIA TAO Toolkit運用遷移學(xué)習為特定應用定制這些模型。

      NVIDIA TensorRT軟件對AI模型進(jìn)行了優(yōu)化，使其能夠最有效地運用內存并且實(shí)現更快的運行速度。NVIDIA經(jīng)常使用該軟件進(jìn)行MLPerf測試，該軟件可用于X86和Arm的系統。

      在這些基準測試中，NVIDIA還采用了NVIDIA Triton推理服務(wù)器軟件和多實(shí)例GPU（MIG）功能。它們?yōu)樗虚_(kāi)發(fā)者提供了通常需要專(zhuān)家級程序員才能實(shí)現的性能。

      隨著(zhù)該軟件棧的不斷改進(jìn)，與四個(gè)月前的MLPerf推理基準測試相比，NVIDIA提升了高達20%的性能和15%的能效。

      NVIDIA在最新測試中所使用的所有軟件都可以從MLPerf資源庫中獲得，因此任何人都可以重現NVIDIA的基準測試結果。NVIDIA會(huì )陸續將這些代碼添加到NVIDIA的深度學(xué)習框架和容器中，用戶(hù)可在NVIDIA的GPU應用軟件中心NGC上獲得這些框架和容器。

      其作為全棧式AI平臺的一部分，支持所有主要的處理器架構，已在最新行業(yè)基準測試中得到了驗證，并可通過(guò)多家合作伙伴獲取，助力客戶(hù)應對當今的實(shí)際AI工作任務(wù)。