英偉達推出開(kāi)源推理軟件Dynamo 為AI工廠(chǎng)降本增效

3月19日消息，英偉達在2025GTC大會(huì )上推出了開(kāi)源推理軟件 NVIDIA Dynamo，旨在以高效率、低成本加速并擴展 AI 工廠(chǎng)中的 AI 推理模型。

據介紹，NVIDIA Dynamo 是一款全新的 AI 推理服務(wù)軟件，旨在為部署推理 AI 模型的 AI 工廠(chǎng)最大化其 token 收益。它協(xié)調并加速數千個(gè) GPU 之間的推理通信，并使用分離服務(wù)將大語(yǔ)言模型 (LLM) 的處理階段和生成階段在不同 GPU 上分離開(kāi)來(lái)。這使得每個(gè)階段的特定需求可以進(jìn)行單獨優(yōu)化，并確保更大程度地利用 GPU 資源。

“全世界各行業(yè)都在訓練 AI 模型以不同的方式進(jìn)行思考和學(xué)習，從而使模型復雜度持續升級?！盢VIDIA 創(chuàng )始人兼首席執行官黃仁勛表示，“為了實(shí)現自定義推理 AI 的未來(lái)，NVIDIA Dynamo 可以在這些模型上進(jìn)行規?；渴?，從而為 AI 工廠(chǎng)實(shí)現降本增效”。

在 GPU 數量相同的情況下，Dynamo 可將 NVIDIA Hopper? 平臺上運行 Llama 模型的 AI 工廠(chǎng)性能和收益翻倍。在由 GB200 NVL72機架組成的大型集群上運行 DeepSeek-R1模型時(shí)，NVIDIA Dynamo 的智能推理優(yōu)化也可將每個(gè) GPU 生成的 token 數量提高30倍以上。

NVIDIA Dynamo 完全開(kāi)源并支持 PyTorch、SGLang、NVIDIA TensorRT?-LLM 和 vLLM，使企業(yè)、初創(chuàng )公司和研究人員能夠開(kāi)發(fā)和優(yōu)化在分離推理時(shí)部署 AI 模型的方法。

這將使用戶(hù)加速采用 AI 推理，包括亞馬遜云科技、Cohere、CoreWeave、戴爾科技、Fireworks、谷歌云、Lambda、Meta、微軟 Azure、Nebius、NetApp、OCI、Perplexity、Together AI 和 VAST。