英偉達推出 Tensor RT-LLM，使大語(yǔ)言模型在搭載 RTX 的 PC 平臺上運行速度提高 4 倍

IT之家 10 月 18 日消息，英偉達是硬件領(lǐng)域的生成型人工智能之王，該公司的 GPU 為微軟、OpenAI 等公司的數據中心提供動(dòng)力，運行著(zhù) Bing Chat、ChatGPT 等人工智能服務(wù)。今天，英偉達宣布了一款新的軟件工具，旨在提升大型語(yǔ)言模型（LLM）在本地 Windows PC 上的性能。

在一篇博客文章中，英偉達宣布了其 TensorRT-LLM 開(kāi)源庫，這個(gè)庫之前是為數據中心發(fā)布的，現在也可以用于 Windows PC。最大的特點(diǎn)是，如果 Windows PC 配備英偉達 GeForce RTX GPU，TensorRT-LLM 可以讓 LLM 在 Windows PC 上的運行速度提高四倍。

英偉達在文章中介紹了 TensorRT-LLM 對開(kāi)發(fā)者和終端用戶(hù)的好處：

在更大的批量大小下，這種加速可顯著(zhù)改善更復雜的 LLM 使用體驗，如寫(xiě)作和編碼助手，可同時(shí)輸出多個(gè)唯一的自動(dòng)完成結果，從而加速性能并改進(jìn)質(zhì)量，讓用戶(hù)可以有最好的選擇。

IT之家注意到，博客文章展示了一個(gè) TensorRT-LLM 的例子。當向 LLaMa 2 基礎模型提出“《心靈殺手 2》集成了 NVIDIA 的哪些技術(shù)？”這一問(wèn)題時(shí)，它給出“游戲尚未公布”這一毫無(wú)幫助的回答。相反，使用 RAG 將 GeForce 新聞添加到向量庫中，并連接到相同的 Llama2 模型，不僅得到正確答案 ——NVIDIA DLSS 3.5、NVIDIA Reflex 和全景光線(xiàn)追蹤，而且在 TensorRT-LLM 加速的助力下響應速度更快。這種速度與能力的結合為用戶(hù)提供更智能的解決方案。

TensorRT-LLM 很快就會(huì )在英偉達的開(kāi)發(fā)者網(wǎng)站上提供。

英偉達今天還在新的 GeForce 驅動(dòng)更新中增加了一些基于人工智能的功能。其中包括新的 1.5 版本的 RTX Video Super Resolution 功能，可以在觀(guān)看在線(xiàn)視頻時(shí)提供更好的分辨率提升效果和更少的壓縮效果。英偉達還為 Stable Diffusion Web UI 增加了 TensorRT 人工智能加速功能，讓擁有 GeForce RTX GPU 的用戶(hù)可以比正常情況下更快地從人工智能圖片生成器那里獲得圖像。