NVIDIA：以Jetson邊緣設備在現實(shí)世界探索生成式AI無(wú)限可能

作為人工智能產(chǎn)業(yè)的引領(lǐng)者，NVIDIA相信，有了來(lái)自邊緣的所有實(shí)時(shí)數據以及對這些數據的理解能力，AI應用就成為了能夠與真實(shí)世界互動(dòng)的智能體。邊緣智能行業(yè)應用空間廣泛，尤其是在制造業(yè)、政府、電信、醫療等重點(diǎn)領(lǐng)域，敏捷連接、實(shí)時(shí)業(yè)務(wù)、數據優(yōu)化、應用智能、安全與隱私保護成為這些應用的核心需求，邊緣智能將成為實(shí)現行業(yè)數字化轉型的關(guān)鍵。隨著(zhù)商業(yè)神經(jīng)網(wǎng)絡(luò )的成熟，物聯(lián)網(wǎng)設備的普及以及并行計算和 5G 的進(jìn)步，我們現在能夠通過(guò)強大的基礎架構來(lái)實(shí)現通用機器學(xué)習。企業(yè)應該把握良機，將 AI 應用于他們的營(yíng)業(yè)場(chǎng)所并依據實(shí)時(shí)洞察采取行動(dòng)，同時(shí)降低成本并加強隱私。

面對邊緣設備的智能應用需求，NVIDIA在邊緣智能領(lǐng)域的技術(shù)創(chuàng )新和產(chǎn)品支持為行業(yè)發(fā)展注入了強大的動(dòng)力。NVIDIA此前發(fā)布了Jetson 生成式AI實(shí)驗室（Jetson Generative AI Lab），使開(kāi)發(fā)者能夠通過(guò)NVIDIA Jetson邊緣設備在現實(shí)世界中探索生成式 AI的無(wú)限可能性。此外，邊緣AI 應用對硬件的尺寸、功耗和性能都有非常高的要求，NVIDIA的Jetson Nano開(kāi)發(fā)套件功耗只有5W，是傳統計算機的十分之一，這意味著(zhù)它可以在移動(dòng)設備、嵌入式系統、機器人等低功耗場(chǎng)景中使用。普遍來(lái)看，在使用Jetson模組等嵌入式系統時(shí)，必須根據功率分配和計算資源來(lái)優(yōu)化應用。Jetson模組自帶GPU、CPU和各種AI加速器，還配有高效率的功率管理集成電路（PMIC）、穩壓器和電源樹(shù)來(lái)進(jìn)行功率效率優(yōu)化。同時(shí)，NVIDIA提供包括各種功率模式、功率與散熱和電氣管理功能、用于監控功率和散熱狀態(tài)的Jetson Power GUI、用于提供模組命令行統計數據的Tegrastats以及JTOP等多種工具和資源，幫助用戶(hù)充分利用功率架構并優(yōu)化資源使用。每個(gè)Jetson模組都支持多種預配置功率模式，也能夠針對10W、15W、30W等特定功率進(jìn)行預算優(yōu)化。

智能工業(yè)是邊緣AI 非常重要的應用場(chǎng)景，NVIDIA推出了Jetson AGX Orin工業(yè)級模塊等開(kāi)發(fā)工具，幫助開(kāi)發(fā)者開(kāi)發(fā)邊緣AI 應用。Jetson AGX Orin工業(yè)級模塊可在15-75W功率范圍內提供高達248 TOPS 的 AI 性能。其外形尺寸和引腳與 Jetson AGX Orin 兼容，性能比Jetson AGX Xavier工業(yè)級模塊提升了 8 倍以上。其能夠在惡劣環(huán)境下提供更高級別的計算能力。許多應用程序，包括農業(yè)、工業(yè)制造、采礦、建筑和交通等領(lǐng)域，都必須經(jīng)受極端環(huán)境和長(cháng)時(shí)間的沖擊和震動(dòng)。例如，在廣泛的農業(yè)應用中，強大的硬件至關(guān)重要，因為它使機械能夠承受重負荷、在崎嶇的地形中導航，并在不同溫度下持續運行。NVIDIA Jetson模塊已經(jīng)改變了智能農業(yè)，為自動(dòng)駕駛拖拉機和智能收割、除草和選擇性噴灑系統提供動(dòng)力。在鐵路應用中，火車(chē)高速行駛時(shí)會(huì )產(chǎn)生振動(dòng)，火車(chē)車(chē)輪和鐵軌之間的相互作用也會(huì )產(chǎn)生額外的間歇性振動(dòng)和沖擊。運輸公司正在使用Jetson探測物體、預防事故和優(yōu)化維護成本。采礦是另一個(gè)需要符合工業(yè)要求的領(lǐng)域。例如Tage IDriver推出了基于Jetson AGXXavier工業(yè)級模塊的智能礦場(chǎng)地面- 云端協(xié)調無(wú)人運輸礦車(chē)解決方案。在露天礦場(chǎng)環(huán)境下，無(wú)人礦車(chē)需要具備更強的耐用性。在近地或外太空中，輻射水平帶來(lái)了巨大的挑戰，部署耐用且能夠耐受輻射的模塊對于確?？煽扛咝У倪\行至關(guān)重要。許多衛星公司都希望在邊緣部署人工智能，但是他們在尋找合適的計算模塊時(shí)面臨著(zhù)挑戰。NVIDIA Jetson模塊裝有激光雷達、攝像頭、雷達等傳感器，能夠在惡劣的環(huán)境中實(shí)現所需的精準感知。

近兩年來(lái)，隨著(zhù)生成式AI 的火爆，NVIDIA的技術(shù)成為推動(dòng)生成式AI應用發(fā)展的技術(shù)動(dòng)力源泉，在邊緣側應用提供生成式AI將成為極具發(fā)展潛力的應用領(lǐng)域。隨著(zhù)該領(lǐng)域快速發(fā)展，幾乎每天都有新的LLM出現，并且量化程序庫的發(fā)展也在一夜之間重塑了基準，NVIDIA認識到了提供最新信息和有效工具的重要性。

因此 NVIDIA提供簡(jiǎn)單易學(xué)的教程和預構建容器，而實(shí)現這一切的是jetson-containers，一個(gè)精心設計和維護的開(kāi)源項目，旨在為Jetson設備構建容器。該項目使用GitHub Actions，以CI/CD的方式構建了100個(gè)容器。這些容器使用戶(hù)能夠在 Jetson 上快速測試最新的AI模型、程序庫和應用，無(wú)需繁瑣地配置底層工具和程序庫。

在開(kāi)發(fā)者支持方面，NVIDIA Jetson AGX Orin開(kāi)發(fā)者套件與所有Jetson Orin模塊共享同樣的SoC架構，因此能夠仿真任何模塊，使開(kāi)發(fā)者能夠輕松地開(kāi)始開(kāi)發(fā)新一代產(chǎn)品。擁有緊湊的尺寸、大量的連接器和高達275 TOPS的AI性能，該開(kāi)發(fā)者套件是開(kāi)發(fā)先進(jìn)AI機器人和其他邊緣AI設備原型的最佳選擇。此外，NVIDIA IGX Orin開(kāi)發(fā)者套件可提供一個(gè)滿(mǎn)足工業(yè)和醫療環(huán)境需求的工業(yè)級邊緣AI平臺。內置的NVIDIAHoloscan是一套能夠協(xié)調數據移動(dòng)、加速計算、實(shí)時(shí)可視化和AI推理的SDK。該平臺讓開(kāi)發(fā)者能夠將開(kāi)源LLM添加到邊緣AI流式傳輸工作流和產(chǎn)品中，為實(shí)時(shí)AI傳感器處理帶來(lái)了新的可能性，同時(shí)確保敏感數據保持在IGX硬件的安全邊界內。IGX Orin專(zhuān)為邊緣環(huán)境打造，可以處理來(lái)自攝像頭、激光雷達傳感器、無(wú)線(xiàn)電天線(xiàn)、加速度計、超聲探頭等的流信息。這一通用性使各種先進(jìn)的應用能夠無(wú)縫地將LLM的強大功能與實(shí)時(shí)數據流融合。在集成到Holoscan操作系統后，這些LLM可顯著(zhù)增強AI傳感器處理管道的能力和功能。

在軟件方面，NVIDIA發(fā)布了NVIDIA AI EnterpriseIGX，該軟件可以在IGX平臺上運行，優(yōu)化AI工作流的開(kāi)發(fā)和部署，確保企業(yè)機構能夠獲得必要的AI框架和工具。IGX是一個(gè)安全、可靠的自主系統平臺，它能夠改善人機協(xié)同。對于制造業(yè)和物流業(yè)，IGX為高度監管的實(shí)體工廠(chǎng)和倉庫提供了額外的安全層；對于醫療行業(yè)的邊緣AI用例，IGX提供安全、低延遲的AI推理，以滿(mǎn)足臨床對醫療程序中的一系列儀器和傳感器獲得即時(shí)洞察的需求，例如機器人輔助手術(shù)、患者監測系統等。

（本文來(lái)源于《EEPW》2024.6）