邊緣AI服務(wù)器引發(fā)新浪潮：從云端到邊緣的轉型

近年來(lái)，在A(yíng)IoT數據量快速成長(cháng)、硬件效能提升、綠色低碳意識抬頭等趨勢影響下，邊緣AI應用的系統架構也出現改變。隨著(zhù)越來(lái)越多企業(yè)將AI模型訓練由云端轉移至邊緣端，邊緣AI服務(wù)器（Edge AI Server）的市場(chǎng)需求快速擴大。

過(guò)往，企業(yè)大多會(huì )先在云端進(jìn)行AI模型訓練，再將訓練好的模型部署到邊緣端，由邊緣裝置進(jìn)行模型推論，并定期將終端數據及預測結果傳回云端。如今，隨著(zhù)硬件技術(shù)更新迭代，邊緣裝置的運算量能愈來(lái)愈強，可以滿(mǎn)足AI模型訓練的運算需求，再加上AIoT數據量快速成長(cháng)，大幅增加數據由邊緣端傳輸到云端的成本，致使企業(yè)開(kāi)始思索「在邊緣端進(jìn)行AI模型訓練的可行性」。對此，研華整合軟硬體及服務(wù)打造完整的邊緣AI服務(wù)器解決方案，協(xié)助企業(yè)資金更有效率地導入AI技術(shù)。

AI模型訓練在云端還是邊緣？

研華嵌入式物聯(lián)網(wǎng)事業(yè)群產(chǎn)品經(jīng)理郭祐伸建議，企業(yè)可以根據AI應用類(lèi)型與AI模型參數大小、數據量、數據的機密等級等因素，決定是要在云端或邊緣端進(jìn)行AI模型訓練。如果AI模型參數較大，邊緣端的運算能力不足，導致進(jìn)行AI模型微調訓練所耗費的時(shí)間過(guò)長(cháng)，就比較適合放在云端高速運算。另外，若企業(yè)用來(lái)訓練AI模型的數據屬于重要機密，便不適合上傳到云端，又或者AI模型微調訓練的數據太大致使傳輸至云端的成本過(guò)高，就可以通過(guò)邊緣端設備進(jìn)行AI數據預處理（Data Mining）或AI微調模型訓練（Finetune）。

以生成式AI應用為例，企業(yè)除了發(fā)展客服機器人來(lái)服務(wù)客戶(hù)，也開(kāi)始結合知識管理系統、機臺維修手冊等數據用來(lái)優(yōu)化員工作業(yè)效率，如：加快資料檢索速度、協(xié)助新進(jìn)工程師快速進(jìn)入工作等。由于內部資料有機密性，通常不適合上傳到云端，企業(yè)便可在邊緣端部署邊緣AI服務(wù)器來(lái)進(jìn)行大型語(yǔ)言模型（LLM）微調訓練。

另一方面，當企業(yè)微調訓練生成式AI（GenAI）的大型語(yǔ)言模型（LLM）時(shí)，會(huì )消耗相當大量的內存（VRAM），若VRAM內存容量不足，將產(chǎn)生無(wú)法進(jìn)行LLM模型微調訓練的問(wèn)題，最終需要再額外添購更多專(zhuān)用顯示卡來(lái)擴充VRAM容量，對企業(yè)而言是高成本的負擔。因此，如何降低不斷成長(cháng)的生成式AI模型參數所需的VRAM擴充成本并兼顧數據安全保密性便是生成式AI應用能否快速普及的關(guān)鍵。

硬件、軟件、服務(wù)，三大面向打造整體解決方案

為滿(mǎn)足企業(yè)在邊緣端進(jìn)行AI模型訓練與推論的需求，研華除了研發(fā)AIR-500系列邊緣AI服務(wù)器，提供高頻高效能的硬件設備，更結合軟件與服務(wù)，從三大面向打造一站式邊緣AI應用解決方案，一次滿(mǎn)足企業(yè)的各種需求，加速企業(yè)導入AI應用。

多種硬件規格，滿(mǎn)足多產(chǎn)業(yè)的AI應用需求

AIR-500系列是針對邊緣端高性能AI推理與特定大小參數AI模型微調訓練的應用需求而設計，除了滿(mǎn)足工控市場(chǎng)基本要求的系統EMC測試與安規認證，亦提供10年長(cháng)供貨保證。此外，針對AI高速運算時(shí)產(chǎn)生的熱能，研華特別加強散熱設計，確保在環(huán)境溫度40℃以?xún)确€定運作，避免超過(guò)AI加速卡的最高工作溫度，同時(shí)提供適合應用在被動(dòng)式散熱AI加速卡專(zhuān)用的散熱風(fēng)扇模塊，讓企業(yè)無(wú)論采用哪一種AI加速卡，都不必擔心會(huì )有過(guò)熱而降頻的問(wèn)題，確保設備運作性能最大化。

郭佑伸產(chǎn)品經(jīng)理指出，AIR-500系列產(chǎn)品提供510、520及530三種規格。其中AIR-520是研華首度將服務(wù)器等級芯片平臺導入至邊緣系統，它能額外擴充最多4張單槽顯卡或2張雙槽顯卡，具備相當強大的AI運算能力，整合群聯(lián)“aiDAPTIV+”技術(shù)，最高可以支持大型語(yǔ)言模型LLaMA2 70B的地端微調訓練，滿(mǎn)足企業(yè)在邊緣端進(jìn)行AI模型訓練的需求。

群聯(lián)獨家專(zhuān)利的AI人工智慧運算方案“aiDAPTIV+”，是通過(guò)群聯(lián)獨創(chuàng )整合SSD的AI運算構架，將大型AI模型做結構性拆分，并將模型參數隨應用時(shí)間序列與SSD協(xié)同運行，以達到在有限的GPU與VRAM資源下，最大化可執行的AI模型，能發(fā)揮既有硬件構架下的最大效益。

AIR-530可進(jìn)行大量高速的數據傳輸，通過(guò)NVIDIA SmartNIC芯片可將網(wǎng)絡(luò )頻寬拉高至200 GbE，適合高速數據串流的AI應用，例如：醫療內視鏡系統、布建多臺監控攝像機的場(chǎng)域等。AIR-510提供豐富的I/O接口，適合需要整合多元裝置的AI應用，例如半導體設備的光學(xué)檢測機、物流業(yè)的包裹分檢機等。

結合軟件與服務(wù)，加速企業(yè)導入

AI應用軟件方面，研華也針對AI應用需求代理相關(guān)軟件，如：Intel針對模型訓練的輔助工具Intel Geti、NVIDIA針對AI算法開(kāi)發(fā)的最佳化服務(wù)NVIDIA AI Enterprise，可協(xié)助企業(yè)打造完整的Edge AI應用環(huán)境。

服務(wù)方面更是涵蓋全方面。首先，研華在全球各地設立的服務(wù)中心，可以根據在地客戶(hù)需求提供服務(wù)，如彈性調整設備規格。其次，研華提供完整技術(shù)支持，如企業(yè)可向研華購買(mǎi)CPU、DRAM、SSD、顯卡等周邊元件，也可以由研華協(xié)助安裝Window、Ubuntu等操作系統，讓企業(yè)收到設備后插電就能使用。再者，研華一直與芯片商緊密合作，可以在第一線(xiàn)提供客戶(hù)技術(shù)顧問(wèn)服務(wù)，如今更成為臺灣IPC產(chǎn)業(yè)第一家獲得NVIDIA AI Enterprise軟件平臺認證的全球經(jīng)銷(xiāo)商，研華計劃培育近200名邊緣AI應用專(zhuān)家，期能建立更強大的技術(shù)支持，從更多方面協(xié)助客戶(hù)導入AI應用。

展望未來(lái)，AIR-500系列產(chǎn)品的發(fā)展將依循研華“產(chǎn)業(yè)驅動(dòng)”（Sector-Driven）策略，依照各產(chǎn)業(yè)的特殊需求開(kāi)發(fā)相關(guān)功能并直接內嵌于產(chǎn)品之中，甚至推出產(chǎn)業(yè)專(zhuān)用機，讓各行各業(yè)都能快速部署AI應用，大步邁向AIoT的新時(shí)代。