研華推出面向生成式AI的邊緣AI服務(wù)器解決方案

全球工業(yè)物聯(lián)網(wǎng)廠(chǎng)商研華科技宣布，采用Phison的aiDAPTIV+專(zhuān)利技術(shù)，為生成式人工智能（Generative AI）提供開(kāi)創(chuàng )性的邊緣AI服務(wù)器解決方案。AIR-520 Edge AI Server采用AMD EPYC 7003系列處理器，集成了SQ ai100 AI SSD、NVIDIA RTX GPU卡、Edge AI SDK和NVIDIA AI Enterprise，提供了一個(gè)可立即部署的解決方案。

大型語(yǔ)言模型（LLM）等生成式AI工具正通過(guò)自動(dòng)化數據組織、檢索和分析改變企業(yè)知識管理，提高生產(chǎn)力并改善決策。定制大型語(yǔ)言模型（LLM）提高了準確性，而邊緣訓練則增強了數據隱私屬性（成本相應提高）。該方案支持大型語(yǔ)言模型（LLM）微調配備1-4個(gè)顯卡和SQ AI100 AI SSD，供企業(yè)經(jīng)濟高效地訓練大型語(yǔ)言模型（LLM），同時(shí)保護邊緣敏感數據安全。

適用于不同應用的四種解決方案

對此研華提供四種選擇：AIR-520-L13B/L33B/L70B和L70B-Plus，針對不同規模和應用量身定制。L13B非常適合聊天機器人和語(yǔ)言翻譯提高生產(chǎn)力和內容創(chuàng )作創(chuàng )新能力。L70B擅長(cháng)專(zhuān)業(yè)領(lǐng)域的復雜數據分析和決策。此外，L70B-Plus配備了NVIDIA AI Enterprise軟件平臺，提供端到端的、可靠的優(yōu)化AI SDK，提供長(cháng)期支持和專(zhuān)家咨詢(xún)服務(wù)，保障業(yè)務(wù)場(chǎng)景中的高效部署。

安裝簡(jiǎn)單快捷，優(yōu)化成本效益

所有解決方案均包含SQ AI100 AI SSD，后者采用群聯(lián)（Phison）aiDAPTIV+技術(shù)。此系列SSD充當顯卡vRAM的擴展，使系統能夠使用最少的顯卡對大型語(yǔ)言模型（LLM）實(shí)現微調。這種方案不僅減輕了客戶(hù)的預算負擔，而且相比傳統的大型機架式服務(wù)器，邊緣AI服務(wù)器會(huì )更加緊湊。AIR-520邊緣AI服務(wù)器專(zhuān)為各種邊緣AI應用設計，尺寸與臺式電腦相當，并且可以通過(guò)適當的附件安裝在機架上。憑借輕薄的設計，該產(chǎn)品可以實(shí)現在邊緣AI微調環(huán)境中的輕松部署，打消了客戶(hù)在空間和維護上的憂(yōu)慮。

通過(guò)軟件服務(wù)快速跟蹤生成式AI的開(kāi)發(fā)

除了大型語(yǔ)言模型（LLM）微調功能外，研華還提供了帶有生成式AI訓練工作室的邊緣AI SDK，預裝了Llama-2 13B/33B/70B模型，用于聊天機器人和數據分析等應用。此舉將簡(jiǎn)化并加速通過(guò)AIR-520進(jìn)行客戶(hù)專(zhuān)屬大型語(yǔ)言模型（LLM）模型訓練和推理評估工作的進(jìn)程。此外，研華的DeviceOn提供OTA軟件/容器更新和遠程管理，促進(jìn)高效的邊緣AI編排和長(cháng)期維護。

產(chǎn)品特性：

●   采用AMD EPYC 7003處理器的服務(wù)器級性能，提供多達64個(gè)內核、768GB DRAM和四個(gè)PCle x16擴展插槽

●   高達768GB DDR4 3200 DRAM

●   支持4個(gè)PCIe x16擴展插槽

●   集成1200W PSU，可為兩塊NVIDIA L40S圖形卡供電

面向生成式AI的AIR-520邊緣AI服務(wù)器方案早期樣品現已推出。