研華AIR-520邊緣AI服務(wù)器，以GenAI和LLM為引擎，提升市民服務(wù)效率

當市政府推出一項新政策時(shí)，通常需要許多客戶(hù)服務(wù)代表了解政策的具體情況，以解決公眾咨詢(xún)。在公民服務(wù)熱線(xiàn)中部署生成式AI支持的人機協(xié)作系統可以顯著(zhù)提高效率、可用性、準確性并進(jìn)一步實(shí)現服務(wù)個(gè)性化。

AI客服技術(shù)簡(jiǎn)化了資源分配，可擴展以應對不斷增長(cháng)的需求，并通過(guò)數據分析提供有價(jià)值的見(jiàn)解。因此，它增強了公民的整體體驗，確保他們收到及時(shí)準確的信息，同時(shí)讓客服代表騰出時(shí)間專(zhuān)注于更復雜的工作任務(wù)。

項目挑戰

市政府在采用人工智能技術(shù)時(shí)面臨著(zhù)以下幾個(gè)困難：

◆ 缺乏技術(shù)基礎設施和專(zhuān)業(yè)知識： 實(shí)施人工智能需要先進(jìn)的技術(shù)基礎設施和技術(shù)熟練的人員，而獲取和維護這些設施和人員的成本可能很高，且具有挑戰性。

◆ 反應偏差：LLMs 可能會(huì )從其訓練數據中繼承偏差，從而導致有偏差或歧視性的答案反饋。這可能導致誤解和公民投訴，損害信任和信譽(yù)。

◆ 持續訓練和更新： 法律顧問(wèn)需要定期更新和再訓練，以跟上新的政策、法規和新出現的問(wèn)題。這需要對數據收集和模型改進(jìn)進(jìn)行持續投資。

研華解決方案

為了克服這些挑戰，客戶(hù)選擇了 AIR-520 LLM 微調解決方案，其中包括以下組件：

◆ 配備 aiDAPTIV+ ai100 AI 固態(tài)硬盤(pán)的 AIR-520 邊緣 AI 服務(wù)器系統： 這款服務(wù)器級系統配備了 ai100 固態(tài)硬盤(pán)和專(zhuān)利中間件，為內部模型訓練和微調提供了簡(jiǎn)單而經(jīng)濟高效的解決方案。

◆ 用于模型微調的無(wú)代碼圖形用戶(hù)界面： 用戶(hù)友好的無(wú)代碼圖形用戶(hù)界面（GUI）使客戶(hù)能夠利用本地數據集對人工智能模型進(jìn)行微調，從而提高生成內容的質(zhì)量和準確性。

◆ ISV 合作實(shí)現定制化內部部署 LLM：結合 ISV 合作伙伴提供的定制化 LLM 服務(wù)，研華通過(guò)提供全面的軟件包，幫助客戶(hù)消除技術(shù)障礙，使其能夠快速進(jìn)入市場(chǎng)，而不會(huì )出現兼容性或集成問(wèn)題。集成解決方案實(shí)現了訓練流程自動(dòng)化，加快了部署速度，并通過(guò)在邊緣收集歷史問(wèn)答和內容更正，不斷提高服務(wù)質(zhì)量。

方案優(yōu)勢

通過(guò)采用研華解決方案，可以給客戶(hù)帶來(lái)：

◆ 釋放 80% 的人力資源：通過(guò)處理日常查詢(xún)，LLMs讓人工客戶(hù)服務(wù)代表能夠專(zhuān)注于需要人工判斷和需要換位思考的更復雜、高優(yōu)先級的案例。

◆ 7 x 24小時(shí)可用性： 在 AIR-520 上運行的 LLM 提供全天候支持，確保公民可以隨時(shí)獲得幫助，即使是在正常辦公時(shí)間之外。這提高了可訪(fǎng)問(wèn)性和響應速度。

◆ 經(jīng)過(guò)驗證的打包解決方案：研華和 ISV 提供了一個(gè)集成的端到端解決方案，以確保順利開(kāi)發(fā)、部署和持續改進(jìn)。

本地大型語(yǔ)言模型（LLM）邊緣AI服務(wù)器AIR-520，以其創(chuàng )新的設計理念，提供了一個(gè)既經(jīng)濟又高效的解決方案。該方案不僅支持大型語(yǔ)言模型的微調訓練，而且無(wú)需專(zhuān)用機房，可以直接部署在部門(mén)使用，大幅降低了企業(yè)引入AI技術(shù)的門(mén)檻。