AI開(kāi)掛 邊緣運算智能升級的五大挑戰與四大核心

研究機構IDC預估，全球企業(yè)的邊緣運算支出將從2022年的1,760億美元成長(cháng)至2025年的2,740億美元，屆時(shí)，成長(cháng)率最高的邊緣應用包含大眾基礎設施維護、網(wǎng)絡(luò )維護、醫療診斷與AR輔助手術(shù)。當科技越來(lái)越智慧，智能型載具與聯(lián)網(wǎng)裝置網(wǎng)網(wǎng)相連，「云端數據中心」需要邊緣運算(Edge Computing)的因地制宜，才能更有效地降低運算負載量，快速、低延遲地傳輸信息。

如果將云端數據中心/云端運算與邊緣運算比喻為大腦與神經(jīng)系統，邊緣運算的神經(jīng)弧涵蓋范圍更廣，小至各類(lèi)智能型載具與終端設備的應用，大至物聯(lián)網(wǎng)(IoT)、工業(yè)物聯(lián)網(wǎng)(IIoT)與車(chē)聯(lián)網(wǎng)(V2X)的運作整合，都少不了邊緣運算穿針引線(xiàn)。在IoE（萬(wàn)物互聯(lián)）時(shí)代，更需要最小延遲性、高可用性網(wǎng)絡(luò )實(shí)時(shí)處理大量數據，邊緣運算的重要性不言可喻。


 
圖1 : 云端面臨5大挑戰。

云端面臨5大挑戰：
挑戰1.延遲問(wèn)題
越來(lái)越多產(chǎn)業(yè)需要應用程序具備快速分析與響應的能力，云端運算過(guò)程中數據源之間的網(wǎng)絡(luò )距離容易導致低效率、延遲及客戶(hù)體驗不佳。

挑戰2.帶寬問(wèn)題
網(wǎng)絡(luò )的邊緣裝置數量越多，數據傳送至云端的成本可能越來(lái)越高，邊緣處理、儲存與分析數據有助降低成本。

挑戰3.隱私及安全問(wèn)題
減少網(wǎng)絡(luò )傳輸的數據量有助降低資安風(fēng)險，尤其是醫療、智財(IP)等資安要求高的信息處理，云端傳送不若邊緣運算安全。

挑戰4.聯(lián)機問(wèn)題
持續性的網(wǎng)絡(luò )聯(lián)機能力是云端運算的痛點(diǎn)，加上未來(lái)5G可能帶來(lái)的高帶寬、低延遲幫助，更能強化邊緣運算的快速傳輸能量，這部分云端相對弱勢。

挑戰5.AI串聯(lián)問(wèn)題
AI可以加速數據處理速度、提高智能運用，隨著(zhù)AI與邊緣運算的發(fā)展，云端的功能性相對弱勢。

邊緣運算四大核心：運算、儲存、建構網(wǎng)絡(luò )與加速AI
傳統的云端運算要求將數據傳輸回中央的數據中心進(jìn)行處理，再傳輸回使用者端的終端設備，但數據中心無(wú)法保證傳輸速率和響應時(shí)間，另一方面，動(dòng)輒

數十億物聯(lián)網(wǎng)及行動(dòng)裝置所搜集到的數據相當可觀(guān)，將數據傳送至分布式模型，就近在數據位置處理運算事宜更有效率。

邊緣運算(Edge Computing)為網(wǎng)絡(luò )運算架構，在運算過(guò)程中因為靠近數據源，可以減少延遲和帶寬的使用，極大限度地減少異地客戶(hù)端和服務(wù)器之間的通信量。

云端運算中的信息與數據會(huì )集中搜集、處理及分析，而邊緣運算則是將運算能力廣布于運算環(huán)境中，二者包含在廣義的「云解決方案」中。由于邊緣運算中的數據與數據可以在收集源附近處理，讓特定場(chǎng)域中的大小組件分工執行數據處理，不需要將數據傳輸到云或數據中心進(jìn)行分析處理，有助減輕網(wǎng)絡(luò )及服務(wù)器的負擔，處理數據的能力及反應時(shí)間更快，因此特別適合實(shí)時(shí)性高的工業(yè)物聯(lián)網(wǎng)及車(chē)聯(lián)網(wǎng)的應用，若加入人工智能(AI)和機器學(xué)習(ML)等元素，還能產(chǎn)生更多創(chuàng )新應用，進(jìn)一步提升組件的智能化效能。

研調機構Gartner報告指出，2021年邊緣運算裝置具有深度機器學(xué)習能力的比例不到10%，2027年將提升到65%。

近裝置的邊緣運算設備具有四大核心：運算、儲存、建構網(wǎng)絡(luò )與加速AI，將儲存、處理與分析數據的功能從云端移至邊緣，對于車(chē)聯(lián)網(wǎng)這類(lèi)極需實(shí)時(shí)應用的領(lǐng)域來(lái)說(shuō)，可以帶來(lái)更快、可靠性更高、更優(yōu)質(zhì)的體驗，也有助于減少傳輸與儲存大量數據所需耗費的帶寬與成本，畢竟幾毫秒的延遲對各類(lèi)實(shí)時(shí)系統及智慧車(chē)輛來(lái)說(shuō)，可能就是生與死之間的距離，對于智慧工廠(chǎng)中的機器人來(lái)說(shuō)，可能是成本與產(chǎn)值多一個(gè)零或少一個(gè)零的差距，尤其在網(wǎng)絡(luò )聯(lián)機能力不佳的地區，云端聯(lián)機中斷問(wèn)題多，邊緣儲存與處理數據的優(yōu)勢更為明顯。

Edge AI助攻 邊緣運算應用場(chǎng)域更多元
ITIS報告指出，未來(lái)科技朝智能化發(fā)展，智能裝置的運算和感測功能結合，透過(guò)邊緣運算，可以強化裝置間的溝通能力。邊緣運算可以廣泛應用于大規模的數據傳輸應用(如智能制造、智能城市)、實(shí)時(shí)性協(xié)作(如智慧電網(wǎng)、智慧金融、智慧農業(yè))、體驗優(yōu)化(如智能零售、人臉辨識)及安全應用(如智能交通、智能醫療、自駕車(chē)、無(wú)人機)。

以車(chē)聯(lián)網(wǎng)來(lái)說(shuō)，需要仰賴(lài)系統可靠性和運算實(shí)時(shí)性， 才能滿(mǎn)足車(chē)輛配備的精密機械與尖端電子軟硬件等復雜系統，以及串聯(lián)云端、AI、傳感器與無(wú)線(xiàn)通信技術(shù)，而車(chē)輛在行駛過(guò)程中搜集到的各種數據數據除了有助車(chē)輛運作，還能衍生多種新興商業(yè)模式。

隨著(zhù)邊緣運算、AI和物聯(lián)網(wǎng)快速發(fā)展，出現多種智能網(wǎng)絡(luò )連接技術(shù)，如Edge AI、Edge AIoT(人工智能聯(lián)網(wǎng))等。已經(jīng)有許多企業(yè)透過(guò)邊緣運算與AI結合提高效率，降低成本，如邊緣AI和邊緣運算裝置可以提高自動(dòng)化操作的精準度，減少人為疏失，有助建立更安全的工作場(chǎng)域。

市調機構MarketsandMarkets即指出，邊緣AI能提升監控效率，大幅減少延遲及云端帶寬需求，可運用于機器深度學(xué)習的攝影機系統讀取原始數據，透過(guò)人臉辨識分析、識別人員及偵測可疑活動(dòng)，各種多元的數據處理能力已逐漸轉移到邊緣端。AI邊緣運算技術(shù)逐漸應用于交通運輸、自動(dòng)駕駛、醫療照護、農業(yè)、制造業(yè)、金融業(yè)、零售業(yè)等場(chǎng)域。

由于智能邊緣運算裝置內建處理器，可提供內建分析或AI進(jìn)階功能，內部部署的邊緣服務(wù)器便能處理從邊緣運算裝置傳來(lái)的數據，再回傳接近實(shí)時(shí)應用程序所需關(guān)鍵信息，或者將數據傳送至云端。多個(gè)邊緣運算裝置的數據也能傳回云端整合，執行更廣泛的處理及分析。

邊緣運算結合AI的智慧解決方案
邊緣運算可以透過(guò)AI使終端設備更加智慧，一方面保有邊緣運算低延遲、高隱私、快速連接、低功耗、低成本等優(yōu)勢，再方面可以強化系統的智能功能及自動(dòng)化優(yōu)勢。邊緣AI與傳統邊緣運算相較，優(yōu)勢包含數據處理、過(guò)濾和邊緣智慧分析，未來(lái)，邊緣AI與邊緣運送持續結合，可以有更多運用，比方邊緣AI與影像分析技術(shù)已逐漸應用于智能零售、醫療等領(lǐng)域。Fortune Business Insights指出，全球影像分析市場(chǎng)至2027年復合年均成長(cháng)率達21.3%。

科技龍頭Microsoft認為，2026年全球AI芯片約75%將為邊緣運算所用，IoT芯片于邊緣運算的發(fā)展可能成為未來(lái)業(yè)者的重點(diǎn)布局之一，如Google、AWS等云端大廠(chǎng)致力于芯片自制；ARM鎖定邊緣AI針對攝影機的辨識應用；Intel投資十余家新創(chuàng )AI芯片設計廠(chǎng)；恩智浦(NXP Semiconductors)、芯科科技(Silicon Labs)、意法半導體(ST)則是在MCU或SoC上增加邊緣AI功能。投入AI芯片的業(yè)者也不少，如以色列AI芯片公司Halio、新創(chuàng )公司EdgeQ及Graphcore，以及中國的華為海思、臺灣的聯(lián)發(fā)科與耐能。

此外，隨著(zhù)智慧工廠(chǎng)、智慧城市、智慧醫療等場(chǎng)景出現越來(lái)越多AI與IoT結合的應用，AI芯片的價(jià)值水漲船高。在A(yíng)I芯片幫助下，IoT邊緣與終端裝置可透過(guò)機器學(xué)習或深度學(xué)習等技術(shù)加值，同時(shí)帶出無(wú)延遲、低成本、高隱私等優(yōu)勢，預估全球AI芯片產(chǎn)值至2025年約達720億美元。研調機構Omdia則預測，全球邊緣AI芯片產(chǎn)值將從2019年的77億美元成長(cháng)至2025年的519億美元，未來(lái)產(chǎn)值上看新臺幣1.5兆元。

工研院電光系統所所長(cháng)張世杰認為，AI應用越來(lái)越廣泛，能在邊緣裝置端快速運算、實(shí)時(shí)反應的「AI芯片邊緣運算（Edge Computing）」成為智能裝置(如手機、穿戴式裝置)能否普及的關(guān)鍵，省電的AI運算芯片變得非常重要，內存內運算技術(shù)也已成為全球AI芯片技術(shù)的兵家必爭之地，國際大廠(chǎng)競相尋求具有高度存取效能、低功耗的內存技術(shù)。以工研院研發(fā)的超省電內存內運算（Computing in Memory；CIM）AI芯片來(lái)說(shuō)，具有超低耗電效能與實(shí)時(shí)辨識關(guān)鍵語(yǔ)音功能，可應用于智能生活(如智能門(mén)鎖、藍牙耳機、白色家電等)中。

智能工廠(chǎng)也會(huì )是導入大量邊緣AI應用的場(chǎng)域之一。Edge AI強調不需要聯(lián)機到服務(wù)器，直接在邊緣裝置應用AI模型即可，可應用在工廠(chǎng)產(chǎn)線(xiàn)的瑕疵檢測 (如對象偵測、影像分割、零件瑕疵檢測)、自動(dòng)光學(xué)檢查(AOI)設備檢測瑕疵產(chǎn)品復判；Edge AI瑕疵檢測裝置與自走車(chē)結合便形成可移動(dòng)式檢測工作站；工廠(chǎng)或智慧倉儲導入AI和邊緣運算技術(shù)，可以結合機械手臂或倉儲機器人，實(shí)時(shí)遠程處理各項問(wèn)題，分析監視器影像或AIoT訊號，減少人力檢查成本與人為錯誤率。若是行車(chē)紀錄器與AI結合，可以應用于行人偵測與預警系統，不需將數據回傳云端等待結果，在邊緣端即可進(jìn)行數據處理、預測，實(shí)時(shí)性更高。

各家業(yè)者看好AI邊緣運算的發(fā)展，積極推出解決方案，如戴爾(Dell)推出一系列邊緣運算解決方案以確保邊緣運算設備可以支持各類(lèi)應用場(chǎng)域，如溫濕度/空間、可支持、連結的設備距離、設備與數據安全防護機制、遠程監控管理等。Dell PowerEdge XR4000是針對Nano-Edge推出的新產(chǎn)品，適合智能零售、制造、5G電信、交通、醫療（車(chē)）、8K轉播車(chē)等應用，35cm短深度適用于各種惡劣、不可預測的邊緣環(huán)境，企業(yè)可以遠程監控設備營(yíng)運狀況，或透過(guò)戴爾的邊緣運算營(yíng)運軟件平臺Project Frontier統籌管理。

 
圖2 : Dell PowerEdge XR4000是針對Nano-Edge推出的新產(chǎn)品。(source：Dell)

恩智浦(NXP Semiconductors)為滿(mǎn)足新世代工業(yè)物聯(lián)網(wǎng)與邊緣運算需求，推出內建客制化神經(jīng)處理單元(NPU)全新32位Arm Cortex-M33核心的MCX微處理器家族系列，將AI導入低功耗嵌入設備及邊緣設備中。恩智浦MCX微處理器中的旗艦款微處理器在使用NPU執行機器學(xué)習運算時(shí)，速度能提高30倍，有效提高運作效能，并廣泛采用MCUXpresso軟件和SDK工具套件，有助強化AI從云端導入消費和工業(yè)物聯(lián)網(wǎng)設備的效能。

研揚科技發(fā)表采用全新NVIDIA Jetson AGX Orin的AI邊緣運算解決方案—BOXER-8641AI，采用8核Arm v8.2 64位CPU和NVIDIA Ampere架構，擁有1792個(gè)CUDA和56個(gè)Tensor核心，最高可達200個(gè)TOPS，AI性能是前代產(chǎn)品的6倍，可以直接在邊緣端進(jìn)行資料分析，而且搭配最新M.2 E/B/M-Key進(jìn)行5G、無(wú)線(xiàn)Wi-Fi/藍牙、NVMe等擴充，已通過(guò)微軟Azure認證。研揚科技系統平臺產(chǎn)品處資深協(xié)理薛紹周表示，BOXER-8641AI是針對次世代機器人應用所設計的AI邊緣運算產(chǎn)品，強化了下一代深度學(xué)習及視覺(jué)處理能力。


 
圖3 : 研揚科技首次發(fā)表采用全新NVIDIA Jetson AGX Orin的AI邊緣運算解決方案。(source：研揚科技)

技宸則善用Intel新一代處理器Elkhart Lake CPU為運算核心，打造QBiP與QBiX無(wú)風(fēng)扇解決方案，具備低功耗、高效能特色，在相同瓦數下提供高于競品1.5-2倍的效能，可強化制造系統邊緣設備的運算能力及優(yōu)化系統運作效率。除了制造業(yè)，也適用于不同場(chǎng)域的智慧化架構，如QBiP與QBiX系列可透過(guò)高運算效能，讓零售業(yè)者店內的數字廣告牌具備播放高分辨率影音檔案的能力，創(chuàng )造絕佳使用體驗，寬溫設計可讓設置于戶(hù)外嚴苛環(huán)境下依然穩定運作。

 
圖4 : 技宸Q(chēng)BiX無(wú)風(fēng)扇解決方案。(source：技宸)

2023年中美芯片戰還有續集？
至于中國，布局AI芯片物聯(lián)網(wǎng)領(lǐng)域的廠(chǎng)商眾多，主要針對云端運算、行動(dòng)通訊、物聯(lián)網(wǎng)與自動(dòng)駕駛等領(lǐng)域。聚焦于邊緣運算領(lǐng)域的業(yè)者以地平線(xiàn)、華為海思、寒武紀、比特大陸、鯤云科技等最為活躍。TrendForce預估，中國AI芯片市場(chǎng)有望從2019年的13億美元增長(cháng)至2023年的上看35億美元。

不過(guò)，2022年10月美國拜登總統祭出芯片禁令，全面打擊中國AI、超級計算機和晶圓加工領(lǐng)域，同時(shí)擴大商業(yè)管制列表項目，納入先進(jìn)晶圓加工制程設備、超級計算機相關(guān)芯片和設備等選項。有消息指出，美國的科技封鎖戰有可能繼續朝AI軟件、量子運算邁進(jìn)，相較于看得見(jiàn)的俄烏戰爭，這場(chǎng)沒(méi)有煙硝的科技戰爭對于中國及全球AI芯片產(chǎn)業(yè)帶來(lái)的沖擊如何有待觀(guān)察。