布局AI邊緣運算商機 IP/芯片/儲存業(yè)者各有千秋

　　AI迅速崛起，運算分析已開(kāi)始從云端邁向終端裝置，邊緣運算勢在必行，其發(fā)展備受半導體產(chǎn)業(yè)關(guān)注，且各領(lǐng)域業(yè)者也競相投入開(kāi)發(fā)關(guān)鍵組件/技術(shù)，而Computex 2018更成為各技術(shù)陣營(yíng)的火力展示場(chǎng)合。

　　人工智能(AI)發(fā)展愈加快速，并開(kāi)始大舉進(jìn)軍終端裝置，運算分析已開(kāi)始從云端轉向終端節點(diǎn)，邊緣運算發(fā)展可說(shuō)是目前半導體產(chǎn)業(yè)熱門(mén)議題，而2018臺北國際計算機展(Computex 2018)也成為各領(lǐng)域業(yè)者(如IP、芯片、儲存) 火力展示的絕佳場(chǎng)合，紛紛于展會(huì )期間發(fā)布新的解決方案或市場(chǎng)布局規畫(huà)。

　　搶攻邊緣運算市場(chǎng) Arm動(dòng)作頻頻

　　Arm IP產(chǎn)品事業(yè)群總裁Rene Haas(圖1)表示，隨著(zhù)物聯(lián)網(wǎng)的蓬勃發(fā)展，Arm預測至2035年全球將會(huì )有超過(guò)1兆臺的聯(lián)網(wǎng)裝置，運用于醫療、汽車(chē)、燈具及道路等范疇， 而聯(lián)網(wǎng)裝置數量的大幅成長(cháng)也將帶領(lǐng)終端及云端運算的持續發(fā)展。 智能運算將持續推動(dòng)物聯(lián)網(wǎng)嶄新時(shí)代，帶領(lǐng)AI變革，促使物聯(lián)網(wǎng)智能運算無(wú)所不在。

　　圖1 Arm IP產(chǎn)品事業(yè)群總裁Rene Haas表示，物聯(lián)網(wǎng)蓬勃發(fā)展將使聯(lián)網(wǎng)裝置快速增加，智能運算未來(lái)將無(wú)所不在。

　　因應此一趨勢，且為整合生態(tài)系統的AI/機器學(xué)習(ML)應用、演算與框架，并結合軟件優(yōu)化與硬件IP產(chǎn)品，讓各式裝置及平臺都能支持最常使用的機器學(xué)習框架，Arm近期宣布推出三款全新IP產(chǎn)品，分別為Cortex-A76 CPU、 Mali-G76 GPU，以及Mali-V76 VPU，以提升游戲與AR/VR體驗，AI和機器學(xué)習能力。 透過(guò)這三款新產(chǎn)品，Arm將持續強化該公司于行動(dòng)領(lǐng)域的競爭優(yōu)勢，也再度增強了智能手機、平板計算機、PC等行動(dòng)終端裝置的運算效能。

　　Arm副總裁暨客戶(hù)事業(yè)部總經(jīng)理Nandan Nayampally(圖2)表示，未來(lái)5G將推動(dòng)整個(gè)行動(dòng)產(chǎn)業(yè)創(chuàng )新，即將到來(lái)的5G聯(lián)網(wǎng)應用，包含VR、AI或是手機游戲等將會(huì )帶動(dòng)更多運算量成長(cháng)，未來(lái)將會(huì )有更多不同運算需求產(chǎn)生。

　　圖2 Arm副總裁暨客戶(hù)事業(yè)部總經(jīng)理Nandan Nayampally指出，5G加AI將推動(dòng)整個(gè)行動(dòng)產(chǎn)業(yè)創(chuàng )新，Arm為此推出全新IP產(chǎn)品因應市場(chǎng)需求。

　　Nayampally進(jìn)一步指出，游戲也是推動(dòng)行動(dòng)裝置運算持續攀升的關(guān)鍵因素之一。 游戲產(chǎn)業(yè)已成目前全球營(yíng)收規模最大的市場(chǎng)之一，預計在2018年可達到1,379億美元的產(chǎn)值，這也驅動(dòng)了消費者對于運算效能的需求。

　　據悉，Cortex-A76是基于A(yíng)rm旗下的DynamIQ技術(shù)打造，和去年所發(fā)布的Cortex-A75相比，提升了35%的效能與40%的效率;可為終端裝置上的AI/ML提供4倍的運算效能， 于PC和智能手機上實(shí)現快速且安全的體驗。

　　Mali-G76則比前一代的Mali-G72 GPU提升30%運算效能，以及增加了30%的效能密度，不僅可滿(mǎn)足消費者隨時(shí)游玩高階游戲的需求，也為開(kāi)發(fā)人員提供更多的效能空間，使他們能編寫(xiě)更多新的應用程序， 為行動(dòng)應用帶來(lái)更多高階游戲，或是將AR/VR整合至生活當中。

　　最后，隨著(zhù)UHD 8K需求逐漸攀升，為確保IP能支持智能手機和其他裝置編碼譯碼運算，Arm便推出Mali-V76，可支持高達60fps的8K分辨率或四部60fps的4K串流影片，消費者能同時(shí)串流四部4K分辨率的電影、 在視頻會(huì )議中錄制影片，或者以4K觀(guān)看四場(chǎng)比賽;或在較低分辨率的狀況下，仍能呈現高分辨率畫(huà)質(zhì)(Full HD)，并能支持多達16部串流影片組成4×4的電視墻。

　　Project Trillium亮相 加速建構ML生態(tài)系

　　與此同時(shí)，為提升終端裝置機器學(xué)習效能，Arm也于2018年初發(fā)表Project Trillium平臺，包含全新機器學(xué)習處理器(ML Processor)、對象偵測處理器(Objects Processor)， 以及Arm神經(jīng)網(wǎng)絡(luò )軟件(Arm NN)。 相較于獨立CPU、GPU與加速器，Project Trillium平臺效能更遠遠超越傳統DSP的可編程邏輯。

　　Arm副總裁、院士暨機器學(xué)習事業(yè)群總經(jīng)理Jem Davies(圖3)指出，邊緣運算發(fā)展潛力十分龐大，目前市面上的確有許多獨立的解決方案，像是ASIC加速器、CPU/GPU等。 終端業(yè)者當然可以選擇自己想要的方案，不過(guò)缺點(diǎn)在于須花費時(shí)間自行進(jìn)行硬件與軟件(TensorFlow、Caffe)的整合。

　　圖3 Arm副總裁、院士暨機器學(xué)習事業(yè)群總經(jīng)理Jem Davies認為，Project Trillium可望為終端裝置打造完整的機器學(xué)習生態(tài)系。

　　Davies說(shuō)明，Project Trillium的優(yōu)勢在于，是以平臺的架構呈現，硬件方面不僅有ML Processor和Objects Processor可供選擇，同時(shí)也能透過(guò)Arm NN軟件， 協(xié)助用戶(hù)簡(jiǎn)化TensorFlow、Caffe與Android NN等神經(jīng)網(wǎng)絡(luò )框架和Arm Cortex CPU、Arm Mali GPU與機器學(xué)習處理器之間的鏈接整合。

　　Davies進(jìn)一步指出，軟件整合是發(fā)展機器學(xué)習其中一個(gè)關(guān)鍵要素，許多加速器業(yè)者或許有辦法提供相關(guān)硬件處理器(CPU、GPU)，但卻少有資源可以提供一個(gè)完善的平臺架構，協(xié)助客戶(hù)進(jìn)行軟硬件整合或是提升ML模型運算， 而Project Trillium包含全新的Arm IP處理器及神經(jīng)網(wǎng)絡(luò )軟件，從硬件和軟件面都能滿(mǎn)足現今市場(chǎng)需求，而這種方式也有助于A(yíng)rm建構完善的邊緣運算生態(tài)系。

　　另外，Davies也觀(guān)察到，MCU對機器學(xué)習的需求也十分強勁。 他透露，在Project Trillium上線(xiàn)，Arm NN軟件開(kāi)發(fā)工具包開(kāi)放用戶(hù)下載的第一天，就有超過(guò)5,000名用戶(hù)開(kāi)始使用CMSIS NN，嘗試以Cortex-M執行機器學(xué)習算法。

　　Davies說(shuō)，這個(gè)結果其實(shí)出乎Arm的預料，也顯示MCU用戶(hù)群對機器學(xué)習的需求跟興趣，是不容忽視的。 這也促使Arm決定在未來(lái)推出的新版Cortex-M核心中，進(jìn)一步強化這類(lèi)核心執行ML算法的效率。

　　CMSIS NN是Arm神經(jīng)網(wǎng)絡(luò )軟件開(kāi)發(fā)工具包Arm NN SDK下的一個(gè)運算函式庫(Compute Library)，可以提升Cortex-M執行機器學(xué)習算法的效率。 即便是現有的Cortex-M核心，在CMSIS NN的幫助下，也可以執行一些很簡(jiǎn)單的機器學(xué)習推論，例如判讀傳感器輸出數據所代表的意義。 當然，由于MCU的運算效能跟內存空間都不是很充裕，因此不可能執行非常復雜機器學(xué)習推論，但如果是對單一傳感器節點(diǎn)輸出的數據做簡(jiǎn)單判讀，還是有機會(huì )實(shí)現的。

　　Davies指出，MCU如果無(wú)法支持某些基本的ML算法，AI應用無(wú)所不在的未來(lái)是難以實(shí)現的。 目前透過(guò)云端數據中心提供的人工智能應用服務(wù)，其實(shí)有很明顯的應用局限，只有把AI不斷往邊緣推進(jìn)，才能讓AI應用更加普及。 而為了讓MCU能更有效率地執行ML算法，在A(yíng)rm未來(lái)的產(chǎn)品發(fā)展路線(xiàn)圖里面，Cortex-M執行ML的效率將會(huì )進(jìn)一步提升。

　　邊緣運算走入自動(dòng)駕駛 高效能處理器不可或缺

　　另一方面，汽車(chē)產(chǎn)業(yè)未來(lái)也將是邊緣運算的重點(diǎn)應用領(lǐng)域之一。 根據Arm預測，至2020年平均一臺汽車(chē)中將會(huì )嵌入多達200多個(gè)傳感器，并經(jīng)由100多個(gè)發(fā)動(dòng)機控制器(ECU)或微控制器(MCU)處理，而如何快速處理如此龐大的數據、實(shí)時(shí)做出回應并同時(shí)維持系統的穩定性與安全性， 打造符合用戶(hù)需求的自動(dòng)駕駛車(chē)，將成為未來(lái)汽車(chē)電子市場(chǎng)的一大挑戰。

　　對此，Arm副總裁暨嵌入式及車(chē)用事業(yè)部總經(jīng)理John Ronco(圖4)指出，邊緣運算興起，使得終端裝置不用再回傳大量數據到云端處理，但這也代表一般的CPU或機器學(xué)習芯片需要更高的處理效能，而這也是Arm推出Project Trillium和Cortex-A76的原因，而這些產(chǎn)品也相當適合放在汽車(chē)電子組件之中。

　　圖4 Arm副總裁暨嵌入式及車(chē)用事業(yè)部總經(jīng)理John Ronco表示，CPU、GPU等處理器須具備更高效能才可因應自動(dòng)駕駛安全需求。

　　此外，為實(shí)現自動(dòng)駕駛，一輛汽車(chē)上除了雷達、光達外，往往也會(huì )搭載視覺(jué)傳感器，也因此需要更高的GPU因應龐大的影像運算。

　　Ronco表示，自動(dòng)駕駛的視覺(jué)運算需求，和一般IP網(wǎng)絡(luò )攝影機差別在于，IP網(wǎng)絡(luò )攝影機大多是單一的鏡頭，且不常移動(dòng)，通常是安置在屋內/外某個(gè)角落監看。 但對汽車(chē)而言，會(huì )須要搭載數個(gè)攝影鏡頭，偵測路況和環(huán)境，所接收的影像信息十分龐大，且由于汽車(chē)一直在移動(dòng)，周遭景物也會(huì )跟著(zhù)不停變化，這會(huì )使得運算更加復雜，因此便需要完善的解決方案。

　　Ronco透露，像是Project Trillium內的對象偵測處理器主要是用于IP網(wǎng)絡(luò )攝影機，而要滿(mǎn)足汽車(chē)視覺(jué)運算需求，則是須靠如Mali-G76這類(lèi)的高效GPU，具備更高的運算效能，才能因應汽車(chē)行駛時(shí)快速的環(huán)境變化， 避免事故發(fā)生。

　　總而言之，AI時(shí)代為各項應用領(lǐng)域帶來(lái)新商機，而邊緣運算也勢將會(huì )走入汽車(chē)產(chǎn)業(yè)當中，但若要將邊緣運算建構于汽車(chē)中，必須嵌入更高階的技術(shù)才能達到更優(yōu)異的性能表現，使汽車(chē)能夠更智能、安全、有效率。

　　帶動(dòng)儲存需求 WDC具一條龍生產(chǎn)優(yōu)勢

　　邊緣運算興起，不僅促使處理器效能須跟著(zhù)增加，就連儲存需求也跟著(zhù)攀升，儲存業(yè)者因而加速產(chǎn)品布局腳步。 Western Digital嵌入式應用解決方案事業(yè)部副總裁Christopher Bergey(圖5)指出，邊緣運算、機器學(xué)習等技術(shù)，皆讓儲存和運算變得相當復雜。

　　圖5 Western Digital嵌入式應用解決方案事業(yè)部副總裁Christopher Bergey表示，因應邊緣運算市場(chǎng)，該公司一條龍的生產(chǎn)模式為市場(chǎng)競爭優(yōu)勢。

　　Bergey進(jìn)一步說(shuō)明，邊緣運算會(huì )隨著(zhù)不同的應用情境，對儲存產(chǎn)品有不同要求，像是在汽車(chē)上特別重視溫度、可靠性，在近年來(lái)又添加了成本和穩定供貨5年的考慮因素;另外在行動(dòng)裝置應用上，以智能手機為例， 像是現在消費者對拍照越來(lái)越要求，照片的畫(huà)素提高，也連帶使得手機儲存容量須跟著(zhù)變大，邊緣儲存的需求將跟著(zhù)變大，因此相關(guān)的嵌入式閃存(EFD)產(chǎn)品性能也隨之提升。

　　因應此一趨勢，像是Western Digital便推出新款iNAND產(chǎn)品系列--iNAND8521/iNAND7550，采用該公司64層3D NAND技術(shù)以及先進(jìn)的UFS與e.MMC接口，提供較佳的數據效能與龐大的儲存容量。 用于智能型手機與輕薄運算裝置時(shí)，這兩款產(chǎn)品能加速實(shí)現以數據為中心的各式應用，包括擴增實(shí)境(AR)、高解析視訊的擷取、社群媒體體驗，以及近期崛起的AI與物聯(lián)網(wǎng)邊緣體驗。

　　Bergey透露，未來(lái)行動(dòng)裝置的發(fā)展趨勢無(wú)庸置疑會(huì )朝更高性能邁進(jìn)，因為5G世代到來(lái)后，傳輸數據越來(lái)越快，創(chuàng )新應用會(huì )愈來(lái)愈多，加上AI興起，兩者若相結合后，對工作負載的要求也會(huì )隨之提升，儲存容量勢將會(huì )因而大增。 該公司也會(huì )持續跟手機業(yè)者密切合作，好針對需求提供合適的產(chǎn)品。

　　Bergey也指出，因應邊緣運算發(fā)展，該公司其實(shí)具備很好的戰略?xún)?yōu)勢。 原因在于，WDC具備完整的產(chǎn)品線(xiàn)(從低階產(chǎn)品到高性能產(chǎn)品)，另外，WDC是采用一條龍的生產(chǎn)策略，從晶圓、控制器、韌體和軟件等，都是自行負責，因此可以快速的針對市場(chǎng)變化推出產(chǎn)品，或是滿(mǎn)足設備商客制化需求， 這是WDC在競爭激烈的邊緣運算市場(chǎng)中所擁有的優(yōu)勢。

　　NXP攜手合作伙伴 加速開(kāi)發(fā)安全邊緣方案

　　至于NXP，則是從安全著(zhù)手，攜手生態(tài)系合作伙伴，如新漢、IMAGO、智邦科技、神準科技等，共同投入邊緣運算安全基礎架構的部署工作，支持在邊緣進(jìn)行連接的新興AI和機器學(xué)習，以及部署于云端的安全邊緣處理。

　　協(xié)力合作的系統供貨商將以NXP的Layerscape與i.MX應用處理器系列為基礎，進(jìn)行產(chǎn)品開(kāi)發(fā)，以符合需要本機處理能力與云端聯(lián)機功能的各種應用上。 開(kāi)發(fā)出的平臺提供運算能力、聯(lián)機功能及儲存容量之間的完善平衡，適合同時(shí)在企業(yè)及工業(yè)環(huán)境運作。

　　透過(guò)NXP的EdgeScale技術(shù)及Docker與Kubernetes的開(kāi)放原始碼軟件，可在常見(jiàn)云端架構上執行各種邊緣應用，包括Amazon Web Services(AWS)、Greengrass、Google Cloud IoT、微軟Azure IoT、阿里巴巴及私有云端架構。

　　NXP指出，EdgeScale是包含裝置和云端服務(wù)的套件，透過(guò)該產(chǎn)品可以簡(jiǎn)化安全運算資源在網(wǎng)絡(luò )邊緣的布建;而NXP將會(huì )與這些伙伴共同合作，為物聯(lián)網(wǎng)與企業(yè)內部部署(On-Premises)的運算平臺提供具擴展性、安全性， 以及部署方便性，以實(shí)現安全部署與管理。

　　恩智浦數字網(wǎng)絡(luò )事業(yè)部資深副總裁暨總經(jīng)理Tareq Bustami表示，建立安全的邊緣解決方案對于物聯(lián)網(wǎng)及工業(yè)4.0的成功發(fā)展極為重要，因此，該公司致力于與眾多設備制造商合作，提供容易使用且支持云端鏈接的安全邊緣運算解決方案。 透過(guò)合作，該公司將協(xié)助推出更智能、更多功能的邊緣解決方案，加入可進(jìn)行大規模部署及管理的強大安全功能。

　　綜上所述，可看出不論是IP商、儲存業(yè)者或是芯片供貨商，皆積極布局邊緣運算市場(chǎng)，各自開(kāi)發(fā)開(kāi)放平臺與硬件架構，期能讓AI走入各種終端裝置中，并且建構完善的生態(tài)圈。