用于邊緣設備的AI為設備制造商營(yíng)造機會(huì )

作者 Werner Goertz Annette Jump Gartner個(gè)人科技團隊研究總監 Alan Priestley Gartner研究總監

摘要：在持續完善機器學(xué)習模型和訓練過(guò)程中，各種個(gè)人設備(如：移動(dòng)設備、汽車(chē)和物聯(lián)網(wǎng))發(fā)揮著(zhù)不可或缺的作用。著(zhù)重闡述了個(gè)人設備在優(yōu)化深度學(xué)習架構中發(fā)揮的關(guān)鍵作用。

　　傳統的機器學(xué)習包括兩個(gè)功能：訓練和推理(運行時(shí)間)。訓練模型(參見(jiàn)圖1)通過(guò)對比真實(shí)事件(例如，捕捉圖像中的對象)實(shí)現持續改進(jìn)和完善。在傳統模型中，訓練和推理完全在云中運行(圖1中左側的垂直箭頭)。然而，這種模式最終會(huì )遇到可擴展性問(wèn)題，如：不可接受的延遲，依賴(lài)永遠在線(xiàn)的帶寬和數據隱私問(wèn)題等。因此，一種新的機器學(xué)習架構正在興起，處于網(wǎng)絡(luò )邊緣的設備在機器學(xué)習中扮演一定角色，尤其是在推理(右側垂直箭頭所示)方面。

　　對于各種設備制造商而言，這種新的分布式架構是很好的選擇?？萍籍a(chǎn)品管理領(lǐng)導者必須了解這一新興趨勢，掌握能夠啟動(dòng)設備，將推理放在邊緣上或設備中的組件和框架知識?，F在，制定路線(xiàn)圖成為了必要條件，它將本地AI(人工智能)處理和價(jià)值創(chuàng )造考慮到其中。下列設備將受益于新架構結構的開(kāi)發(fā)，并成為設備層面的推理備選項：

　　● 支持虛擬個(gè)人助理的揚聲器(VPA-enabled speakers);

　　● 家庭網(wǎng)關(guān)(home gateways);

　　● 智能手機;

　　● 平板電腦/個(gè)人電腦;

　　● 家庭傳感器(home sensors)。

　　在持續完善機器學(xué)習模型和訓練過(guò)程中，各種個(gè)人設備(如：移動(dòng)設備、汽車(chē)和物聯(lián)網(wǎng))發(fā)揮著(zhù)不可或缺的作用。

　　在本文中，我們著(zhù)重闡了個(gè)人設備在優(yōu)化深度學(xué)習架構中發(fā)揮的關(guān)鍵作用。

1 AI市場(chǎng)與分布式AI框架相融合

　　領(lǐng)先的AI框架組合已經(jīng)成形，并正在支持AI組件的無(wú)縫集成。這些框架包括：

　　● TensorFlow/TensorFlow Lite：TensorFlow是Google的開(kāi)源工具和軟件庫，旨在加速機器學(xué)習應用的開(kāi)發(fā)過(guò)程。2017年5月，TensorFlow Lite在Google I/O上推出。

　　● Caffe：Caffe是加州大學(xué)伯克利分校開(kāi)發(fā)的獨立框架。Caffe也是一種開(kāi)源框架，由全球貢獻者網(wǎng)絡(luò )提供支持。

　　● MXNet：Nvidia和Amazon是MXNet背后的推動(dòng)力。Amazon Web Services(AWS)的客戶(hù)對該開(kāi)源框架推崇有加。

2 運行中的邊緣AI

　　如今，技術(shù)供應商，特別是在智能家居領(lǐng)域的供應商都在面向邊緣AI的未來(lái)格局設計相關(guān)產(chǎn)品，而基于機器學(xué)習的智能數據分析就是不錯的開(kāi)端。此類(lèi)典型產(chǎn)品包括：

　　● 聯(lián)網(wǎng)家庭中樞和Wi-Fi接入點(diǎn)的制造商Securifi已經(jīng)將其機器學(xué)習功能應用于高端Almond路由器系列，“學(xué)習”聯(lián)網(wǎng)家庭設備的典型行為和流量模式;

　　● Speechmatics正在開(kāi)發(fā)最終可以完全在設備上運行的自然語(yǔ)言處理技術(shù);

　　● Mojo Networks提供基于A(yíng)I的工具以檢測Wi-Fi或有線(xiàn)網(wǎng)絡(luò )問(wèn)題。

3 AI解決方案的開(kāi)發(fā)需要個(gè)人設備供應商考慮兩個(gè)發(fā)展階段

　　除了確定AI解決方案的使用目的，在評估AI解決方案的部署情況時(shí)，技術(shù)產(chǎn)品管理領(lǐng)導者必須考慮兩個(gè)關(guān)鍵的開(kāi)發(fā)階段，具體如下。

3.1 開(kāi)發(fā)和訓練AI模型/神經(jīng)網(wǎng)絡(luò )

　　許多基于A(yíng)I的項目利用基于數據中心的資源，開(kāi)發(fā)和訓練用戶(hù)與其個(gè)人設備互動(dòng)的模型和神經(jīng)網(wǎng)絡(luò )，從而從AI解決方案中獲益。利用數據中心資源的原因在于神經(jīng)網(wǎng)絡(luò )的初始模型必須經(jīng)過(guò)訓練和“提升”，才能承擔預期的特定任務(wù)，包括語(yǔ)音識別/響應、語(yǔ)音翻譯或圖像識別。這通常要求模型能夠訪(fǎng)問(wèn)大量的“已知”數據和運行模型的連續迭代，來(lái)確保提供正確結果。訓練神經(jīng)網(wǎng)絡(luò )需要高性能的服務(wù)器驅動(dòng)系統，該系統能夠實(shí)現極高的數據吞吐量，以保證模型的多次迭代在可控時(shí)間段內運行。這些系統通?；诟咝阅躼86微處理器，并輔以一系列圖形處理器(GPU)，來(lái)加速神經(jīng)網(wǎng)絡(luò )算法的高度并行元素。

　　在很大程度上，經(jīng)過(guò)訓練的神經(jīng)網(wǎng)絡(luò )的可靠性取決于訓練網(wǎng)絡(luò )的已知優(yōu)良數據。這將要求設備供應商的技術(shù)產(chǎn)品管理領(lǐng)導者評估目前哪些數據可用，或能夠訪(fǎng)問(wèn)哪些數據訓練神經(jīng)網(wǎng)絡(luò );在可用數據不足的情況下，可以授權第三方數據集，或獲得預訓練神經(jīng)網(wǎng)絡(luò )模型的訪(fǎng)問(wèn)權限。使用預訓練的神經(jīng)網(wǎng)絡(luò )可以最大限度地減少對高性能服務(wù)器基礎架構的投資，而在訓練階段處理大型數據集離不開(kāi)這些基礎架構。

　　在開(kāi)發(fā)和訓練模型或神經(jīng)網(wǎng)絡(luò )之后，開(kāi)發(fā)人員通常會(huì )優(yōu)化模型，以便在基于“未知”數據推斷新結果，即在供客戶(hù)使用之時(shí)，減少費用和等待時(shí)間。

3.2 確定如何有效地為客戶(hù)部署AI解決方案

　　用于部署AI解決方案，根據未知數據推斷結果的選擇有多種：

　　(1)云端部署

　　對于許多開(kāi)發(fā)人員而言，這將是很簡(jiǎn)單的部署方案。開(kāi)發(fā)人員能夠利用與開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò )相同的系統和技術(shù)，這些系統已經(jīng)成為許多云服務(wù)中的“標準”產(chǎn)品。

　　這種方法面臨的挑戰是大量原始數據必須傳遞到云端，以便神經(jīng)網(wǎng)絡(luò )做出響應。這需要一個(gè)連續的高帶寬通信連接到云端，使用具有有線(xiàn)互聯(lián)網(wǎng)連接的設備，這一切將成為可能(例如智能家居設備和VPA)。然而，當無(wú)法保證云端連接或帶寬有限時(shí)，此方法并不適用(例如蜂窩連接)。

　　另一個(gè)必須考慮的因素是云服務(wù)處理輸入數據，以及在合理時(shí)間內做出響應的能力，這就是所謂的延遲。人們對于在用戶(hù)心生不滿(mǎn)、轉而采用其它方法之前的合理系統響應時(shí)間內已開(kāi)展了諸多研究。而且隨著(zhù)AI系統被用于任務(wù)關(guān)鍵型/生命關(guān)鍵型決策，延遲將越來(lái)越重要(例如自主駕駛系統)。

　　在很多情況下，應用程序延遲將是數據傳輸時(shí)間與神經(jīng)網(wǎng)絡(luò )原始執行時(shí)間共同的結果。在任何時(shí)候，這兩種情況都會(huì )受到用戶(hù)數量的影響。在高峰期，網(wǎng)絡(luò )帶寬或云計算能力可能會(huì )限制性能。

　　(2)個(gè)人設備

　　通過(guò)訓練神經(jīng)網(wǎng)絡(luò )和優(yōu)化推理模型，運行模型所需的處理資源一般遠遠少于訓練階段所需的資源。這能夠使模型在更簡(jiǎn)單的設備上運行，如：FPGA、專(zhuān)用神經(jīng)網(wǎng)絡(luò )芯片，甚至今天許多個(gè)人設備中使用的Arm處理器內核。

　　在個(gè)人設備中部署神經(jīng)網(wǎng)絡(luò )模型可以幫助開(kāi)發(fā)人員解決依賴(lài)云服務(wù)造成的延遲和連接性挑戰。

　　然而，將神經(jīng)網(wǎng)絡(luò )模型遷至設備本身也存在挑戰。首先，個(gè)人設備必須有足夠的資源運行神經(jīng)網(wǎng)絡(luò )模型和數據存儲，保存參考數據，使其能夠根據新的未知輸入推斷答案。

　　個(gè)人設備有各種設計限制。這些限制可能包括外形規格、電池壽命、功能性或大批量可制造性。因此，許多設備都采用定制AP(應用處理器)設計，這些AP將設備的大部分功能集成到單個(gè)芯片上。定制AP的典型示例包括蘋(píng)果公司在其智能手機和平板電腦中使用的A系列處理器，以及用于智能手機的高通Snapdragon AP。專(zhuān)用微控制器也常用于外形尺寸較大的個(gè)人設備。所有這些半導體器件都旨在平衡性能要求與延長(cháng)的電池壽命，即最低的設備功耗。

　　許多開(kāi)發(fā)AP的半導體供應商正在評估能夠運行神經(jīng)網(wǎng)絡(luò )的額外功能模塊。其中一些模塊專(zhuān)用于特定的神經(jīng)網(wǎng)絡(luò )功能，例如圖像識別。其他模塊則提供更多的靈活性，以便開(kāi)發(fā)人員根據自己的需求優(yōu)化神經(jīng)網(wǎng)絡(luò )。

　　現在，許多IP公司提供可集成到AP設計中的數字信號處理器(DSP)、GPU和FPGA IP模塊——所有這些都可以提供運行神經(jīng)網(wǎng)絡(luò )模型所需的并行性。

　　此外，一些公司正在開(kāi)發(fā)專(zhuān)用的AI處理器。但大部分都還沒(méi)有上市，不過(guò)在此期間，這些公司還提出了將AI功能添加到個(gè)人設備上的另一個(gè)選項。但是，由于這些AI處理器通?；趯?zhuān)有的處理器架構，提供完全集成的軟件堆?？赡芫哂刑魬鹦?。因此，應該進(jìn)行全面的評價(jià)，評估收益與替代設計決策對比。

　　使用標準個(gè)人電腦架構的更復雜的個(gè)人設備可以選擇使用基于周邊設備互連高速(Peripheral Component Interconnect Express)的GPU或FPGA附加卡(FPGA add-in card)執行神經(jīng)網(wǎng)絡(luò )功能。

　　(3)兩者兼具

　　對于許多應用而言，由于性能、功耗和外形規格因素的限制，完全在個(gè)人設備上運行神經(jīng)網(wǎng)絡(luò )模型可能并不可行。在這種情況下，最好分離推理操作，在設備和云中的其它設備上進(jìn)行操作。

　　本文來(lái)源于《電子產(chǎn)品世界》2018年第3期第5頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處。