Cortex-M：網(wǎng)絡(luò )邊緣的機器學(xué)習

　　摘?要：介紹ML，特別是ML如何從云滲透到網(wǎng)絡(luò )的邊緣。

　　關(guān)鍵詞：人工智能；機器學(xué)習；邊緣；Cortex-M

　　人工智能(AI)及其子集機器學(xué)習(ML)均代表著(zhù)人類(lèi)生存的重要發(fā)展里程碑。雖然人們仍然在爭論一些道德問(wèn)題，但AI和ML所提供的潛在好處實(shí)在令人難以抗拒。

　　AI是一個(gè)非常廣泛的主題（如圖1），在這里詳細介紹ML，特別是ML如何從云滲透到網(wǎng)絡(luò )的邊緣。

　　1 什么是機器學(xué)習？

　　“機器能夠思考嗎？”這個(gè)問(wèn)題促使偉大的科學(xué)家Alan Turing開(kāi)發(fā)了“圖靈測試(Turing test)”，今天這仍然是回答這個(gè)問(wèn)題的基準。如果機器可以學(xué)習，那么他們在考慮必須證明事項(QED)嗎？這仍然是關(guān)于“思考”定義的諸多爭論的主題。機器需要一個(gè)開(kāi)始學(xué)習的基礎，不過(guò)隨著(zhù)時(shí)間的推移，它們正在進(jìn)行自主學(xué)習并發(fā)展出更強的理解能力。

　　真正引發(fā)ML爆炸的是云計算和大數據中幾乎無(wú)限的容量和訪(fǎng)問(wèn)。后端系統可以提供數據，然后在云服務(wù)器上運行算法。從云，我們可以獲得見(jiàn)解并做出決策。 因此，ML收集數據，通過(guò)基于云的算法和訓練集處理數據，并且采取行動(dòng)。ML在整個(gè)過(guò)程中創(chuàng )建新的學(xué)習路徑，人手操作并非絕對必要。

　　ML有4類(lèi)操作：監督學(xué)習、無(wú)監督學(xué)習、半監督學(xué)習和強化學(xué)習。

　　1）監督學(xué)習。監督學(xué)習使用帶有特征和標記的數據集，然后在訓練過(guò)程中將其提供給學(xué)習算法，其中，ML將會(huì )弄清楚所選特征與標簽之間的關(guān)系。而后，人們使用學(xué)習結果對新的未標記數據進(jìn)行分類(lèi)。

　　2）無(wú)監督學(xué)習。當不知道正確答案是什么時(shí)，就會(huì )發(fā)生無(wú)監督學(xué)習，因此數據集是未經(jīng)標記的。在這種情況下，預計會(huì )找到數據本身所表明的自然分組的模式。答案并不明顯。此外，正確答案可能有許多組合，這取決于所考慮的變量。

　　3）半監督學(xué)習。對于僅有部分標記的大型數據集可以做些什么呢？要么完成標記其余數據的過(guò)程，要么嘗試使用半監督學(xué)習算法。許多現實(shí)世界的機器學(xué)習問(wèn)題都屬于這種類(lèi)型，因為將整個(gè)數據集進(jìn)行標記然后進(jìn)行完全監督學(xué)習的方法通常過(guò)于昂貴和耗時(shí)。另一方面，可能不一定需要無(wú)監督學(xué)習方法。因此，通過(guò)結合這兩種學(xué)習方法，理論上應該可以提供兩全其美的優(yōu)勢。研究表明，同時(shí)使用標記和未標記數據實(shí)際上提供了最佳的學(xué)習長(cháng)期結果。

　　4）強化學(xué)習。強化學(xué)習是最復雜的方法，這與人類(lèi)實(shí)際學(xué)習的方式最相似，這種復雜的學(xué)習方式受到博弈論和行為心理學(xué)的啟發(fā)。

　　這種學(xué)習方法通常涉及代理、正在進(jìn)行操作的機器和解釋器，代理將會(huì )暴露于執行操作的環(huán)境中，然后，解釋器將根據該操作的成功與否來(lái)獎勵或懲罰代理。

　　代理的目標是通過(guò)以不同的方式與環(huán)境迭代交互，從而找到最大化獎勵的最佳方式，數據科學(xué)家在這種學(xué)習方法唯一為代理提供的，就是量化績(jì)效的方法。

　　這種方法已被許多開(kāi)發(fā)機器人和自動(dòng)駕駛車(chē)輛的企業(yè)所采用。它通常與監督學(xué)習等其他學(xué)習技術(shù)一起部署，創(chuàng )建一個(gè)集合學(xué)習模型。這是因為很難將強化學(xué)習應用于環(huán)境、行動(dòng)和規則變化的場(chǎng)景。

　　2 數據分組和分類(lèi)

　　所獲取的數據需要分類(lèi)為相關(guān)的對象，二項分類(lèi)是指數據分為兩類(lèi)中的一類(lèi)，例如：“在溫度范圍內”和“超出溫度范圍”。多級分類(lèi)則允許多種分類(lèi)，例如對于溫度分類(lèi)，它可以讀作：“在范圍內”、“關(guān)斷高”、“臨界高”、“高警報”、“低警報”、“臨界低”和“關(guān)斷低”。

　　異常檢測是單一類(lèi)型分類(lèi)算法，其唯一目標是查找數據集中的異常值或出現在正態(tài)分布之外的異常對象。這可用于檢測故障設備中的奇怪瞬變之類(lèi)事件。

　　3 學(xué)習模型

　　1）線(xiàn)性回歸

　　這項技巧長(cháng)期以來(lái)一直是統計學(xué)家的主要工具，而數據科學(xué)和統計學(xué)在各個(gè)領(lǐng)域都具有很多的相似之處。線(xiàn)性回歸已經(jīng)應用于機器學(xué)習，作為在自變量變化時(shí)顯示因變量和自變量之間關(guān)系的標準方法。

　　學(xué)習方法：監督學(xué)習（如圖2）。

　　2）決策樹(shù)

　　這種算法具有很高的可解釋性，可以很好地處理異常值和缺失觀(guān)察結果?？梢詫⒍鄠€(gè)決策樹(shù)協(xié)同工作以創(chuàng )建稱(chēng)為合奏樹(shù)的模型。合奏樹(shù)可以提高預測準確度，同時(shí)在一定程度上減少過(guò)度擬合。

　　學(xué)習方法：監督學(xué)習（如圖3）。

　　3）支持向量機

　　支持向量機(SVM)通常用于分類(lèi)，但也可以轉換為回歸算法。通過(guò)找到最佳超平面(不同數據類(lèi)型之間的劃分)，SVM便可以在分類(lèi)問(wèn)題上帶來(lái)更高的準確度。為了找到最佳超平面，這個(gè)算法將在數據類(lèi)型之間繪制多個(gè)超平面。然后，算法將會(huì )計算從超平面到最近向量點(diǎn)的距離，通常稱(chēng)為余量。然后，它會(huì )選擇使用產(chǎn)生最大余量的超平面，即最優(yōu)超平面。最后在分類(lèi)過(guò)程中利用最優(yōu)超平面。

　　學(xué)習方法：監督學(xué)習（如圖4）。

　　4）K-Means聚類(lèi)算法

　　K-Means聚類(lèi)算法用于查找數據點(diǎn)之間的相似性并將它們分類(lèi)為多個(gè)不同的組別，K是組別的數量。

　　學(xué)習方法：無(wú)監督學(xué)習（如圖5）。

　　5）分層聚類(lèi)

　　分層聚類(lèi)是沿著(zhù)分層樹(shù)來(lái)創(chuàng )建已知數量的不同大小的重疊群集以形成分類(lèi)系統，這種聚類(lèi)算法可以通過(guò)各種方法來(lái)實(shí)現，最常見(jiàn)的方法是凝聚和分裂。重復分裂過(guò)程，直到獲得所需數量的群集。

　　學(xué)習方法：無(wú)監督學(xué)習。

　　6）神經(jīng)網(wǎng)絡(luò )算法

　　神經(jīng)網(wǎng)絡(luò )（NN）與機器人和神經(jīng)科學(xué)高度相關(guān)，因此，它自然成為最令人興奮的探索算法。神經(jīng)網(wǎng)絡(luò )，特別是人工神經(jīng)網(wǎng)絡(luò )，由3個(gè)層級組成：輸入層、輸出層和一個(gè)或多個(gè)隱藏層，用于檢測數據中的模式，通過(guò)在每次處理一組數據時(shí)為隱藏層內的神經(jīng)元分配權重來(lái)實(shí)現。

　　學(xué)習方法：無(wú)監督學(xué)習（如圖6）。

　　4 將機器學(xué)習帶到網(wǎng)絡(luò )邊緣

　　那么，我們現在對于ML究竟是什么有了一點(diǎn)基礎，這與在遍布各處的數十億個(gè)產(chǎn)品中的小型嵌入式單元里的微控制器(MCU)有什么關(guān)系呢？

　　當ML科學(xué)以一日千里的速度快速發(fā)展時(shí)，其效率也相應提高，ML的調整元素也適用于越來(lái)越多用例。那些先前不得不在云完成的工作，現在已有可能在具有1 MB閃存和256 kB RAM的MCU，比如來(lái)自Nordic的nRF52840 SoC上完成了。沒(méi)有人說(shuō)應當在這類(lèi)空間受限設備中這么做，但它已被證明是可行的，而一流的無(wú)線(xiàn)嵌入式SoC具有更大的處理能力，ML工具和算法更適用于這樣的平臺。這當然存在著(zhù)局限性，nRF52840之類(lèi)器件永遠無(wú)法及得上基于云的系統的絕對優(yōu)勢。但是，它能夠做到在沒(méi)有云連接的情況下執行實(shí)時(shí)的本地化的專(zhuān)用機器學(xué)習。當然，它可以與基于云的系統(如Matillion或許多其他系統)結合使用，以提供具有眾多優(yōu)勢的混合ML學(xué)習方法。

　　5 用于嵌入式Cortex-M MCU的ML工具

　　現在有某些工具可以為ML創(chuàng )建學(xué)習集 。Tensorflow與其相關(guān)的Tensorflow Lite可能是最廣為人知的工具。這款工具是谷歌開(kāi)發(fā)的，是為ML用途設計的開(kāi)源庫框架。谷歌將其用于自己的人工智能用途，具有足夠強大的圖像識別功能。工作流程沿襲使用python和程序庫來(lái)構建模型和訓練集的多個(gè)階段。而后，Tensorflow將生成在設備或系統上實(shí)施的C++代碼。用戶(hù)可從Apache MXNET、Microsoft CNTK和Pytorch獲取其他ML程序庫。

　　6 目前發(fā)展狀況和未來(lái)展望

　　迄今為止，ML仍然是一個(gè)前沿領(lǐng)域，還有很多的道路要走。但筆者認為，預計未來(lái)數年我們將看到ML出現在大量的嵌入式系統中，有些是相當粗淺的，有些是非常復雜的。聲音和語(yǔ)音識別應用顯然具有吸引力，機器中的音頻識別也是如此。在這些機器應用中，可以通過(guò)音頻識別發(fā)現軸承或電機可能接近使用壽命，并需要更換。

　　就在2019年的Google I/O 2019活動(dòng)中，Arm和谷歌宣布針對Tensorflow Lite和 μTensor項目建立合作伙伴關(guān)系，這些項目將在Tensorflow Lite Micro Project下進(jìn)行合并?，F有一個(gè)在A(yíng)rm mbed上使用ML進(jìn)行關(guān)鍵詞搜索(KWS)的開(kāi)源項目 ^[1] ，如果你有興趣，請在這里查看。

　　機器學(xué)習的發(fā)展如日中天，日后我們會(huì )繼續為你更多有關(guān)Cortex-M和Nordic器件之ML應用的信息。

　　參考文獻

　　[1]ML-KWS-for-MCU[EB/OL].https://github.com/ARM-software/ML-KWS-for-MCU/blob/master/Deployment/README.md

　　本文來(lái)源于科技期刊《電子產(chǎn)品世界》2019年第10期第27頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處。