STM32低功耗計算機視覺(jué)：模擬儀表展示

水表是常見(jiàn)的家庭設備，不過(guò)類(lèi)似圖一的模擬水表多達數千種，需要技術(shù)人員每個(gè)月到現場(chǎng)人工記錄數據，才能計算當月的使用量，這是十分費時(shí)且費力的工作?，F在，電表逐漸被智慧電表所取代，不過(guò)成本仍然很高，對于缺乏聯(lián)機能力的使用者，或尚未規畫(huà)更換經(jīng)費的國家來(lái)說(shuō)，這更加是艱巨的任務(wù)。

本文敘述如何透過(guò)使用具MCU嵌入式聯(lián)機能力的低分辨率攝影機所組成的低功耗、低成本系統，有效地將模擬儀表數字化。.


 
圖一

經(jīng)由采用意法半導體（STMicroelectronics；ST）的STM32WL55，透過(guò)攝影機擷取水表讀表區域，接著(zhù)利用MCU上執行的 AI 算法識別讀表。AI分類(lèi)器算法的結果（也就是讀表）以STM32WL（如 LoRaWAN）支持的遠程 sub-GHz 無(wú)線(xiàn)網(wǎng)絡(luò )傳輸。傳統的聯(lián)機裝置會(huì )將影像傳送到云端，而ST的解決方案則是傳輸讀數。這個(gè)方案的優(yōu)勢，在于透過(guò)本地 AI 模型可以快速準確地識別讀數，然后只需要將讀數傳送回數據中心即可。

這種方法不僅可以有效保護用戶(hù)數據的隱私（僅傳輸推論結果），而且效率更高，并且節省帶寬。如此，使用者就能以低成本、低功耗、高效率的方式解決這個(gè)問(wèn)題。



 
圖二

WL 系列是全世界第一款支持長(cháng)距離無(wú)線(xiàn)通信的 MCU。

STM32WL系列為一款可以連接LoRa低功耗廣域網(wǎng)的系統芯片，其整合STM32L4超低功耗系列和支持多種調變方案的Sub-GHz射頻子系統。


 
圖三

STM32 成功的重要因素為其強大的生態(tài)系統。從事STM32WL工作的開(kāi)發(fā)人員可以運用已在市場(chǎng)上獲得驗證之成熟的STM32生態(tài)系統，使用STM32通用開(kāi)發(fā)所熟悉開(kāi)發(fā)的工具，以及 subGHz 無(wú)線(xiàn)電開(kāi)發(fā)和 AI 設計工具專(zhuān)用的軟件包組成。如此即可大幅降低開(kāi)發(fā)門(mén)坎，加速產(chǎn)品上市時(shí)間。

生態(tài)系統中的資源，包括STM32CubeMX項目配置和程序代碼產(chǎn)生工具、STM32CubeMonitor運行時(shí)間監控、可視化工具，以及 STM32CubeProgrammer 程序代碼刻錄工具。

STM32Cube.AI有助于用戶(hù)將經(jīng)過(guò)訓練的AI模型快速部署到STM32上并進(jìn)行驗證測試。STM32CubeWL MCU軟件包組件，包含STM32WL系列執行所需的所有嵌入式軟件模塊，包括周邊設備驅動(dòng)器、ST LoRaWAN 通訊協(xié)議堆棧、Sigfox通訊協(xié)議堆棧，以及使用ST 安全啟動(dòng)和安全韌體更新技術(shù)實(shí)現LoRaWAN韌體無(wú)線(xiàn)更新的范例程序代碼。

另外，還有兩個(gè)采用STM32WL的核板，用于快速原型設計：NUCLEO-WL55JC1（868pm 915amp 923 MHz）和NUCLEO-WL55JC2（433Accord470 MHz），以及兩個(gè)Nucleo開(kāi)發(fā)板板，用于快速原型研發(fā)。而本文的使用范例即采用了NUCLEO-WL55JC2開(kāi)發(fā)板。



 
圖四

除了NUCLEO-WL55JC2之外，這個(gè)項目的另一個(gè)關(guān)鍵組件是攝影機。

攝影機模塊（采用低成本OV2640 傳感器）透過(guò)標準GPIO直接連接到NUCLEO-WL55JC2 開(kāi)發(fā)板中的STM32 MCU。由于STM32WL系列中沒(méi)有可用的DCMI 接口，在示范中使用了電磁計數器，這個(gè)計數器在多數常見(jiàn)的在線(xiàn)商店容易取得，因此容易復制重現。

實(shí)驗系統如圖五所示。

 
圖五

當所有硬件準備就緒之后，用戶(hù)就可以制作數據集進(jìn)行模型訓練。

在計算機視覺(jué)中有典型的入門(mén)項目，就是識別 MNIST 數據集。MNIST數據集收集0-9共十個(gè) 阿拉伯數字的手寫(xiě)字型，包括訓練集中6萬(wàn)個(gè)樣本和測試集中的1千個(gè)樣本。對于想要使用現實(shí)世界數據，嘗試學(xué)習技術(shù)和模式識別方法，同時(shí)在預處理和格式化方面動(dòng)用最少的人力來(lái)說(shuō)，這是很好用的數據庫。


 
圖六

不過(guò)，我們無(wú)法直接使用這個(gè)數據集，因為水表上的數字字型和色彩與此數據集有極大的不同，為了達到更好的效能，我們會(huì )使用上述所提到的設備，讓數據集與MNIST類(lèi)似。

以下討論這個(gè)項目，開(kāi)啟 STM32 計算機視覺(jué)的大門(mén)。

這個(gè)數據集大約有 4千個(gè)樣本，每個(gè)樣本包含五個(gè)數字。數據集的部分樣本，如圖七所示。


 
圖七

當有數據集之后，就可以建立神經(jīng)網(wǎng)絡(luò )，并使用自己的數據集訓練模型。在這個(gè)模型中，輸入40X32（數字）的灰階影像來(lái)識別從0到19的20個(gè)類(lèi)別，分別為：0、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19。圖八則是訓練中失誤和準確度的變化。這個(gè)數據集背景很簡(jiǎn)單，由于數字字型很規則，因此訓練效果很好。其實(shí)可以收集不同的水表讀數（不同的字型和色彩）一起訓練，如此一來(lái)，模型就可以識別多個(gè)水表讀數。


 
圖八

訓練結束后會(huì )取得模型檔案。迄今我們可以使用STM32cube.AI 工具，將模型轉化為優(yōu)化程序代碼，快速部署到 NUCLEO-WL55JC2開(kāi)發(fā)板上。

由于整合STM32Cube，讓STM32Cube.AI用戶(hù)能夠有效地將模型移植到多樣化的STM32 微控制器系列中。而且對于類(lèi)似模型也適用于不同產(chǎn)品的情況，能夠在STM32產(chǎn)品組合中輕松移轉，而此項目亦是利用STM32Cube.AI將模型部署到STM32WL。

此外，可以透過(guò)插件擴充STM32CubeMX的功能，自動(dòng)轉換預訓練的人工智能算法，并將產(chǎn)生的優(yōu)化數據庫整合到用戶(hù)項目中，而不是建構手動(dòng)輸入的程序代碼。而且還能將深度學(xué)習解決方案嵌入各種STM32 微控制器產(chǎn)品組合中，藉以對每個(gè)產(chǎn)品新增智能功能。

STM32Cube.AI 提供對各種深度學(xué)習框架的原生支持，例如 Keras、TensorFlow Lite、ConvNetJs，并支持所有可以匯出為ONNX標準格式的架構，例如PyTorch、Microsoft Cognitive Toolkit、MATLAB等。

此外，STM32Cube.AI支持來(lái)自大量機器學(xué)習開(kāi)放原始碼鏈接庫Scikit-Learn的標準機器學(xué)習算法，例如Isolation Forest、支持向量機器（SVM）、K-Means。

在這個(gè)項目中，使用了TensorFlow 架構。



 
圖九

最后，我們來(lái)看看實(shí)際效能。為了方便展示，我們將攝影機拍攝的影像和MCU上的識別結果傳送到計算機屏幕。影片中黑底白字的數字為攝影機所拍攝的圖片，第一行是AI模型的結果。我們將儀表設定為每五秒驅動(dòng)一次，因此數字每五秒更新一次。以下是未經(jīng)編輯的實(shí)際屏幕快照。

 
圖十