基于Jetson TX2視覺(jué)識別的取放一體平衡機器人

基金項目：*遼寧科技大學(xué)大學(xué)生創(chuàng )新創(chuàng )業(yè)訓練計劃專(zhuān)項經(jīng)費資助

機器人技術(shù)是當前發(fā)展最快的領(lǐng)域之一，已經(jīng)廣泛應用于物流、制造、醫療衛生和社會(huì )服務(wù)等多個(gè)領(lǐng)域。針對在復雜環(huán)境下人工操作難以實(shí)現自動(dòng)化、智能化和精確性的問(wèn)題，本項目開(kāi)發(fā)了一款基于Jetson TX2的取放一體平衡機器人。該機器人采用高性能的Jetson TX2作為硬件平臺，可實(shí)現高速圖像處理和計算。機器人采用現代機器人技術(shù)的機械結構和電氣控制，包括兩輪平衡機器人和機械臂等。軟件系統包括圖像處理、運動(dòng)控制和用戶(hù)界面等模塊，通過(guò)自主感知、控制和運動(dòng)規劃等功能，該機器人能夠精準地捕獲并放置物品。本項目在Jetson TX2平臺上搭建了機器視覺(jué)開(kāi)發(fā)環(huán)境，并利用OpenCV等技術(shù)實(shí)現了本地端圖形方式的信息傳遞功能。針對機器人運動(dòng)過(guò)程中的控制，采用了PID 控制算法。

1 系統設計

1.1 系統框架

本機器人的運動(dòng)控制系統采用STM32F407IGH6 作為主控，該主控采用高性能的ARM Cortex-M4 處理器，能夠有效地處理高速數據和復雜算法。該主控存儲容量可擴展，可儲存大量程序代碼和數據，確保系統具有快速響應和高效性能。此外，該主控還擁有多種外設和通信接口，支持機器人系統的多樣化和復雜功能。該系列主控還具有低功耗特性和較高性?xún)r(jià)比，易于獲取開(kāi)發(fā)工具。

另外，機器人的視覺(jué)識別系統采用Jetson TX2，該系統采用基于Pascal 的多處理器GPU 架構和8 核ARM64 CPU，可提供超過(guò)1TFLOPS 的高性能計算能力，支持多種編程模型，包括神經(jīng)網(wǎng)絡(luò )、圖像處理和流媒體編碼等，還支持多種傳感器、控制器和執行器的連接，并配備了豐富的開(kāi)發(fā)工具和樣例，方便開(kāi)發(fā)人員進(jìn)行機器人應用的復雜開(kāi)發(fā)。綜上所述，Jetson TX2 在本項目中發(fā)揮了至關(guān)重要的作用，特別是在實(shí)現物體識別和信息獲取方面。

1.2 控制流程

機器人啟動(dòng)后，機器人將開(kāi)始采集環(huán)境圖像，并通過(guò)攝像頭將圖像傳遞給圖像處理模塊（TX2）。該模塊將使用圖像處理技術(shù)對圖像進(jìn)行處理，然后將處理后的數據傳遞給運動(dòng)控制模塊。在數據處理過(guò)程中，運動(dòng)控制模塊將使用PID 控制算法來(lái)監控機器人的運動(dòng)狀態(tài)。最終，在運動(dòng)控制模塊的規劃和控制下，機器人將達到預定的目標位置，并利用機械臂控制來(lái)抓取目標物體并將其存儲?？刂屏鞒倘鐖D1 所示。

圖1 控制流程

1.3 系統模塊

1.3.1 視覺(jué)模塊

為了處理視覺(jué)系統采集到的物體圖像和輸出檢測結果，本項目采用了Jetson TX2 和KS2A543 高速攝像頭。

1.3.2 平衡控制模塊

使用STM32F407IGH6 作為主控，通過(guò)CAN 總線(xiàn)獲取電機信息和參數，采用PID控制算法實(shí)現多重閉環(huán)，以控制輪組電機、YAW 軸電機和PITCH 軸電機。

2 硬件設計

2.1 硬件選型

為了提高機器人的性能，本項目采用了不同的硬件模塊。其中，Jetson TX2 作為視覺(jué)系統的處理器，用于處理物體圖片并輸出檢測結果；STM32F407IGH6 作為底盤(pán)和云臺的主控，負責底盤(pán)運動(dòng)控制和云臺底盤(pán)信息傳遞；陀螺儀選用單片機內置的BMI088。此外，為了實(shí)現高效穩定的動(dòng)力輸出，輪組電機和YAW 軸電機均采用大疆M3508 電機，具備有感FOC 控制，可提供穩定的扭矩，無(wú)論轉速高低都能保持平穩的動(dòng)力輸出，從而使得機器人具有快速響應和穩定性能。而根據實(shí)際需求，PITCH 軸電機則選用大疆M2006 電機，以具備控制精度高、輸出功率大、體積小等特點(diǎn)。云臺除了部署Jetson TX2 以外，還有控制機械臂的PITCH 軸電機、YAW 軸電機和輪組電機以及放置于機器人底盤(pán)上的STM32 主控。底盤(pán)和云臺之間通過(guò)CAN 通信進(jìn)行交互。硬件整體連接框圖如圖2。

圖2 硬件整體連接圖

3 軟件設計

3.1 軟件架構

本項目選用了TX2 作為嵌入式平臺，搭載Ubuntu16.04 系統和OpenCV3.4 等軟件構建高效運算平臺。通過(guò)利用攝像頭和TX2 解算數據模型，本項目可獲取空間圖像信息，并通過(guò)UART 串口通信將信息傳輸至STM32 單片機。同時(shí)，利用TX2 進(jìn)行深度圖像的像素級評估，對目標物體構建物體模型并獲取其特征點(diǎn)。接著(zhù)，通過(guò)TX2 進(jìn)行解算判斷，縮小機器人和目標物體之間的距離。此外，在Jetson TX2 平臺上構建了機器視覺(jué)開(kāi)發(fā)環(huán)境，以實(shí)現基于OpenCV 等技術(shù)的本地端圖形方式信息傳遞功能。

3.2 視覺(jué)識別算法

首先，需要使用標注工具對圖像中的目標物體進(jìn)行標記，并將其轉換為YOLO 模型所需的格式，包括圖片和標注文件。由于Jetson TX2 的硬件資源有限，因此可以使用預訓練的模型（如COCO、VOC 等）進(jìn)行微調訓練，逐漸增加Batch Size 以提高性能和收斂速度。同時(shí)，采用數據增強方法可以增加訓練數據，提高模型的準確性。訓練完成后，需要對其進(jìn)行測試以評估其準確性和性能?？梢酝ㄟ^(guò)使用測試集對YOLO 模型進(jìn)行測試，并觀(guān)察其輸出結果，從而檢查YOLO 算法是否能夠準確地檢測目標物體。最后，將訓練好的YOLO模型部署到Jetson TX2 上，并使用YOLO 提供的API進(jìn)行目標檢測。為了檢測圖像中的目標物體，本項目可以使用OpenCV 對圖像文件進(jìn)行讀取和檢測結果的顯示。一旦檢測到目標物體，可以獲取其位置、類(lèi)別等信息。在確定目標物體后，可以利用OpenCV 庫進(jìn)一步處理物體，如確定其顏色和尺寸等信息。

3.3 平衡控制算法

為了實(shí)現垂直方向上的平衡控制并生成程序骨架，可以使用STM32CubeMX工具并添加相關(guān)庫和驅動(dòng)程序，包括陀螺儀、CAN 和PID。利用CAN 總線(xiàn)獲取電機參數和信息，并讀取陀螺儀測量值，以實(shí)現平衡控制。在PID 控制算法中，P（比例）、I（積分）和D（微分）系數的選擇非常重要。P 系數影響響應速度和穩定性，I 系數用于消除靜態(tài)誤差，D系數減小震蕩?？梢酝ㄟ^(guò)實(shí)驗和仿真等方法來(lái)尋找最佳PID 系數值以實(shí)現更為穩定的平衡控制。在程序中，計算PID 控制器的輸出并根據輸出來(lái)控制電機的速度或位置等參數，以實(shí)現平衡控制。同時(shí)，需要對PID 控制器進(jìn)行限幅以防止電機失控，并不斷調整PID 系數以使平衡控制更加穩定和快速。

3.4 軟件總體實(shí)現

所有嵌入式算法基于HAL 庫通過(guò)freeRTOS 分任務(wù)執行。其中Chassis Task 任務(wù)負責獲取底盤(pán)控制等信息；Gimbal Task 任務(wù)負責獲取云臺等信息；Imu Task 任務(wù)負責解算板載陀螺儀；Annex Task 任務(wù)負責控制一些附件，例如舵機等；最后System Inform Task 任務(wù)負責進(jìn)行數據更新、交互及數據加載。軟件總體實(shí)現框圖如圖3。

圖3 軟件總體實(shí)現框圖

4 系統測試

4.1 物體目標檢測算法

首先，加載預先訓練好的YOLO 權重文件，獲取網(wǎng)絡(luò )結構的相關(guān)參數，以及包含了YOLO 所需的目標類(lèi)別名稱(chēng)的文本文件。接著(zhù)，使用函數提供的接口加載輸入的權重參數和YOLO 配置文件。這兩個(gè)文件應包含了模型的結構細節、輸入/ 輸出層名稱(chēng)和類(lèi)別標簽等信息。其次，加載需要檢測的圖像，并對其進(jìn)行預處理操作。這些操作包括：將像素值的范圍縮放到0~1 之間、調整其大小、重新排序，并添加1 個(gè)新的維度來(lái)拓展輸出數組形狀。將經(jīng)過(guò)預處理的圖像輸入到預訓練的物體檢測算法中，輸出檢測結果。為了剔除概率小的或者IoU 值大于設定閾值的重疊框，可以采用非極大值抑制（NMS）算法對輸出結果進(jìn)行后處理。接著(zhù)，對于檢測到的目標，進(jìn)行分類(lèi)、位置定位以及預測置信度的解碼，將算法的輸出轉換為邊框、概率和類(lèi)別ID。物體目標檢測算法的部分代碼展示如圖4 所示。

圖4 物體目標檢測算法部分代碼展示

4.2 測試結果

將處理好的目標物體檢測結果通過(guò)在原圖上畫(huà)出邊界框的方式展示出來(lái)。不同的目標物體可以用不同的顏色來(lái)代表它們所屬的不同識別類(lèi)別，并在標簽上顯示其對應的類(lèi)別名稱(chēng)。測試結果如圖5。

圖5 測試結果

4.3 測試結果分析

盡管PID 算法是一種常用的控制算法，但通過(guò)改進(jìn)PID 算法以提高系統穩定性和精度，或采用其他控制算法，如模糊控制、LQR 控制器等，可能會(huì )進(jìn)一步提高控制系統性能。需要注意的是，實(shí)驗結果僅基于特定場(chǎng)景，應進(jìn)一步探索該平衡機器人在實(shí)際日常條件下的表現，例如在不同表面的摩擦系數和坡度變化的情況下運動(dòng)、在不同亮度的日照下進(jìn)行視覺(jué)識別等。

5 結束語(yǔ)

本文介紹了一種基于Jetson TX2 平臺的平衡機器人，該機器人采用了視覺(jué)識別技術(shù)并使用STM32 作為主控芯片，能夠實(shí)時(shí)獲取各種傳感器數據，并對周?chē)h(huán)境進(jìn)行識別和控制。實(shí)驗結果表明，該機器人實(shí)現了優(yōu)秀的自平衡和控制功能，并表現出魯棒性和可靠性。未來(lái)的研究方向包括進(jìn)一步優(yōu)化控制算法、提高系統的穩定性和精度，以及在實(shí)際工作場(chǎng)景中進(jìn)行測試。此外，機械結構的設計和控制策略研究也是一個(gè)重要的方向，以進(jìn)一步提高機器人的準確性和穩定性。這些方面的改進(jìn)和優(yōu)化將有助于更好地應用平衡機器人在物流、醫療器械、環(huán)境衛生和其他服務(wù)領(lǐng)域?？傊?，該平衡機器人的設計和實(shí)現為機器人技術(shù)的發(fā)展提供了新的思路和方向，并在自動(dòng)化、智能化和精準化作業(yè)的領(lǐng)域具有廣泛的應用前景。

參考文獻：

[1] 劉愛(ài)東,郭智超,徐君明,等.基于改進(jìn)YOLOv4與JetsonTX2的無(wú)人機實(shí)時(shí)目標檢測方法[J].兵器裝備工程學(xué)報,2022,43(4):204-210.

[2] 梁赟. 基于機器視覺(jué)的產(chǎn)品識別與定位方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2020.

[3] 阮激揚. 基于YOLO的目標檢測算法設計與實(shí)現[D].北京:北京郵電大學(xué),2019.

[4] 王偉,張晶濤,柴天佑. PID參數先進(jìn)整定方法綜述[J].自動(dòng)化學(xué)報,2000,38(3):347-355.

[5] 路成強,曾潔,李千振.基于卡爾曼濾波的兩輪自平衡遙控小車(chē)設計[J].自動(dòng)化儀表,2017,38(9):44-47.

（本文來(lái)源于《電子產(chǎn)品世界》雜志2023年8月期）