基于多傳感器融合的室內自主飛行器系統*

摘要：設計了以多旋翼無(wú)人機為平臺，基于多傳感器融合、ADRC自抗擾控制、YOLOv5目標檢測神經(jīng)網(wǎng)絡(luò )等技術(shù)的室內自主飛行器系統。系統以  Jetson NANO為運行平臺，采用ACFLY EDU飛行控制板運行核心控制部分，基于Intel RealSense T265的位置信息，融合飛行控制板IMU、高度氣壓計、TOF等傳感器數據對無(wú)人機 在室內的狀態(tài)進(jìn)行估計和修正，使用ROS和MAVROS構建通信系統，以提高無(wú)人機在室內飛行的平穩性。該系統可以根據控制命令或自主實(shí)現無(wú)人機一鍵起飛、動(dòng)態(tài)室內定位、飛行姿態(tài)控制、對室內目標的檢測與精準識別、航向控制與定點(diǎn)降落等功能。經(jīng)電子設計競賽實(shí)際測試，本系統能夠不依賴(lài)傳統的GPS信號和光流傳感器等模塊進(jìn)行定位，同時(shí)具有較高的定位精度，可在室內復雜條件下完成自主飛行器既定的設計功能。

關(guān)鍵詞：多傳感器融合；室內自主飛行；ADRC自抗擾控制；T265；YOLOv5神經(jīng)網(wǎng)絡(luò );ROS

*本項目獲得2021年全國大學(xué)生電子設計競賽國家二等獎

0 引言

無(wú)人機在最近十年內在民用領(lǐng)域有了長(cháng)足的發(fā)展，但由于室內全球定位系統（global positioning system, GPS）信號弱或不可用，傳統平臺依賴(lài)的慣性導航誤差較大，并且室內地面效應比較嚴重，所以室內無(wú)人機的發(fā)展進(jìn)度相對緩慢。筆者通過(guò)對室內無(wú)人機飛行器比賽的訓練和參與發(fā)現存在著(zhù)如下問(wèn)題：室內定位常用的光流傳感器受環(huán)境光照強度和參照面特征點(diǎn)數量的影響；氣壓計高度讀數隨著(zhù)樓層的變化，不能正常顯示飛行器相對地板高度；室內地面效應嚴重致使飛行器起飛時(shí)參數震蕩，傳統比例積分微分（proportional integral derivative, PID）控制參數難以調整等，因此對室內自主飛行器系統的研究十分必要。

本系統以多旋翼無(wú)人機為平臺，基于多傳感器融合、ADRC（自抗擾控制）等技術(shù)，設計了一款室內自主飛行器，在一般室內環(huán)境下能夠完成一鍵起飛、動(dòng)態(tài)室內定位、航向姿態(tài)控制、目標檢測等功能，拓展了無(wú)人飛行器在室內環(huán)境下的功能和可用性。

1 系統設計

1.1 系統組成部分

室內自主飛行器系統硬件部分包括：機載主控核心板 NVIDIA Jetson NANO，ACfl y EDU 飛行控制板、Intel RealSense T265 追蹤深度實(shí)感攝像頭、RealSense D435i 追蹤深度實(shí)感攝像頭、Tiger 動(dòng)力套裝、地面站等。室內自主飛行器系統軟件部分包括：Linux 操作系統、機器人操作系統 ROS、通信協(xié)議 MAVLINK、自抗擾控制 ADRC 算法、YOLOv5 目標檢測神經(jīng)網(wǎng)絡(luò )等。系統組成結構如圖 1 所示。

1.2 系統工作過(guò)程

機載主控核心板 NANO 實(shí)時(shí)將 T265 采集獲得的深度位置數據與飛行控制模塊采集的慣性測量單元（inertial measurement unit, IMU）及氣壓計數據進(jìn)行融合，實(shí)現對無(wú)人飛行器的當前位姿數據進(jìn)行糾正和估計，發(fā)送到飛控板，飛控板獲得位姿數據后根據控制指令對無(wú)人飛行器位置和姿態(tài)進(jìn)行控制。機載 D435i 深度相機可以通過(guò)部署在 Jetson NANO 上的 YOLOv5 神經(jīng)網(wǎng)絡(luò )對目標進(jìn)行識別。獲得目標的相對位置和坐標，并將數據 上傳到飛控板。

Jetson NANO 與飛行控制板使用 MAVLINK 協(xié)議通過(guò)串口實(shí)現通信功能；通過(guò) WIFI 連接遠程上位機部署調試界面 NoMachine 進(jìn)行非接觸式調試和任務(wù)布置工作。通過(guò)各個(gè)模塊的有機結合，最終實(shí)現了基于多傳感器融合的室內自主飛行器系統，可以借助 NoMachine 完成遠程命令下達實(shí)現自主飛行及功能操作。

2 系統功能實(shí)現

2.1 硬件部分

系統采用 Nvidia Jetson NANO 作為板載計算機。Jetson NANO 的浮點(diǎn)計算性能達到 472 GFLOPS 的同時(shí)，它能并行運行多個(gè)神經(jīng)網(wǎng)絡(luò )并同時(shí)處理多個(gè)高分辨率的傳感器。并且它具有小型化、輕量化和低功耗的特點(diǎn)，適合在無(wú)人機環(huán)境中進(jìn)行部署和開(kāi)發(fā)。

它作為無(wú)人機系統的核心，承擔著(zhù)信息處理和數據交互等工作，我們在它的系統之上搭建了 ros（實(shí)時(shí)操作系統）平臺，此平臺可以以節點(diǎn)的方式高效的處理來(lái)自各個(gè)傳感器的數據，同時(shí)在 ros 平臺上可以很方便的調用各個(gè)模塊廠(chǎng)家發(fā)布的模塊包，簡(jiǎn)化，方便我們獲取來(lái)自飛行時(shí)間（time of flight, ToF），攝像頭，飛控等各個(gè)模塊傳遞過(guò)來(lái)的信息數據，板載計算機進(jìn)行綜合處理之后可以通過(guò)串口，發(fā)送特定協(xié)議指令與飛控進(jìn)行通信，從而控制無(wú)人的各種姿態(tài)運動(dòng)。

圖2 NVIDIA Jetson NANO實(shí)物圖

系統采用 Intel RealSense T265 作為多傳感器融合的核心模塊，利用其內部的魚(yú)眼鏡頭、IMU 等模塊獲取環(huán)境中的視覺(jué)特征，而其內部帶有 Movidius Myriad 2 視覺(jué)處理單元（VPU）可以直接在攝像頭內部運行 V-SLAM 算法，減輕板材計算機數據處理的壓力，可以直接從攝像頭獲得其位姿數據，在未知空間可精確追蹤其路徑。在預期使用環(huán)境下它可以達到低于 1% 的閉環(huán)漂移誤差且也具有低功耗、小型化、輕量化等特點(diǎn)，有利于無(wú)人機在 GPS 數據不可用的位置進(jìn)行穩定飛行操作。

圖3 Intel RealSense T265 實(shí)物圖

項目采用 ACFLY EDU 開(kāi)源飛控做為飛行控制板，其采用 TM4C123GH6PM 作為核心芯片，能夠兼容 MAVLINK 通信協(xié)議，飛控內部帶有陀螺儀、磁羅盤(pán)、氣壓計等模塊，并支持外部傳感器模塊的拓展，能對多傳感器數據進(jìn)行檢測和融合，得到無(wú)人機當前自身的姿態(tài)，速度等數據信息。飛控通過(guò)四路 PWM 波控制電調出力，進(jìn)而控制各個(gè)電機的轉速，完成對無(wú)人飛行器的位姿和速度控制。

ToF 模塊，通過(guò)激光反射時(shí)間差獲取距離信息，它具有高精度，小體積，低功耗等特點(diǎn)，其距離分辨率可達到 1 cm，同時(shí)模塊通信方式支持串口模式，IIC 模式， modbus 模式，用戶(hù)可根據自身系統配特點(diǎn)對其進(jìn)行配置，該模塊可以與飛控通信，飛控再將其數據與自身帶有的氣壓計等模塊實(shí)現無(wú)人機飛行高度的控制和穩定。

圖5 tof實(shí)物圖

2.2 軟件部分

軟件部分主要負責控制無(wú)人機姿態(tài)位置、板際通信實(shí)現、傳感器數據采集、目標檢測、遠程控制等。

為了增加無(wú)人機姿態(tài)控制的精度以對抗室內環(huán)境的地面效應，筆者使用 ADRC 自抗擾控制算法代替傳統的 PID 控制算法以完成室內飛行控制的目的。傳統 PID 算法是由飛行控制板從 IMU 模塊中獲取四元數，對四元數濾波后進(jìn)行轉換得到歐拉角來(lái)獲取當前的姿態(tài)信息，通過(guò)構建 PID 模型的比例、積分、微分、三個(gè)量值來(lái)獲得最終輸出。 然而傳統 PID 算法的不足在于無(wú)法自適應外界干擾 來(lái)調整比例、積分、微分 三個(gè)量值使其能夠始終控 制姿態(tài)穩定，這在室內環(huán)境下尤其重要。因此筆者采 用 ADRC 方法即使用跟蹤微分器 TD、擴張狀態(tài)觀(guān)測器 ESO 和狀態(tài)誤差反饋控制律（NLSEF）三個(gè)模塊對無(wú)人機進(jìn)行控制。

通信方面，系統 NANO 主控板環(huán)境中運行 Ubuntu 18.04，并安裝ROS Melodic版本，更新MAVROS擴展包。 MAVROS 通信協(xié)議被廣泛應用于無(wú)人機通信，其是一種為微形飛行器設計的非常輕巧的、只由頭文件構成的信息編組庫。無(wú)人機的控制、狀態(tài)、位置等信息都可編譯為 MAVROS 數據包。機載電腦內部 ROS 節點(diǎn)調用 MAVROS 包進(jìn)行信息的訂閱和發(fā)布，將 ROS 數據與支持 MAVLINK 的飛行控制板進(jìn)行連接并傳輸相關(guān)數據。

目標檢測方面，系統依賴(lài)于 NANO 的 TensorRT 深度學(xué)習加速引擎部署 YOLOv5 模型。無(wú)人機通過(guò) D435i 深度相機獲取目標圖片，并將圖片傳入該模型中進(jìn)行檢測獲取目標中心點(diǎn)位置信息以及目標在圖片中的相對坐標信息。將這些信息與深度相機獲得的深度點(diǎn)云圖結合，再通過(guò) opencv 功能包進(jìn)行一系列的圖形學(xué)形態(tài)學(xué)操作處理，可以得到目標物形態(tài)、分類(lèi)，以及與無(wú)人機的距離位置等信息。板載電腦根據此類(lèi)信息，結合當前運行的任務(wù)要求，發(fā)送不同的無(wú)人機運動(dòng)控制指令，完成需 要實(shí)現的目標。

系統任務(wù)下達與遠程調試依賴(lài)于 NoMachine 圖形遠程界面 Linux 版本，通過(guò) Wi-Fi 將地面站上位機與 Jetson NANO 進(jìn)行連接?？梢栽诘孛嬲旧衔粰C觀(guān)察 NANO 的輸出值，對其進(jìn)行實(shí)時(shí)調試；也可通過(guò)上位機向機載電腦發(fā)送控制命令以控制無(wú)人機動(dòng)作。

圖6 無(wú)人機實(shí)物圖

3 實(shí)際項目設計

3.1 項目設計需求

本項目參加了 2021 年全國大學(xué)生電子設計競賽 G 賽題植保飛行器。賽題要求無(wú)人機按以下播撒區域飛行并做出指示：

圖7 播撒區域圖

賽題要求飛行器在“十”字起降點(diǎn)垂直起飛，升空至 150±10 cm 巡航高度 , 尋找播撒作業(yè)起點(diǎn)，從“A”所在區塊開(kāi)始“撒藥”作業(yè)，必須在 360 秒內完成對圖 7 中所有綠色區塊進(jìn)行全覆蓋播撒，作業(yè)完成后穩定準確降落在起降點(diǎn)；飛行器幾何中心點(diǎn)與起降點(diǎn)中心距離的偏差不大于 ±10 cm。

在作業(yè)區中放置一只高度為 150 cm、直徑 3.5± 0.5 cm 的黑色桿塔，桿塔上套有圓環(huán)形條形碼（放條碼的高度為 120~140 cm）；作業(yè)中或返航途中，飛行器識別條形碼所表征的數字，用 LED 閃爍次數顯示數字，間隔數秒后再次閃爍顯示。

最后以起降點(diǎn)“十”字中心為圓心，以上述桿塔二維碼中識別的數字乘 10 cm 為半徑，飛行器在該圓周上穩定降落；飛行器幾何中心點(diǎn)與該圓周最近距離的偏差不大于 ±10 cm。

3.2 無(wú)人機運動(dòng)控制邏輯

針對賽題要求，我們采取無(wú)人機以固定軌跡路線(xiàn)進(jìn)行播撒作業(yè)的方案，此方案可以有效的實(shí)現所有綠色區域檢測并避開(kāi)桿子防止區域，減少邏輯復雜度，簡(jiǎn)化系統流程。

運行軌跡如圖 8 箭頭所示。

圖8 運動(dòng)控制邏輯軌跡圖

想要完整實(shí)現的場(chǎng)地的遍歷，需要建立在無(wú)人機對于自身的精確定位，而在實(shí)際測試過(guò)程中，無(wú)人機由于地面效應等原因，在無(wú)人機起飛過(guò)程中會(huì )有不可控的震蕩，這容易造成 T265 數據的失效，因此在每次任務(wù)運行前，通過(guò)攜帶無(wú)人機遍歷場(chǎng)地獲取更多有效的視覺(jué)數據，可以有效減少 T265 自身數據出錯的概率。整個(gè)過(guò)程中無(wú)人機使用 ARDC 自抗擾控制進(jìn)行姿態(tài)自穩和位置校正。這一系列過(guò)程中系統調用了無(wú)人機姿態(tài)控制接口、位置控制接口、通過(guò) MAVLINK 協(xié)議完成了上述控制。

3.3 無(wú)人機功能控制邏輯

無(wú)人機在繞場(chǎng)飛行中，通過(guò)獲取自身的定位數據，判斷需要進(jìn)行的功能模塊，在無(wú)人機遍歷綠色區域塊的過(guò)程中，將會(huì )調用無(wú)人機下方的攝像頭獲取圖片，再通過(guò)顏色閾值判斷等方法對圖片進(jìn)行檢測，判斷下方作物顏色，以確定是否需要激光筆的閃爍。

而再遍歷完所有綠色區域的，返航時(shí)（即圖六中藍色箭頭所示行進(jìn)路線(xiàn)），將會(huì )打開(kāi)無(wú)人機側方攝像頭獲取圖片，并通過(guò)顏色閾值提取，膨脹腐蝕，霍夫直線(xiàn)檢測等一系列圖形學(xué)處理算法，再結合 t265 獲取到的深度圖共同判斷，可以有效的獲取桿子的距離以及方位，通過(guò) PID 等算法控制無(wú)人機向桿子位置靠近，最后再通過(guò)深度學(xué)習等算法獲取二維碼所在的位置，調節無(wú)人機姿態(tài)向其靠近，接近一定距離后讀取出相關(guān)條形碼，根據條形碼上的有效數據進(jìn)行降落操作。

整個(gè)系統模塊的流程圖如圖 9 所示。

圖9 功能控制邏輯

4 項目測試

本項目在自行搭建的，全封閉的保護網(wǎng)內進(jìn)行實(shí)驗測試，我們分別測試了無(wú)人機的失敗播撒（“漏撒”和“誤撒”）的次數，下降位置的準確度，以及二維碼識別成功率。

經(jīng)過(guò)實(shí)際測試，此套無(wú)人機系統可以實(shí)現無(wú)人機在室內精確定位以及穩定飛行。此項目方案流程可以較為 完整的完成題目要求的各個(gè)功能，而完成度與無(wú)人機穩定性及周?chē)h(huán)境密切相關(guān)。在一個(gè)較為寬闊且光線(xiàn)可控的封閉空間中，無(wú)人機的穩定性和完成度可以得到大幅度的提升。

4 結語(yǔ)

構建了一種基于多傳感器融合的室內自主飛行器系統，使用 Intel RealSense T265 攝像頭作為室內定位傳感器，在 NVIDIA Jetson NANO 上搭載 ROS，采用 ACFLY EDU 飛控進(jìn)行無(wú)人機姿態(tài)和位置控制，基于 MAVROS-MAVLINK 進(jìn)行通 信，使用 Intel Realsense T265 深度相機在 Jetson NANO 上部署 YOLOv5 進(jìn)行目標識別，通過(guò)無(wú)人機任務(wù)管理系統實(shí)現無(wú)人機位置和姿態(tài)控制。通過(guò)參加電子設計競賽無(wú)人機賽題試驗測試自主飛行器系統的性能。比賽實(shí)驗結果表明：

該系統實(shí)現了無(wú)人機在室內一鍵起飛、自主懸停、自主飛行、目標檢測和自主降落功能。

無(wú)人機能夠按照預定飛行路線(xiàn)自主飛行、傳感器融合達到了室內定位所需的精度要求、能夠按照要求完成既定任務(wù)。該系統定位精度高、穩定性強、能夠完成識別工作，對于室內智能無(wú)人機的實(shí)現具有很好的借鑒意義。

參考文獻：

[1] 姚光樂(lè ),王守雷.Pixhawk飛控系統的四旋翼無(wú)人機室內飛行技術(shù)研究[J].電子世界,2021(07):86-88.

[2] 藺曉俊,薛濤,孫習貞.基于視覺(jué)慣性里程計的室內自主飛行無(wú)人機系統設計[J].機械設計,2021:99-103.

[3] 李佳佳.四旋翼飛行器一致性控制研究[D].陜西:西安電子科技大學(xué).2018.

[4] 王晶晶,顧得.無(wú)人機室內自主定位方法研究[J].計算機與數字工程,2022(01):801-806.

[5] 祁江鑫,吳玲,盧發(fā)興,等.基于改進(jìn)YOLOv4算法的無(wú)人機目標檢測[J].兵器裝備工程學(xué)報,2022.

[6] 李健,劉孔宇,任憲盛,等.基于自適應閾值的Canny算法在MRI 緣檢測中的應用[J].吉林大學(xué)學(xué)報,2021(02):22-25.

[7] MAGNUS LIE HETLAND. Python基礎教程[M].北京:人民郵電出版社,2018.

[8] 葛暢,何振鵬,年哲,等.四旋翼無(wú)人機姿態(tài)測試平臺設計及運動(dòng)控制研究[J].機械設計,2019,36(1):136-140.

[9] 林曉華,王茂森,戴勁松.基于ROS的無(wú)人機占據地圖構建方案設計[J].兵器裝備工程學(xué)報,2021,42(5):215-220.

[10] 趙麗榮,楊毅.無(wú)人機室內定位技術(shù)綜述[C].第十四屆全國信號和智能信息處理與應用學(xué)術(shù)會(huì )議論文集,北京,2021:270-273.

[11] 張熙恒,張建強.多旋翼飛行器DIY入門(mén)與時(shí)間[M].西安:西安電子科技大學(xué)出版社,2018:144-146.

(注：本文轉載自《電子產(chǎn)品世界》2022年7月期)