多源信息融合的無(wú)人機海上搜救系統的研究與實(shí)現

作者 顧禹¹ 申家齊² 徐家晨¹ 王天真¹ 1. 上海海事大學(xué) 物流工程學(xué)院(上海201306) 2.上海海事大學(xué) 信息工程學(xué)院(上海201306) 

　　摘要：介紹了一種基于四旋翼飛行器簡(jiǎn)單、快速地搜尋海上落水者的系統。該系統由三部分組成：海事救援無(wú)人機、智能可穿戴設備和監控中心。海事救援無(wú)人機和智能可穿戴設備均采用Cortex-M4內核的XMC4700處理器。當人員落水時(shí)，智能可穿戴設備會(huì )不斷向外界發(fā)送佩戴者的位置信息和生命體征。海事救援無(wú)人機能按照預定軌跡飛行，同時(shí)利用機載攝像頭實(shí)時(shí)搜索落水者并將圖像傳送至監控中心。無(wú)人機還能在飛行的過(guò)程中不斷搜索附近是否有智能可穿戴設備的信號，若有，則將所得信息發(fā)送至監控中心同時(shí)飛向該位置并在人的指揮下投擲下救生物品。監控中心集中顯示已知落水者和無(wú)人機的所有信息，并提供快捷的按鈕命令供救援人員實(shí)現集中控制。

　　關(guān)鍵詞：四旋翼;飛行器;海上搜救;處理器

　　*2017-2018年度“英飛凌杯”全國高校無(wú)人機創(chuàng )新設計應用大賽“三等獎’’

　　0引言

　　四旋翼飛行器具有體積小、重量輕、靈活度高、成本低等特點(diǎn)，適用多種空間場(chǎng)所，可以在任何小平臺上靈活起降。它方便攜帶，低空飛行性好，可在復雜環(huán)境下快速執行搜索、投遞任務(wù)?；谒男盹w行器的海上搜救系統能有效快速地對大片海域進(jìn)行搜尋，因此能有效減少搜救時(shí)間，提高搜救效率，提升落水者的生還幾率，有著(zhù)廣闊的應用前景。該技術(shù)得到很多專(zhuān)家們的高度關(guān)注，成為當前該領(lǐng)域下最活躍的研究方向之一。

　　1系統整體方案

　　系統整體功能框圖如圖1所示。該系統由三部分組成：海事救援無(wú)人機、智能可穿戴設備(以智能監測手環(huán)為例)和監控中心。智能監測手環(huán)上配有GPS模塊、心率監測模塊、體溫監測模塊和通信模塊，實(shí)現不斷向外界發(fā)送位置坐標和生命體征的功能。四旋翼飛行器借助DJIN3飛行控制器實(shí)現無(wú)人機的平穩飛行;無(wú)人機以Infineon(英飛凌)公司XMC4700單片機為核心，由圖像識別模塊、通信模塊、投擲模塊等幾部分構成。飛行過(guò)程中，圖像識別模塊不斷判斷圖像中是否有落水人員，并將結果發(fā)送給XMC4700單片機，XMC4700根據所得圖像信息、手環(huán)信息和接收到的監控中心命令控制DJIN3實(shí)現自主飛行。當無(wú)人機發(fā)現落水者時(shí)，監控中心大屏幕上會(huì )用紅框將落水者框出，救援人員確認后向無(wú)人機發(fā)出投擲救援物品的命令，無(wú)人機飛行到落水者上空投擲下救生物品。同時(shí)，監控中心還會(huì )根據無(wú)人機發(fā)回的落水者生命體征等信息，自動(dòng)與醫療中心聯(lián)系。

　　2無(wú)人機硬件系統設計

　　四旋翼飛行器以XMC4700為主控制器，該芯片是一款基于A(yíng)RMCortex-M4內核的工業(yè)微控制器，主頻可達120MHz，為四旋翼對指令響應的即時(shí)性提供了保障。為提高在較大重量負載時(shí)四旋翼的穩定性與抗風(fēng)性，電子調速器使用了Infineon的iMOTIONIRMCF183，利用其MCE電機控制引擎，可以為電機設定詳細的參數和輸出曲線(xiàn)，保證電機在環(huán)境惡劣時(shí)能夠快速反應?；趯λ男眢w積、續航時(shí)間的考量，氣壓計采用了InfineonDSP310，特點(diǎn)是精度高、耗電量低、體積小巧、易用安裝。障礙物的距離測量采用了InfineonDistance2GO，這是一款24GHz雷達傳感器，相比超聲波、紅外等測距方案，雷達測量更精準，還可以捕獲目標的移動(dòng)速度、角度和方向，優(yōu)化無(wú)人機的運動(dòng)決策。

　　3無(wú)人機搜救過(guò)程

　　四旋翼飛行器控制系統框圖如圖2所示。

　　3.1總體方案

　　四旋翼機載處理器XMC4700通過(guò)UART從DJIN3飛行控制器獲取飛行數據，XMC4700通過(guò)UART與雷達Distance2go模塊通信獲取障礙物信息，通過(guò)I2C與氣壓計DPS310通信獲取氣壓信息并轉換為高度信息，通過(guò)UART與圖像處理單元通信獲取落水者位置信息通過(guò)無(wú)線(xiàn)串口獲取監控中心指令和智能手環(huán)發(fā)出的落水者信息。XMC4700在進(jìn)行數據融合后，通過(guò)UART向DJIN3發(fā)送飛行指令，DJIN3通過(guò)iMotion電調控制電機使飛機按照指令飛行。當無(wú)人機接收到監控中心的釋放救援物品指令時(shí)通過(guò)PWM控制投擲器上的舵機，從而打開(kāi)插銷(xiāo)使救援物品落下。

　　3.2像數據處理部分

　　硬件部分可以使用機載計算平臺進(jìn)行計算，也可以將圖像通過(guò)5.8GHz圖傳模塊傳輸至地面站上位機進(jìn)行分析，起到冗余備份的功能。兩種方式分析過(guò)程總體上一致。

　　在搜救的第一階段，無(wú)人機在較高高度飛行，對海面進(jìn)行大面積粗略搜索。在這一階段，我們使用OpenCV自帶的人上半身Haar特征分類(lèi)器對于圖像進(jìn)行分析，該分類(lèi)器使用Haar-like特征進(jìn)行檢測，使用積分圖(IntegralImage)對Haarlike特征求值進(jìn)行加速，使用AdaBoost算法對分類(lèi)效果進(jìn)行提升，使用篩選時(shí)級聯(lián)把分類(lèi)器級聯(lián)到一起以提高準確率。該分類(lèi)器可幫助我們查找圖像源中符合人上半身頭肩的圖像特征，并標注其位置，結合無(wú)人機當前GPS坐標可計算出通過(guò)視覺(jué)方式識別出的落水者坐標。該坐標用于與落水者手環(huán)發(fā)回的坐標進(jìn)行比對，當兩者匹配，即可進(jìn)入搜救第二階段。

　　在搜救的第二階段，無(wú)人機降低飛行高度，在第一階段確定的坐標附近區域進(jìn)行低空搜救。此時(shí)對于攝像頭采集到的圖像使用OpenCV自帶的人臉Haar特征分類(lèi)器對于圖像進(jìn)行分析，并將圖像中的人臉?lè )蛛x出來(lái)。再將人臉圖像與PCA方法訓練的人臉庫中的模型比較，輸出數據庫中匹配度最高的人員編號。該結果隨后會(huì )與溺水人員手環(huán)發(fā)回的設備id進(jìn)行比對以確定溺水者身份。其中，本系統主要運用了特征臉?lè )椒?Eigenface)對于人臉進(jìn)行識別，特征臉?lè )椒ㄊ菑膱D5智能監測手環(huán)系統框圖圖6上位機界面PCA導出的一種人臉識別和描述技術(shù)。就是將包含人臉的圖像區域看作是一種隨機向量，使用PCA算法通過(guò)求數據集的協(xié)方差矩陣最大的特征值對應的特征向量，從而找到數據方差最大的幾個(gè)方向，達到對數據降維的效果，并找到數據中最明顯的特征，即主成分。PCA算法的流程如圖3所示。經(jīng)過(guò)多重的確認之后，救援系統基本上可以確定溺水人員的身份，并會(huì )將信息比對融合結果回傳至監控中心主控制終端，經(jīng)過(guò)人工審核之后無(wú)人機便會(huì )飛向溺水人員坐標投擲救援物品。

　　4智能監測手環(huán)的制作

　　在該系統中智能監測手環(huán)用以XMC4700開(kāi)發(fā)板為核心的簡(jiǎn)易裝置來(lái)代替，其系統框圖如圖3所示。u-blox公司的6MGPS模塊通過(guò)UART將數據包發(fā)送到XMC4700開(kāi)發(fā)板上，XMC4700對數據包解包之后得到落水者的經(jīng)緯度數據，再結合心率數據和體溫數據一同通過(guò)無(wú)線(xiàn)串口向外發(fā)送，直至無(wú)人機接收到。

　　5監控中心上位機的制作

　　VisualStudio是一個(gè)功能強大的開(kāi)發(fā)工具集，可以快速開(kāi)發(fā)各種應用。該項目通過(guò)在VisualStudio中新建一個(gè)Windows窗體應用(.NETFramework)項目并利用其工具箱便可快速開(kāi)發(fā)出如圖4所示的上位機。上位機中內置落水者搜索功能。通過(guò)調用EmguCV庫或AForge庫可以實(shí)現基于哈爾模型的人臉檢測和基于PCA的人臉識別功能。

　　參考文獻：

　　[1]Lienhart R,Maydt J.An Extended Set of Haar-like Features for Rapid Object Detection [C]

　　Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference.

　　[2]Papageorgiou C P, Oren M, Poggio T. A General Framework for Object Detection[C]Computer Vision, 1998. Sixth International Conference

　　[3]Viola P,Jones M. An extended set of Haar-like features for rapid object detection[C]. Image

　　Processing. 2002. Proceedings. 2002 International Conference

　　[4]Oren M,Papageorgiou C,Sinha P,et al. Pedestrian detection using wavelet templates[C]. In

　　Computer Vision and Pattern Recognition, pages 193-99, 1997.

　　[5]Infineon.XMC4700 XMC4800 Reference Manual[R/OL].(2016-07).https://www.infineon.com/dgdl/Infineon-ReferenceManual_XMC4700_XMC4800-UM-v01_03-EN.pdf?fileId=5546d462518ffd850151904eb90c0044

　　[5]OPTIGA Trust SLS 10ERE Product Brief [R],2016-07

　　[6]TLI5012B E1000 [EB/OL].(2018-02-14).https://www.infineon.com/cms/en/product/sensor/magnetic-position-sensor/angle-sensor/tli5012b-e1000/

　　[7]TLI5012B E1000 data sheet[R/OL].(2018-02-4).https://www.infineon.com/dgdl/InfineonTLI5012B%20E1000-DS-v01_01-EN.pdf?fileId=5546d4624fb7fef2014ff423fcd077a8

　　[8]DPS310[EB/OL].(206-0905).https://www.infineon.com/cms/en/product/sensor/barometricpressure-sensor-for-consumer-applications/dps310/#ispnTab1

　　[9]DPS310 - Digital Pressure Sensor data sheet[R/OL].(2016-09-05).https://www.infineon.com/dgdl/Infineon-DPS310-DS-v01_00-EN.pdf?fileId=5546d462576f34750157750826c42242

      [10]DJI Onboard SDK文檔[EB/OL].(2018-02-02)https://developer.dji.com/cn/onboard-sdk/documentation/introduction/homepage.html

本文來(lái)源于中國科技期刊《電子產(chǎn)品世界》2019年第1期第79頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處