OpenVINO + ROS 加速機器人應用

　　什么是ROS?它與智能機器人有什么關(guān)系？另外ROS在OpenVINO中有哪些應用？
　　如果錯過(guò)6月20日來(lái)自英特爾物聯(lián)網(wǎng)事業(yè)部三位技術(shù)大咖的線(xiàn)上直播回顧，那么這篇文章為你整理了直播的干貨內容！
嘉賓介紹

　　接下來(lái)，由三位老師為大家分享關(guān)于OpenVINO+ROS加速機器人應用的知識干貨。
　　第一位分享的是楊洪老師。在他的分享中，他從ROS項目介紹，ROS在機器人中的應用，以及英特爾在ROS中的投入等方面進(jìn)行了分享。

　　首先，楊老師對ROS進(jìn)行了一個(gè)基本介紹——ROS即Robot Operating System(機器人操作系統)，它的實(shí)際意義是跑在傳統系統軟件(如Windows)的一個(gè)軟件框架，也可以說(shuō)它是一個(gè)次操作系統，它使得復雜的機器人開(kāi)發(fā)變得更加簡(jiǎn)單。
　　首先，楊老師對ROS進(jìn)行了一個(gè)基本介紹——ROS即Robot Operating System(機器人操作系統)，它的實(shí)際意義是跑在傳統系統軟件(如Windows)的一個(gè)軟件框架，也可以說(shuō)它是一個(gè)次操作系統，它使得復雜的機器人開(kāi)發(fā)變得更加簡(jiǎn)單。
　　ROS目前是一個(gè)開(kāi)源項目，由開(kāi)源機器人基金會(huì )進(jìn)行并推動(dòng)其發(fā)展。
　　其次，楊老師還為大家分享了ROS及其分支的發(fā)展歷程——ROS有三個(gè)分支：ROS,ROS-industrial，以及ROS 2.0。
　　ROS最早是在2007年，斯坦福大學(xué)人工智能實(shí)驗室與一家機器人初創(chuàng )公司W(wǎng)illow Garage的合作項目。截至2020年，ROS的第14個(gè)release版本也是其在ROS分支的最后一個(gè)版本被推出。而ROS-industrial的開(kāi)發(fā)是為了能夠更好地支持工業(yè)類(lèi)機器人的發(fā)展，比如多軸工業(yè)機械臂。這一分支以Consortium的方式組織運營(yíng)。最后，ROS 2.0，則是在社區在2014年推出的新一代機器人操作系統的概念，其目的是為了使得機器人操作系統具有更好的實(shí)時(shí)性以及更好的安全性。
　　接下來(lái)，楊老師繼續為大家分享了ROS在機器人領(lǐng)域的典型應用，主要是在A(yíng)erial,Component,Ground,Manipulator,Marine五個(gè)領(lǐng)域的應用。一些代表公司，如下圖所示：

　　除此之外，楊老師還分享到ROS的總體框架包括四個(gè)基本概念（節點(diǎn)，消息，主題，服務(wù)），許多軟件包，以及包含不同stack與repository的Universe。
　　最后，楊老師講到了Intel與ROS社區的關(guān)系。Intel不僅是ROS社區的領(lǐng)導者，還為ROS社區的代碼貢獻、產(chǎn)品推進(jìn)以及產(chǎn)品落地做出了很大的貢獻。
　　第二位分享的是劉為志老師，劉老師就ROS與OpenVINO結合的情況展開(kāi)了分享。

　　劉老師講到，OpenVINO是經(jīng)濟基礎，而ROS2 OpenVINO?是上層建筑。另外，ROS2有以下三個(gè)功能：
　　-表明如何把OpenVINO需要的實(shí)現封裝成ROS2需要的一些接口；
　　-在目前智能機器的發(fā)展過(guò)程中，不同場(chǎng)景的輸出是多種多樣的，而ROS2能將這些輸出整合成一個(gè)標準化的通訊協(xié)議與實(shí)現；
　　-拓展了在OpenVINO實(shí)驗過(guò)程中標準化或流水化處理的運行時(shí)管理機制。
　　其次，劉老師還為大家分享了機器人操作系統必備的三個(gè)方面：從個(gè)人傳感器及環(huán)境方面做一個(gè)對信息進(jìn)行感知的系統，對環(huán)境的感知進(jìn)行正確決策的系統，以及基于決策對硬件本體進(jìn)行控制的系統。
　　接下來(lái)，劉老師還分享了ROS OpenVINO?的應用流程，其本質(zhì)上使用OpenVINO本身通過(guò)第三方提供的模型，基于OpenVINO模型優(yōu)化器把模型轉化成OpenVINO可以識別的模式，基于OpenVINO提供的推斷引擎進(jìn)行識別，進(jìn)而由ROS OpenVINO?提供的運行時(shí)管理機制與標準化接口，與機器人的上層應用進(jìn)行無(wú)縫對接。
　　最后，劉老師還為大家介紹了Pipeline實(shí)現機制，如下圖所示：

　　第三位分享的是劉獻容老師，她主要為大家介紹了基于深度學(xué)習卷積神經(jīng)網(wǎng)絡(luò )的OpenVINO?加速和部署。
　　首先，通過(guò)OpenVINO?進(jìn)行卷積神經(jīng)網(wǎng)絡(luò )的計算步驟為：
　　利用Model Optimizer將已經(jīng)訓練好的神經(jīng)網(wǎng)絡(luò )模型轉化成OpenVINO優(yōu)化的模型，即IR。
　　利用Inference Engine提供一個(gè)通用接口，編寫(xiě)一個(gè)應用程序來(lái)完成推理。
　　其次，劉老師還為大家介紹了OpenVINO?的深度學(xué)習卷積神經(jīng)網(wǎng)絡(luò )模型：GPD(Grasp Pose Detection),GQ-CNN抓取檢測模型，以及Mask-RCNN模型。
　　接下來(lái)，劉老師針對一些應用例程和客戶(hù)案例進(jìn)行了，如下圖所示：

　　最后，劉老師演示了一段OpenVINO?抓取算法的Demo。如下圖所示：

以上就是三位老師分享的內容
Q&A環(huán)節
　　Q1.請問(wèn)ROS2目前對建圖算法的支持情況怎么樣，像ROS1的cartographer、gmapping等包可以跑嗎？OpenVINO與ROS2通訊交互的功能包是？
　　楊洪老師：關(guān)于ROS2里面的建圖功能的支持，目前在整個(gè)開(kāi)源機器人產(chǎn)品平臺上，用的比較多的是Cartographer以及Gmapping。Cartographer適用于相對較大的應用場(chǎng)景，而Gmapping適用于比較小巧，計算量較小的的場(chǎng)景。
　　對于ROS2的支持，Cartographer和Gmapping本身核心的算法并沒(méi)有太多的依賴(lài)，但是為了能夠跟ROS2的其他軟件組件如navigation一起工作，則需要相應的ROS2 interface。目前在github里面，Cartographer和Gmapping都有相應的開(kāi)源項目支持ROS2了。
　　Q2.ROS2在交通方面有什么應用？
　　楊洪老師：在這里我以目前較為火熱的自動(dòng)駕駛話(huà)題為例。ROS在自動(dòng)駕駛中的應用還蠻多的，雖然這并不是ROS的主要目的。舉一個(gè)例子，比如百度開(kāi)發(fā)的Apollo系統就是基于ROS做的。它在ROS上面引入了許多ROS2的概念。另外社區也有一個(gè)Autoware Foundation，主要的目標就是開(kāi)發(fā)基于ROS和ROS2的自動(dòng)駕駛框架。
　　Q3.ROS1節點(diǎn)之間的通訊需要master分發(fā)嗎？
　　楊洪老師：我在前面介紹過(guò)一個(gè)ROS Master系統，這個(gè)系統起到一個(gè)橋梁的溝通作用。但是，這并不意味著(zhù)所有消息的分發(fā)、溝通一定要通過(guò)ROS Master去做。它的主要功能是使系統里所有的點(diǎn)，信息等在ROS Master系統里進(jìn)行注冊創(chuàng )建，使得系統在運行時(shí)，第三方模塊需要系統里的信息時(shí)，形成點(diǎn)對點(diǎn)的后續溝通。
　　Q4.ROS2是否得到產(chǎn)品質(zhì)量，原有ROS1產(chǎn)品現在移植到ROS2是否合適？
　　楊洪老師：產(chǎn)品的質(zhì)量包括很多方面，ROS2只是機器人開(kāi)發(fā)中的一個(gè)環(huán)節。如果基于整個(gè)框架，質(zhì)量要涉及到底層硬件的開(kāi)發(fā)，產(chǎn)品操作系統本身的質(zhì)量?jì)?yōu)化，以及框架和上層開(kāi)發(fā)的軟件。如果要落實(shí)到具體的產(chǎn)品來(lái)講，是需要case by case的。另外，移植到ROS2的時(shí)機問(wèn)題，我個(gè)人建議從長(cháng)期產(chǎn)品規劃的角度來(lái)講，現在要開(kāi)始考慮ROS2的遷移的規劃了。因為社區今后新的開(kāi)發(fā)和版本發(fā)布都會(huì )主要圍繞ROS2進(jìn)行了。
　　Q5.ROS2和OpenVINO的語(yǔ)言可用labview嗎？
　　劉為志老師：目前我們還未試過(guò)，還不能說(shuō)能夠支持。但Labview本身基于CAI設計,想在OpenVINO上的應用不是很大。
　　Q6.ROS1的OpenVINO功能包會(huì )有二進(jìn)制的發(fā)行版嗎？OpenVINO使用python3會(huì )在ROS Melodic這些python2的ROS版本中做適配嗎？
　　劉為志老師：這是一個(gè)很好的問(wèn)題。去年我們考慮過(guò)將OpenVINO的功能包發(fā)行二進(jìn)制版，但我們最后發(fā)現有以下幾個(gè)風(fēng)險：
　　-OpenVINO本身需要依賴(lài)的OpenVINO Talk是一個(gè)完整的包
　　-這么大的包如果進(jìn)行二進(jìn)制發(fā)布，可能會(huì )造成使用者或ROS社區發(fā)布流程的一些問(wèn)題。
　　目前ROS OpenVINO同時(shí)支持ROS和ROS2兩個(gè)版本，在對ROS Melodic版本的支持中，目前沒(méi)有計劃支持Python2的相關(guān)工作。
　　Q7.OpenVINO是否加入了語(yǔ)義分割、實(shí)例分割的模型？語(yǔ)義分割每年都會(huì )有學(xué)者提出新的模型，如何利用OpenVINO使用新的模型得到分割結果？在得到場(chǎng)景理解的結果下，如何結合ros在移動(dòng)機器人上實(shí)現高級別的任務(wù)？
　　劉為志老師：提到分割的問(wèn)題，這個(gè)在OpenVINO里是支持的，在OpenVINO里有2至3個(gè)模型是支持道路分割的。另外，關(guān)于場(chǎng)景的建設，我認為應該有很多，比如行人過(guò)馬路，是需要道路分割的。
　　Q8.如何利用OpenVINO去實(shí)現室內場(chǎng)景的語(yǔ)義分割，構建語(yǔ)義地圖？
　　劉為志老師：實(shí)際上，就這個(gè)問(wèn)題，我建議大家去看Intel Lab史雪松老師在B站上的分享。
　　Q9.如果使用openvino，建議把openvino和ros放在一臺工控機上還是分開(kāi)部署？
　　劉獻容老師：我覺(jué)得這個(gè)問(wèn)題取決于工作負載和使用的設備。我可以分享一個(gè)我們做實(shí)例所得到的結果。目前OpenVINO在工業(yè)環(huán)境下的負載主要有視覺(jué)的計算，對工業(yè)機器人的控制，以及對于運動(dòng)規劃算法的計算。在實(shí)際中，我們將OpenVINO的視覺(jué)檢測和ROS機器放在同一臺機器上。但是如果增加運動(dòng)規劃和避障，為了保證實(shí)時(shí)性以及安全性，可以考慮分開(kāi)部署，選擇虛擬機或者多種架構集成芯片。
　　Q10.OpenVINO比Tensorflow Lite有什么優(yōu)勢，Tensorflow模型可以在OpenVINO運行嗎？
　　劉獻容老師：首先，Tensorflow Lite我沒(méi)有具體操作過(guò)，只看過(guò)一些簡(jiǎn)單的介紹，我覺(jué)得它們各自的優(yōu)化目標和優(yōu)化目的其實(shí)是不一樣的。像OpenVINO更多的是把常用的深度學(xué)習框架都能支持其優(yōu)化，而Tensorflow Lite主要是把其自己的模型進(jìn)行一個(gè)優(yōu)化。他們的共同之處是，他們二者都希望能夠實(shí)現跨平臺。