基于Omniverse的NVIDIA Isaac Sim 現已發(fā)布公測版

Omniverse是NVIDIA模擬器的根本基礎，包括加入了多項新功能的Isaac平臺。NVIDIA Isaac Sim目前已發(fā)布公測版，您可以通過(guò)該平臺探索更高級的機器人模擬功能。

Isaac Sim基于NVIDIA Omniverse平臺而構建，它是一個(gè)機器人模擬應用與合成數據生成工具。機器人專(zhuān)家可使用它更高效地訓練和測試機器人，模擬機器人與指定環(huán)境的真實(shí)互動(dòng)，而且這些環(huán)境可以超越現實(shí)世界。

Isaac Sim的發(fā)布還增加了經(jīng)過(guò)改進(jìn)的多攝像頭支持功能、傳感器功能以及一個(gè)PTC OnShape CAD導入器，讓3D素材的導入變得更加輕松。從實(shí)體機器人的設計和開(kāi)發(fā)、機器人的訓練，到在“數字孿生”中的部署（數字孿生是一種精確、逼真的機器人模擬和測試虛擬環(huán)境），這些新功能將全方位地擴大可以建模和部署的機器人和環(huán)境范圍。

主要新功能

●   支持多攝像頭

●   帶合成數據的魚(yú)眼相機

●   支持ROS2

●   PTC OnShape導入器

●   經(jīng)過(guò)改進(jìn)的傳感器支持

○   超聲波傳感器

○   力傳感器

○   自定義激光雷達模式

●   可從NVIDIA Omniverse Launcher中下載

Isaac Sim可以將多攝像頭傳感器數據發(fā)送到Rviz（ROS可視化工具）

在Isaac Sim中控制Dofbot操作機器人

Isaac Sim實(shí)現了更多的機器人模擬

開(kāi)發(fā)者早已明白強大的模擬環(huán)境對機器人測試和訓練的益處，但此類(lèi)模擬器往往存在著(zhù)限制其使用的缺點(diǎn)。Isaac Sim通過(guò)以下優(yōu)勢來(lái)彌補這些缺點(diǎn)。

逼真的模擬

為了提供逼真的機器人模擬，Isaac Sim運用了Omniverse平臺的強大技術(shù)：使用PhysX 5進(jìn)行高級GPU物理模擬、借助實(shí)時(shí)光線(xiàn)追蹤和路徑追蹤實(shí)現高逼真度，以及支持物理渲染的材質(zhì)定義語(yǔ)言（Material Definition Language ，MDL）。

模塊化設計與豐富的應用

Isaac Sim專(zhuān)為解決許多最常見(jiàn)的機器人用例而創(chuàng )建，包括操控、自主導航和用于訓練數據的合成數據生成。其模塊化設計能夠讓用戶(hù)輕松自定義和擴展工具集，以適應多種應用和環(huán)境。

無(wú)縫連接和互操作性

借助NVIDIA Omniverse，Isaac Sim可以使用Omniverse Nucleus和Omniverse Connectors在通用場(chǎng)景描述（USD）中合作構建、分享、導入環(huán)境模型與機器人模型。通過(guò)ROS/ROS2接口或功能齊全的Python腳本，以及用于導入機器人模型和環(huán)境模型的插件，可以輕松地讓機器人的大腦與虛擬世界相連。

Isaac Sim的合成數據生成助力實(shí)現機器學(xué)習

合成數據生成是一個(gè)重要的工具，它正在被越來(lái)越多地用于訓練當今機器人的感知模型。獲取真實(shí)世界的、正確標記的數據是一項耗時(shí)且成本高昂的工作。 但就機器人技術(shù)而言，在現實(shí)世界中收集某些所需的訓練數據可能太困難或太危險。 對于必須靠近人類(lèi)工作的機器人來(lái)說(shuō)尤其如此。

Isaac Sim 內置了對訓練感知模型很重要的各種傳感器類(lèi)型的支持。這些傳感器包括 RGB、深度、邊界框和分割。

玻璃物體的真值合成數據

在公測版中，我們能夠輸出KITTI格式的合成數據。這些數據可以直接用于NVIDIA遷移學(xué)習工具包，以使用特定用例數據提高模型性能。

域隨機化

域隨機化能夠對定義模擬場(chǎng)景的參數進(jìn)行更改，如場(chǎng)景中的照明、顏色和材質(zhì)紋理等。域隨機化的主要目標之一，便是通過(guò)將神經(jīng)網(wǎng)絡(luò )暴露在所模擬的各種域參數中，來(lái)加強機器學(xué)習（machine learning ，ML）模型的訓練。這有助于模型在真實(shí)世界場(chǎng)景中實(shí)現有效的泛化。實(shí)際上，這項技術(shù)能夠教會(huì )模型忽略不重要的內容。

工廠(chǎng)場(chǎng)景的域隨機化

Isaac Sim能夠對定義一個(gè)特定場(chǎng)景的多個(gè)不同屬性進(jìn)行隨機化。借助這些功能，機器學(xué)習工程師可以確保合成數據集包含足夠的多樣性來(lái)驅動(dòng)穩健的模型性能。

可隨機化的參數

在Isaac Sim公測版中，我們通過(guò)允許用戶(hù)定義隨機化區域來(lái)增強域隨機化功能。開(kāi)發(fā)人員現在可以在場(chǎng)景中要隨機化的區域周?chē)L制一個(gè)框，場(chǎng)景的其余部分將保持靜態(tài)。