自主機(jī)器人所面臨的關(guān)鍵挑戰(zhàn)之一是感知和理解周圍的世界。

在 ROS World 2021 上，NVIDIA 發(fā)布了向 ROS 開發(fā)者社區(qū)提供高性能感知技術(shù)的最新項(xiàng)目。這些項(xiàng)目將加速產(chǎn)品開發(fā)、提高產(chǎn)品性能，并最終簡化為將先進(jìn)計(jì)算機(jī)視覺和 AI/ML 功能整合到基于 ROS 的機(jī)器人應(yīng)用程序中的任務(wù)。

公告要點(diǎn)

性能最強(qiáng)的實(shí)時(shí)立體測距解決方案以 ROS 包的形式提供

NGC 上的所有 NVIDIA 推理 DNN 均可以 ROS 組件的形式提供，并帶有圖像分割和姿態(tài)估計(jì)實(shí)例

Isaac Sim 中的新合成數(shù)據(jù)生成（SDG）工作流程，可為視覺 AI 訓(xùn)練創(chuàng)建大規(guī)模生產(chǎn)級(jí)數(shù)據(jù)集

Omniverse 上的 NVIDIA Isaac Sim GA 版本提供 ROS 開箱即用支持，是迄今為止對(duì)開發(fā)者最友好的版本

NVIDIA Isaac ROS GEM – 經(jīng)過優(yōu)化的性能

Isaac ROS GEM 提供圖像處理和計(jì)算機(jī)視覺等組件，其中有針對(duì) NVIDIA GPU 和 Jetson 進(jìn)行高度優(yōu)化的 DNN 算法。

重點(diǎn)GEM

立體視覺測距 – 超高的精度和經(jīng)過優(yōu)化的性能

當(dāng)自主機(jī)器在環(huán)境中移動(dòng)時(shí)，它們必須持續(xù)追蹤自己的位置。視覺測距通過估算攝像機(jī)與其起點(diǎn)的相對(duì)位置來解決這個(gè)問題。Isaac ROS GEM for stereo visual odometry 為 ROS 開發(fā)者提供這項(xiàng)強(qiáng)大的功能。

該 GEM 為實(shí)時(shí)立體攝像機(jī)視覺測距解決方案提供最佳精度。除了高精度之外，這個(gè) GPU 加速組件的運(yùn)行速度也非?？臁，F(xiàn)在已可以在 NVIDIA Jetson Xavier AGX 上以高清分辨率（1280×720）實(shí)時(shí)（》60fps）運(yùn)行 SLAM。

重點(diǎn) GEM DNN 推理現(xiàn)已向 ROS 開發(fā)者

開放所有 NGC DNN 推理模型

您可以使用 NVIDIA 在 NGC 上提供的眾多推理模型中的任何一種，甚至可以使用 DNN 推理 GEM（一套ROS2軟件包）提供自己的 DNN 推理模型。開發(fā)者可以使用 NVIDIA TAO 工具套件對(duì)預(yù)訓(xùn)練模型進(jìn)一步調(diào)整或者對(duì)自定義模型進(jìn)行優(yōu)化。

經(jīng)過優(yōu)化后，這些組件由 NVIDIA 推理服務(wù)器 TensorRT 或 Triton 部署。憑借使用 TensorRT（NVIDIA高性能推理SDK）的節(jié)點(diǎn)，可實(shí)現(xiàn)最佳推理性能。如果 TensorRT 不支持所需的 DNN 模型，則應(yīng)使用 Triton 來部署該模型。

GEM 包含對(duì) U-Net 和 DOPE 的原生支持?；?TensorRT 的 U-Net 組件可用于從圖像中生成語義分割掩碼。而 DOPE 組件可用于對(duì)所有檢測到的物體進(jìn)行三維姿態(tài)估計(jì)。

該工具是在 ROS 應(yīng)用中加入高性能 AI 推理的最快方式。

NVIDIA Isaac SIM GA 版本

Isaac Sim 的 GA 版本將于 2021 年 11 月發(fā)布，這將是迄今為止對(duì)開發(fā)者最友好的版本。其用戶界面、性能和實(shí)用構(gòu)建模塊經(jīng)過了大量改進(jìn)，使用戶可以更快構(gòu)建更強(qiáng)大的模擬。此外，經(jīng)過改進(jìn)的 ROS 橋和更多 ROS 樣本將提高 ROS 開發(fā)者的開發(fā)體驗(yàn)。

該版本的更新內(nèi)容

（2021.2版本計(jì)劃于2021年11月發(fā)布）

提升了性能，減少了內(nèi)存用量和啟動(dòng)時(shí)間

經(jīng)過改進(jìn)的占位圖生成，URDF 導(dǎo)入器

新的環(huán)境：大型倉庫、辦公室、醫(yī)院

用于與機(jī)器人、物體、環(huán)境對(duì)接的新 Python 構(gòu)建模塊

經(jīng)過改進(jìn)的 ROS/ROS2 橋、深度點(diǎn)云和激光雷達(dá)點(diǎn)云性能

樣本更新

Multi-robot navigation with ROS2

使用 ROS2 實(shí)現(xiàn)多機(jī)器人導(dǎo)航

SDG with Domain Randomization in Jupyter

Jupyter 中帶有域隨機(jī)化的 SDG

新的合成數(shù)據(jù)生成工作流程

來自 Isaac Sim 的生產(chǎn)級(jí)數(shù)據(jù)集

自主機(jī)器人需要使用大量不同的數(shù)據(jù)集，來訓(xùn)練眾多運(yùn)行其感知棧的 AI 模型。從真實(shí)世界場景中獲取全部訓(xùn)練數(shù)據(jù)的成本過高，而且一些極端場景可能存在危險(xiǎn)。Isaac Sim 提供的新合成數(shù)據(jù)工作流程，通過建立生產(chǎn)級(jí)數(shù)據(jù)集解決了自主機(jī)器人的安全和質(zhì)量問題。

建立數(shù)據(jù)集的開發(fā)者，可以控制物體在場景中的隨機(jī)分布、場景本身、照明和合成傳感器。開發(fā)者也可以通過精細(xì)的控制，確保數(shù)據(jù)集中包含重要的極端案例。最后，該工作流程支持版本控制和調(diào)試信息，因此可以在需要審核和保障安全時(shí)完整地復(fù)制數(shù)據(jù)集。

責(zé)任編輯：haq