埃森哲和 Foretellix 等企業(yè)組織正在通過高保真、可擴展的傳感器仿真，加速開發(fā)新一代自動駕駛汽車和機器人。

生成式 AI 和基礎模型讓自主機器的能力能夠超越其所訓練的操作設計領域。通過標記化和大型語言及擴散模型等新 AI 技術，開發(fā)者和研究人員現(xiàn)可解決自主性方面長期以來面臨的障礙。

這些更大型的模型需要大量多樣化的數(shù)據(jù)進行訓練、微調和驗證。但是，收集這些包括罕見的邊緣案例和潛在危險場景的數(shù)據(jù)可能非常困難，且需要大量資源，例如行人從夜間行駛的自動駕駛汽車（AV）前穿過，或工人進入焊接機器人作業(yè)單元。

為了幫助開發(fā)者填補這一空白，NVIDIA Omniverse Cloud Sensor RTX API支持物理精確的傳感器仿真，從而大規(guī)模生成數(shù)據(jù)集。應用程序編程接口（API）旨在支持自主運行中常用的傳感器，包括攝像頭、雷達和激光雷達，并可以無縫集成到現(xiàn)有工作流中，以加速各類自動駕駛汽車和機器人的開發(fā)。

Omniverse Sensor RTX API現(xiàn)已向部分開發(fā)者開放搶先體驗。埃森哲、Foretellix、MITRE 和 Mcity 等機構正在通過特定領域的藍圖整合這些 API，為終端客戶提供部署新一代工業(yè)制造機器人和自動駕駛汽車所需的工具。

利用 Omniverse Blueprints 為工業(yè) AI 提供動力

在工廠和倉庫等復雜環(huán)境中，機器人必須被精心協(xié)調，以便與機器和工人一起安全有效地工作。所有這些移動部件在設計、測試或驗證操作時帶來了巨大的挑戰(zhàn)，同時還要避免造成干擾。

Mega 是一款Omniverse Blueprint，為企業(yè)提供 NVIDIA 加速計算、AI、NVIDIA Isaac 和 NVIDIA Omniverse 技術的參考架構。企業(yè)可以使用 Mega 來開發(fā)數(shù)字孿生，并測試 AI 賦能的驅動機器人、攝像頭、設備等的機器人大腦，以大規(guī)模處理非常復雜的情境。

該藍圖集成了 Omniverse Sensor RTX，可讓機器人開發(fā)者同時渲染來自工廠各類型智能機器的傳感器數(shù)據(jù)，以進行高保真、大規(guī)模的傳感器仿真。

借助在仿真中測試操作和工作流的能力，制造商可節(jié)省大量時間和投資，并以全新的方式提高效率。

國際供應鏈解決方案公司 KION Group 和埃森哲正在使用 Mega 藍圖構建 Omniverse 數(shù)字孿生，用作工業(yè) AI 機器人大腦的虛擬訓練和測試環(huán)境，充分利用了智能攝像頭、叉車、機器人設備和數(shù)字人生成的數(shù)據(jù)。

機器人大腦通過 Omniverse Sensor RTX API 渲染的物理精確的傳感器數(shù)據(jù)感知仿真環(huán)境。它們利用這些數(shù)據(jù)來進行規(guī)劃和行動，每一步都通過 Mega 精確跟蹤，并與數(shù)字孿生中所有資產的狀態(tài)和位置同步。借助這些功能，開發(fā)者可以在物理世界實施前，不斷構建和測試新的布局。

推動自動駕駛汽車開發(fā)和驗證

自動駕駛汽車開發(fā)已有十多年的歷史，但在獲取正確的訓練和驗證數(shù)據(jù)方面存在障礙，而且迭代周期緩慢，阻礙了大規(guī)模部署。

為了滿足傳感器數(shù)據(jù)的需求，眾多公司正在利用 NVIDIA Omniverse Blueprint 進行自動駕駛汽車仿真，這是一個可實現(xiàn)物理精確傳感器仿真的參考工作流。該工作流使用 Omniverse Sensor RTX API 來渲染自動駕駛汽車開發(fā)和驗證所需的攝像頭、雷達和激光雷達數(shù)據(jù)。

自動駕駛汽車工具鏈提供商 Foretellix 已將該藍圖集成到其 Foretify AV 開發(fā)工具鏈中，將對象級仿真轉換為物理精確的傳感器仿真。

Foretify 工具鏈可以同時生成任意數(shù)量的測試場景。通過為這些場景添加傳感器仿真功能，F(xiàn)oretify 現(xiàn)可以讓開發(fā)者評估其自動駕駛汽車開發(fā)的完整性，并在實現(xiàn)大規(guī)模安全部署所需的保真度和規(guī)模水平上進行訓練和測試。此外，F(xiàn)oretellix 將使用新發(fā)布的 NVIDIA Cosmos 平臺，為各種認證和驗證生成更為多樣化的場景。

Nuro 是一家擁有 L4 級自動駕駛技術的大型供應商，正在使用 Foretify 工具鏈在部署前對其自動駕駛車輛進行培訓、測試和驗證。

此外，研究機構 MITRE 正在與密歇根大學的 Mcity 測試中心合作，以建立一個用于監(jiān)管的數(shù)字自動駕駛汽車驗證框架，包括 Mcity 占地 32 英畝的自動駕駛汽車試驗場的數(shù)字孿生。該項目使用自動駕駛汽車仿真藍圖，在虛擬環(huán)境中大規(guī)模渲染物理精確的傳感器數(shù)據(jù)，以提高訓練效率。

得益于高保真度傳感器模擬的強大功能，機器人和自主化正成為未來的焦點。在 CES 訪問埃森哲和 Foretellix 展位，了解更多關于這些解決方案的詳情。