在一年一度的 AI 城市挑戰(zhàn)賽中，來自世界各地的數(shù)百支參賽隊伍在 NVIDIA Omniverse 生成的基于物理學的數(shù)據(jù)集上測試了他們的 AI 模型。

NVIDIA 為國際計算機視覺與模式識別會議（CVPR）中的年度 AI 城市挑戰(zhàn)賽提供了有史以來最大的室內(nèi)合成數(shù)據(jù)集，幫助研究人員和開發(fā)者推進智慧城市和工業(yè)自動化解決方案的開發(fā)工作。

這項挑戰(zhàn)賽吸引了來自近 50 個國家的 700 多支隊伍參賽，參賽者的任務(wù)是開發(fā) AI模型，以提高物理環(huán)境（如零售和倉庫環(huán)境）和智能交通系統(tǒng)的運營效率。

參賽隊伍在由NVIDIA Omniverse生成的數(shù)據(jù)集上測試了模型。NVIDIA Omniverse 是一個由應(yīng)用編程接口（API）和軟件開發(fā)套件（SDK）組成的平臺，能夠幫助開發(fā)者構(gòu)建基于通用場景描述（OpenUSD）的應(yīng)用和工作流。

創(chuàng)建和仿真

大型空間的數(shù)字孿生

工廠、倉庫等大型室內(nèi)空間每天都會有源源不斷的人員和小型車輛，并且在未來還將出現(xiàn)自主機器人。開發(fā)者需要那些能夠在復(fù)雜的大型環(huán)境中觀測活動、提高運營效率，并把人員安全放在第一位的解決方案。

研究人員正在使用能夠感知和理解物理世界的計算機視覺模型來滿足這一需求。該方法適用于多攝像頭追蹤等應(yīng)用，其可以在特定環(huán)境中由一個模型追蹤多個實體。

為了確保準確性，模型必須針對各種現(xiàn)實場景，在大型真實的數(shù)據(jù)集上進行訓(xùn)練，但這些數(shù)據(jù)的采集過程可能十分困難、耗時且成本高昂。

因此，AI 研究人員開始使用基于物理學的仿真（例如物理世界的數(shù)字孿生等），來加強 AI 仿真和訓(xùn)練。此類虛擬環(huán)境有助于生成用于訓(xùn)練 AI 模型的合成數(shù)據(jù)，同時，仿真也是一種既能在安全環(huán)境中運行多種“假設(shè)”場景，又能解決隱私和 AI 偏見問題的方式。

創(chuàng)建合成數(shù)據(jù)能夠獲得大量可擴展和可擴充的數(shù)據(jù)，這對于 AI 訓(xùn)練十分重要。團隊可以改變照明、物體位置、紋理、顏色等諸多參數(shù)，來生成一個多樣化的訓(xùn)練數(shù)據(jù)集。

為 AI 城市挑戰(zhàn)賽

構(gòu)建合成數(shù)據(jù)集

今年的 AI 城市挑戰(zhàn)賽由五項計算機視覺比賽組成，涵蓋了交通管理、工作者安全等領(lǐng)域。

NVIDIA 為第一項比賽——“多攝像頭人員追蹤”提供了數(shù)據(jù)集。這項比賽的參與度最高，共有 400 多個隊伍參賽。賽事使用了一個基準數(shù)據(jù)集和一個同類中最大的室內(nèi)合成數(shù)據(jù)集（包含 212 小時每秒 30 幀的 1080p 視頻，涵蓋 6 個虛擬環(huán)境中的 90 個場景，這些場景包括倉庫、零售店和醫(yī)院等）。

這些場景均在 Omniverse 中創(chuàng)建而成，仿真了近 1000 臺攝像機，并使用了約 2500 個數(shù)字人角色。這項比賽還讓研究人員了解到如何根據(jù)所需要的結(jié)果來生成適當大小和保真度的數(shù)據(jù)。

這些基準數(shù)據(jù)使用NVIDIA Isaac Sim中的Omniverse Replicator創(chuàng)建而成。NVIDIA Isaac Sim 是一款參考應(yīng)用，借助它，開發(fā)者能夠在基于 NVIDIA Omniverse 構(gòu)建的物理仿真環(huán)境中設(shè)計、仿真和訓(xùn)練適用于機器人、智能空間或自主機器的 AI。

Omniverse Replicator 是一個用于構(gòu)建合成數(shù)據(jù)生成管線的 SDK，它能夠自動完成高質(zhì)量合成數(shù)據(jù)生成所涉及的許多手動任務(wù)，包括域隨機化、攝像頭放置和校準、角色移動、數(shù)據(jù)語義標注以及基準測試的基準事實等。共有十家機構(gòu)和組織在本屆 AI 城市挑戰(zhàn)賽中與 NVIDIA 合作：

澳大利亞國立大學（澳大利亞）

阿聯(lián)酋移動研究中心（阿聯(lián)酋）

印度理工學院坎普爾分校（印度）

愛荷華州立大學（美國）

約翰霍普金斯大學（美國）

國立陽明交通大學（中國臺灣）

圣塔克拉拉大學（美國）

阿聯(lián)酋大學（阿聯(lián)酋）

紐約州立大學奧爾巴尼分校（美國）

Woven by Toyota（日本）

推動生成式物理 AI 的未來

世界各地的研究人員和企業(yè)正在開發(fā)由物理 AI 賦能的基礎(chǔ)設(shè)施自動化系統(tǒng)與機器人，這些模型能夠理解指令，并在現(xiàn)實世界中自主執(zhí)行復(fù)雜的任務(wù)。

生成式物理 AI 利用強化學習，在仿真環(huán)境中通過準確仿真的傳感器來感知世界、按照物理定律執(zhí)行動作，并根據(jù)接收到的反饋推理下一組動作。

開發(fā)者可以使用開發(fā)者 SDK 和 API（例如包含多攝像頭追蹤參考工作流的NVIDIA Metropolis開發(fā)者堆棧等）為工廠、倉庫和零售業(yè)務(wù)添加增強感知功能。最新版本的 NVIDIA Isaac Sim 使開發(fā)者能夠在實際部署之前，先在基于物理學的虛擬空間中仿真和訓(xùn)練 AI 機器人，從而為機器人工作流提供超強助力。

研究人員和開發(fā)者還將基于物理學的高保真仿真與先進 AI 相結(jié)合，以彌合仿真訓(xùn)練與實際應(yīng)用之間的差距。這有助于確保合成訓(xùn)練環(huán)境與實際情況相吻合，從而更無縫地實現(xiàn)機器人部署。

NVIDIA 最近發(fā)布的NVIDIAOmniverse Cloud Sensor RTX進一步提高了仿真的準確性和規(guī)模。這套全新的微服務(wù)能夠?qū)崿F(xiàn)物理級精確傳感器仿真，從而加速全自主機器的開發(fā)工作。

憑借這項技術(shù)，工廠、車輛、機器人等自主系統(tǒng)將能夠采集到有效感知、適應(yīng)現(xiàn)實世界，并與之交互所必需的數(shù)據(jù)。開發(fā)者可以使用這些微服務(wù)，在逼真的虛擬環(huán)境中對傳感器的感知能力進行大規(guī)模測試，這將大大減少與現(xiàn)實世界測試相關(guān)的時間和成本。

Omniverse Cloud Sensor RTX 微服務(wù)將于今年晚些時候提供。

展示先進的 AI 研究成果

參賽者們?yōu)?AI 城市挑戰(zhàn)賽提交了研究論文，一些論文獲得了最高排名，其中包括：

用于離線多攝像頭人物追蹤的重疊抑制聚類：本文介紹了一種追蹤方法，包括識別單個攝像頭視圖中的個體、選擇清晰的圖像以便于識別、對相似外觀進行分組，以及在具有挑戰(zhàn)性的情況下幫助辨明身份。

具有幾何一致性和狀態(tài)感知的 Re-ID 校正的強大在線多攝像頭人體追蹤系統(tǒng)：這項研究提出了一種使用幾何和外觀數(shù)據(jù)來提高追蹤準確性的新系統(tǒng)，并包括一種調(diào)整識別特征以修正追蹤錯誤的機制。

增強在線多攝像頭人物追蹤的集群自細化：這篇研究論文解決了在線追蹤面臨的具體挑戰(zhàn)，例如劣質(zhì)數(shù)據(jù)的存儲和身份分配錯誤。

所有被接受的論文將在 6 月 17 日舉行的2024 年 AI 城市挑戰(zhàn)賽研討會上發(fā)表： https://cvpr.thecvf.com/virtual/2024/workshop/23656

NVIDIA Research將在 CVPR 2024 上發(fā)表 50 多篇論文，介紹生成式物理 AI 的突破，以及在自動駕駛汽車開發(fā)和機器人等領(lǐng)域的潛在應(yīng)用。

使用 NVIDIA Omniverse 平臺生成合成數(shù)據(jù)或環(huán)境數(shù)字孿生以進行模型仿真、測試和驗證的論文包括：

FoundationPose：統(tǒng)一的 6D 姿態(tài)估計和新物體跟蹤：FoundationPose 是一種用于估計并追蹤物體 3D 位置和方向的多功能模型。該模型通過使用少量參考圖像或 3D 表示來準確地理解物體的形狀。

構(gòu)建未知鉸接物體數(shù)字孿生的隱式神經(jīng)表示：該研究論文介紹了一種根據(jù)兩個 3D 掃描圖像創(chuàng)建物體數(shù)字模型的方法，該方法可通過分析活動部件的連接方式和在不同位置之間的移動方式來提高準確性。

BEHAVIOR 視覺套件：通過仿真生成可定制數(shù)據(jù)集：BEHAVIOR 視覺套件可生成適用于計算機視覺研究的可定制合成數(shù)據(jù)，使研究人員能夠調(diào)整照明、物體放置等設(shè)置。