標(biāo)準(zhǔn)化合成數(shù)據(jù)的初始版本預(yù)計(jì)將成為世界上最大的此類數(shù)據(jù)集，目前已作為開源版本提供給機(jī)器人開發(fā)人員。

訓(xùn)練自主機(jī)器人和車輛與物理世界有效互動(dòng)需要海量高質(zhì)量的數(shù)據(jù)，為了讓研究人員和開發(fā)者贏得先機(jī)，NVIDIA 現(xiàn)發(fā)布大型開源數(shù)據(jù)集，助力構(gòu)建下一代物理 AI。

這個(gè)商業(yè)級(jí)、預(yù)先驗(yàn)證的數(shù)據(jù)集在加利福尼亞州圣何塞舉辦的全球 AI 大會(huì) NVIDIA GTC 上正式發(fā)布，將幫助研究人員和開發(fā)者克服從零開始的挑戰(zhàn)，順利啟動(dòng)物理 AI 項(xiàng)目。開發(fā)者可以利用數(shù)據(jù)集開展模型預(yù)訓(xùn)練、測試和驗(yàn)證，或用于后訓(xùn)練以調(diào)優(yōu)世界基礎(chǔ)模型，加快部署進(jìn)程。

初始數(shù)據(jù)集現(xiàn)可通過 Hugging Face 平臺(tái)下載，為開發(fā)者提供 15 TB 數(shù)據(jù)，包含超過 320,000 條機(jī)器人訓(xùn)練軌跡，以及包含 SimReady 資源集合在內(nèi)的高達(dá) 1,000 個(gè)通用場景描述（OpenUSD）資源。此外，還即將發(fā)布支持端到端自動(dòng)駕駛汽車開發(fā)的專用數(shù)據(jù)，其中包括時(shí)長為 20 秒的剪輯片段，覆蓋美國和二十多個(gè)歐洲國家/地區(qū) 1,000 多個(gè)城市的各種交通場景。

NVIDIA 物理 AI 數(shù)據(jù)集包含數(shù)百個(gè) SimReady 資產(chǎn)，可用于構(gòu)建豐富的場景。

未來，該數(shù)據(jù)集有望發(fā)展為世界上最大的統(tǒng)一、開源的物理 AI 開發(fā)數(shù)據(jù)集。可以為多種 AI 開發(fā)模型提供支持，包括能安全穿越倉庫環(huán)境的自主導(dǎo)航機(jī)器人、外科手術(shù)輔助機(jī)器人，以及在施工區(qū)等復(fù)雜交通場景下穿梭自如的自動(dòng)駕駛汽車。

NVIDIA 物理 AI 數(shù)據(jù)集計(jì)劃一系列真實(shí)數(shù)據(jù)和合成數(shù)據(jù)子集，并將使用這些數(shù)據(jù)通過多個(gè)平臺(tái)來訓(xùn)練、測試和驗(yàn)證物理 AI，平臺(tái)將包括NVIDIA Cosmos世界模型開發(fā)平臺(tái)、NVIDIA DRIVE AV軟件棧、NVIDIA Isaac AI機(jī)器人開發(fā)平臺(tái)，以及NVIDIA Metropolis智慧城市應(yīng)用框架。

加州大學(xué)伯克利分校 Berkeley DeepDrive 研究中心、卡內(nèi)基梅隆安全 AI 實(shí)驗(yàn)室和加州大學(xué)圣地亞哥分校 Contextual 機(jī)器人研究所已經(jīng)開始率先使用該數(shù)據(jù)集。

加州大學(xué)圣地亞哥分校多個(gè)機(jī)器人和自動(dòng)駕駛汽車實(shí)驗(yàn)室的負(fù)責(zé)人 Henrik Christensen 表示：“利用這個(gè)數(shù)據(jù)集，我們能做很多工作，比如訓(xùn)練預(yù)測性 AI 模型，這些模型可以幫助自動(dòng)駕駛汽車更好地追蹤行人等易受傷害的道路使用者的動(dòng)向，從而提高安全性。與現(xiàn)有的開源資源相比，這個(gè)數(shù)據(jù)集能提供多樣化的場景和更長的視頻片段，這將顯著推動(dòng)機(jī)器人技術(shù)和自動(dòng)駕駛汽車的研究進(jìn)展。”

滿足物理 AI 數(shù)據(jù)需求

NVIDIA 物理 AI 數(shù)據(jù)集可以幫助開發(fā)者在預(yù)訓(xùn)練期間擴(kuò)展 AI 性能，海量數(shù)據(jù)能夠支持構(gòu)建更強(qiáng)大的 AI 模型，在預(yù)訓(xùn)練階段利用更豐富的數(shù)據(jù)對(duì) AI 模型進(jìn)行訓(xùn)練，以提高其在特定用例中的性能表現(xiàn)。

想要構(gòu)建一個(gè)能準(zhǔn)確反映真實(shí)世界物理特性及其動(dòng)態(tài)變化的多樣化場景數(shù)據(jù)集，需要投入大量時(shí)間開展數(shù)據(jù)采集、整理和標(biāo)注工作，這成為了大多數(shù)開發(fā)者推進(jìn)項(xiàng)目的一個(gè)瓶頸。對(duì)于學(xué)術(shù)研究人員和小型企業(yè)來說，部署車隊(duì)進(jìn)行長達(dá)數(shù)月的自動(dòng)駕駛汽車 AI 數(shù)據(jù)收集既不現(xiàn)實(shí)且成本高昂，并且由于采集的視頻大多為常規(guī)道路場景，僅有 10% 的數(shù)據(jù)可被用于訓(xùn)練。

但這種規(guī)模的數(shù)據(jù)采集對(duì)于構(gòu)建安全、準(zhǔn)確的商業(yè)級(jí)模型十分重要。NVIDIA Isaac GR00T機(jī)器人模型需要數(shù)千小時(shí)的視頻剪輯片段進(jìn)行后訓(xùn)練，比如 GR00T N1，這一模型是在一個(gè)包含大量真實(shí)數(shù)據(jù)和合成數(shù)據(jù)的人形機(jī)器人數(shù)據(jù)集上進(jìn)行訓(xùn)練的。NVIDIA DRIVE AV 自動(dòng)駕駛汽車端到端 AI 模型需要數(shù)萬小時(shí)的駕駛數(shù)據(jù)來開發(fā)。

該開源數(shù)據(jù)集收錄了數(shù)千小時(shí)的多視角視頻，其場景多樣性、數(shù)據(jù)規(guī)模和覆蓋地域范圍都達(dá)到了前所未有的水平。這將為安全研究領(lǐng)域帶來突破，特別是在識(shí)別異常行為和評(píng)估模型泛化等新興研究方向。這項(xiàng)技術(shù)有助于NVIDIA Halos的全棧自動(dòng)駕駛汽車安全系統(tǒng)。

除利用 NVIDIA 物理 AI 數(shù)據(jù)集來幫助滿足數(shù)據(jù)需求外，開發(fā)者還可以通過NVIDIA NeMo Curator等工具進(jìn)一步推動(dòng) AI 開發(fā)，這些工具可高效地處理用于訓(xùn)練和定制模型的龐大數(shù)據(jù)集。使用 NeMo Curator，只需兩周就可以在 NVIDIA Blackwell GPU 上處理 2,000 萬小時(shí)的視頻，而使用未優(yōu)化的 CPU 工作流則需要 3.4 年。

機(jī)器人開發(fā)者還可以利用新的NVIDIA Isaac GR00T blueprint來生成合成運(yùn)動(dòng)軌跡，這是一個(gè)基于NVIDIA Omniverse和 NVIDIA Cosmos 構(gòu)建的參考工作流，利用少量的人類示范數(shù)據(jù)，即可大規(guī)模生成機(jī)器人合成運(yùn)動(dòng)軌跡。

大學(xué)實(shí)驗(yàn)室采用數(shù)據(jù)集進(jìn)行 AI 開發(fā)

加州大學(xué)圣地亞哥分校機(jī)器人實(shí)驗(yàn)室包括專注于醫(yī)療應(yīng)用、人形機(jī)器人和家庭輔助技術(shù)的團(tuán)隊(duì)。Christensen 預(yù)計(jì)，物理 AI 數(shù)據(jù)集中的機(jī)器人數(shù)據(jù)可以幫助開發(fā)語義 AI 模型，理解家庭、酒店房間或醫(yī)院等空間的環(huán)境。

他說：“我們的核心目標(biāo)之一是實(shí)現(xiàn)深度場景理解能力，如果機(jī)器人被要求整理雜貨，它會(huì)確切地知道哪些物品需冰箱冷藏，哪些適合放在儲(chǔ)藏室里。”

在自動(dòng)駕駛汽車領(lǐng)域，Christensen 的實(shí)驗(yàn)室可以利用數(shù)據(jù)集來訓(xùn)練 AI 模型，以了解不同道路使用者的意圖，并預(yù)測最佳的響應(yīng)行動(dòng)。他的研究團(tuán)隊(duì)還可以利用該數(shù)據(jù)集支持?jǐn)?shù)字孿生開發(fā)，仿真極端情況和具有挑戰(zhàn)性的天氣條件。這些仿真場景可用于在真實(shí)世界環(huán)境中罕見的情況下，對(duì)自動(dòng)駕駛模型進(jìn)行訓(xùn)練和測試。

領(lǐng)先的自動(dòng)駕駛系統(tǒng) AI 研究中心 Berkeley DeepDrive 將該數(shù)據(jù)集用于開發(fā)自動(dòng)駕駛汽車策略模型和世界基礎(chǔ)模型。

Berkeley DeepDrive 聯(lián)合主任 Wei Zhan 表示：“數(shù)據(jù)多樣性對(duì)于訓(xùn)練基礎(chǔ)模型非常重要。這個(gè)數(shù)據(jù)集能夠?yàn)楣埠退綘I部門團(tuán)隊(duì)開展前沿研究提供支持，幫助他們開發(fā)自動(dòng)駕駛汽車和機(jī)器人 AI 模型?！?/p>

卡內(nèi)基梅隆大學(xué)安全 AI 實(shí)驗(yàn)室的研究人員計(jì)劃利用該數(shù)據(jù)集推進(jìn)其評(píng)估和認(rèn)證自動(dòng)駕駛汽車安全性的工作。該團(tuán)隊(duì)計(jì)劃對(duì)基于此數(shù)據(jù)集訓(xùn)練的物理 AI 基礎(chǔ)模型在罕見場景仿真環(huán)境中的表現(xiàn)進(jìn)行測試，并與基于現(xiàn)有數(shù)據(jù)集訓(xùn)練的自動(dòng)駕駛模型作性能對(duì)比。

卡內(nèi)基梅隆大學(xué)副教授兼安全 AI 實(shí)驗(yàn)室負(fù)責(zé)人 Ding Zhao 表示：“這個(gè)數(shù)據(jù)集涵蓋不同類型的道路和地理位置、基礎(chǔ)設(shè)施和天氣環(huán)境，其多樣性為訓(xùn)練具備物理世界因果推理能力的模型提供了重要的支持，特別是理解和處理極端案例和長尾問題方面有重要意義?！?/p>

請(qǐng)通過 Hugging Face 訪問 NVIDIA 物理 AI 數(shù)據(jù)集。加入學(xué)習(xí) OpenUSD 學(xué)習(xí)路徑和機(jī)器人基礎(chǔ)學(xué)習(xí)路徑課程，掌握基礎(chǔ)知識(shí)。