場景圖（ scenegraphs ， SGs ）在計算機視覺和計算機圖形學(xué)中都是一種可解釋的、結(jié)構(gòu)化的場景表示。場景圖總結(jié)了場景中的實體以及它們之間的合理關(guān)系。 SGs 在計算機視覺、機器人、自主車輛等領(lǐng)域有著廣泛的應(yīng)用。

當前的 SG 生成技術(shù)依賴于昂貴的標記數(shù)據(jù)集的有限可用性。合成數(shù)據(jù)是解決這個問題的一個可行的選擇，因為注釋基本上是免費的。盡管合成數(shù)據(jù)已被用于圖像分類、目標檢測和語義分割等多種任務(wù)，但合成數(shù)據(jù)用于 SG 生成和視覺關(guān)系仍有待探索。由于合成數(shù)據(jù)和真實數(shù)據(jù)在外觀和內(nèi)容上的差異，在有標記的合成數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，在無標記的真實數(shù)據(jù)上進行評價，這就導(dǎo)致了領(lǐng)域差距問題。

圖 1 場景圖顯示場景中的各種對象，如車輛、植被、房屋以及它們之間的關(guān)系。

Sim2SG 框架

為了克服這些挑戰(zhàn)，我們提出了 Sim2SG ，一種可擴展的 sim-To-real 場景圖生成技術(shù)。本研究的主要目的是通過在含有標記 SG 信息的模擬數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然后將學(xué)習(xí)到的模型轉(zhuǎn)換到真實數(shù)據(jù)集上，從真實世界的圖像中生成場景圖。

在訓(xùn)練過程中， Sim2SG 處理域間隙并學(xué)習(xí)生成場景圖。域間隙可細分為以下間隙：

外觀間隙 是兩個域的外觀差異，例如場景中對象的紋理、顏色、光照或反射率的差異。

內(nèi)容差距 是指兩個域之間的差異，包括對象數(shù)量分布的差異及其類別、位置、姿勢和比例。

我們進一步分析了內(nèi)容差距，并解決了其子組成部分 – 標簽和預(yù)測差異。圖 1 顯示了 Sim2SG 為真實世界的駕駛數(shù)據(jù)集生成精確的場景圖，圖 2 顯示了整個管道。

圖 2 Sim2SG 管道工作流。

在圖 2 中， Sim2SG 管道將來自源域的帶標記的合成數(shù)據(jù)和來自目標域的未標記的真實數(shù)據(jù)作為輸入。使用編碼器將標記的合成數(shù)據(jù)和未標記的真實數(shù)據(jù)映射到共享表示 Z 。然后，我們使用合成數(shù)據(jù)在 Z 上訓(xùn)練場景圖預(yù)測網(wǎng)絡(luò) h 。我們使用基于偽統(tǒng)計的自學(xué)習(xí)方法來處理標簽差異，生成標簽對齊的合成數(shù)據(jù)以供訓(xùn)練。我們進一步利用梯度反轉(zhuǎn)層（ GRL ）和域鑒別器的對抗性技術(shù)來調(diào)整兩個域之間的預(yù)測差異和外觀差異。

定量評價

我們使用了四種類型：汽車、行人、植被和房屋，以及四種類型的關(guān)系：前、左、右和后。所有的關(guān)系都以汽車為主題。

表 1 在人工駕駛環(huán)境下訓(xùn)練時對 KITTI hard 的評估。類特定的 AP 和 mAP 報告為 0 。 5iou 。

表 1 顯示了與基線相比，標簽對齊和外觀對齊在所提出的方法中如何顯著地減少域間隙。我們將 Sim2SG 與基于隨機化的方法（ Prakash et al 。， 2019 ）、解決內(nèi)容差距的方法（ Kar et al 。， 2019 ）、基于偽標簽的自學(xué)習(xí)方法（ Zou et al 。， 2018 ）和用于目標檢測的域自適應(yīng)方法（ Chen et al 。， 2018 ； Xu et al 。， 2020 ； Li et al 。， 2020 ）進行了比較。通過結(jié)合標簽、外觀和預(yù)測對齊（最后一行），域間隙進一步減小。

定性評價

圖 3 Sim2SG 在目標域上的定性結(jié)果。

圖 3 顯示了 Sim2SG 在目標域上的定性結(jié)果。第一列顯示僅源基線無法檢測到對象或具有大量誤報（錯誤標記），從而導(dǎo)致場景圖不佳。我們的方法能夠更好地檢測對象，具有更少的誤報，并最終生成更精確的場景圖，分別如第二列和第三列所示。這是因為外觀對齊項減少了假陽性檢測。此外，標簽對齊項還提高了檢測性能，因為它有助于生成用于訓(xùn)練的合成數(shù)據(jù)，這些數(shù)據(jù)與目標域的標簽對齊程度更高。圖 4 顯示了一些與目標域樣本相對應(yīng)的標簽對齊的合成重建。

圖4 基于標簽對齊的駕駛環(huán)境中目標 KITTI 樣本的綜合重建。基蒂樣品（右）和相應(yīng)的合成樣品（左）。

概括

在這項工作中，我們提出了 Sim2SG ，一個模型，實現(xiàn)了 sim-to-real 轉(zhuǎn)移學(xué)習(xí)場景圖生成上未標記的真實世界數(shù)據(jù)集。我們將域間隙分解為合成域和真實域之間的標記、預(yù)測和外觀差異。我們提出了解決這些差異的方法，并在所有三種環(huán)境（ Clevr 、 dinning-Sim 和 Drive-Sim ）中實現(xiàn)了基線的顯著改進。

關(guān)于作者

Aayush Prakash 是多倫多人工智能實驗室的高級研究員。他的研究興趣在于機器學(xué)習(xí)、計算機視覺和計算機圖形學(xué)的結(jié)合點。具體來說，他致力于模擬現(xiàn)實問題的感知。他想通過模擬訓(xùn)練有效的真實世界模型。在 NVIDIA 之前，他是多倫多 IBM 實驗室的一員，在那里從事編譯器的工作，這是他過去一直感興趣的另一個領(lǐng)域。他于 2010 年畢業(yè)于印度哈拉格布爾印度理工學(xué)院（ IIT ），獲得電子 CTR 和電子 CTR 通信工程學(xué)士學(xué)位， 2013 年畢業(yè)于加拿大滑鐵盧大學(xué)計算機工程碩士學(xué)位。

Shoubhik Debnath 是 NVIDIA 的研發(fā)工程師，致力于機器人技術(shù)、仿真和深度學(xué)習(xí)。他于 2014 年畢業(yè)于印度曼迪印度理工學(xué)院（ IIT ）計算機科學(xué)與工程理學(xué)學(xué)士學(xué)位，并于 2018 年在南加州大學(xué) Gaurav Suhkatme 教授的指導(dǎo)下獲得計算機科學(xué)碩士學(xué)位，專注于機器人研究。此前， Shoubhik 還在微軟工作了兩年，專注于數(shù)據(jù)科學(xué)和基于云的技術(shù)。

Jean-Francois Lafleche 是一位充滿干勁和激情的工程師，熱愛用創(chuàng)新的解決方案解決復(fù)雜的挑戰(zhàn)。他是一個自學(xué)成才的終身學(xué)習(xí)者，擁有廣泛多樣的技能，專注于機器學(xué)習(xí)和機器人應(yīng)用。

Eric Cameracci 是滑鐵盧大學(xué)計算機工程專業(yè)的 2015 屆畢業(yè)生。

Gavriel State 是 NVIDIA 系統(tǒng)軟件團隊的高級主管。他在多倫多工作，除了為 NVIDIA SHIELD TV 平臺重新制作游戲外，還負責(zé)將 AI 技術(shù)應(yīng)用于游戲，反之亦然。此前， Gavriel 成立了 TransGaming ， Inc ，并花了 15 年時間專注于游戲和渲染技術(shù)。

Marc T. Law 是 NVIDIA 的高級研究科學(xué)家，致力于機器學(xué)習(xí)和計算機視覺。他在加拿大多倫多人工智能實驗室工作，由 Sanja Fidler 教授領(lǐng)導(dǎo)。 2015 年，他獲得法國巴黎皮埃爾瑪麗居里大學(xué)（現(xiàn)為索邦大學(xué)）計算機科學(xué)博士學(xué)位。他的博士生導(dǎo)師是馬蒂厄·科德教授和斯蒂芬·甘薩爾斯基教授，他還受到尼古拉斯·托馬斯教授的指導(dǎo)。 Marc 曾于 2015 ~ 2016 年在卡內(nèi)基梅隆大學(xué)計算機學(xué)院任 Eric Xing 教授團隊訪問研究學(xué)者。 2016 年至 2019 年，他在多倫多大學(xué)和向量研究所計算機科學(xué)系（機器學(xué)習(xí)組）擔任博士后研究員，由 Raquel Urtasun 教授和 Richard Zemel 教授指導(dǎo)。

審核編輯：郭婷