本文是 ICCV 2023 入選 Oral 論文 Grounded Entity-Landmark Adaptive Pre-training for Vision-and-Language Navigation 的解讀。本論文是某智能人機交互團隊在視覺-語言導航（Vision-and-Language Navigation, VLN）領域的最新工作。該工作構建了 VLN 中首個帶有高質(zhì)量實體-標志物對齊標注的數(shù)據(jù)集，并提出實體-標志物對齊的自適應預訓練方法，從而顯著提高了智能體的導航性能。

ICCV 是“計算機視覺三大頂級會議”之一，ICCV 2023 于今年 10 月 2 日至 6 日在法國巴黎舉行，本屆會議共收到全球 8260 篇論文投稿，2161 篇被接收，接收率為 26.16%，其中 152 篇論文被選為口頭報告展示（Oral Presentation），Oral 接收率僅為 1.8%。

論文題目：

Grounded Entity-Landmark Adaptive Pre-training for Vision-and-Language Navigation

論文地址：

https://arxiv.org/abs/2308.12587

開源數(shù)據(jù)集：

https://pan.baidu.com/s/12WTzZ05T8Uxy85znn28dfQ?pwd=64t7

代碼地址：

https://github.com/csir1996/vln-gela

引言

視覺-語言導航（Vision-and-Language Navigation, VLN）任務旨在構建一種能夠用自然語言與人類交流并在真實 3D 環(huán)境中自主導航的具身智能體。自提出以來，VLN 越來越受到計算機視覺、自然語言處理和機器人等領域的廣泛關注。 如圖 1 所示，將自然語言指令中提過的標志物（物體或者場景）對應到環(huán)境中能夠極大的幫助智能體理解環(huán)境和指令，由此跨模態(tài)對齊是 VLN 中的關鍵步驟。然而，大多數(shù)可用的數(shù)據(jù)集只能提供粗粒度的文本-圖像對齊信號，比如整條指令與整條軌跡的對應或者子指令與子路徑之間的對應，而跨模態(tài)對齊監(jiān)督也都停留在句子級別（sentence-level）。因此，VLN 需要更細粒度（entity-level）的跨模態(tài)對齊數(shù)據(jù)和監(jiān)督方法以促進智能體更準確地導航。

為解決以上問題，我們提出了一種面向 VLN 的實體-標志物自適應預訓練方法，主要工作與貢獻如下：

1. 我們基于 Room-to-Room（R2R）數(shù)據(jù)集 [1] 標注實體-標志物對齊，構建了第一個帶有高質(zhì)量實體-標志物對齊標注的 VLN 數(shù)據(jù)集，命名為 GEL-R2R；

2. 我們提出一種實體-標志物自適應預訓練 (Grounded Entity-Landmark Adaptive，GELA) 方法，利用 GEL-R2R 數(shù)據(jù)集顯式監(jiān)督 VLN 模型學習實體名詞和環(huán)境標志物之間的細粒度跨模態(tài)對齊；

3. 我們構建的 GELA 模型在兩個 VLN 下游任務上取得了最佳的導航性能，證明了我們數(shù)據(jù)集和方法的有效性和泛化性。 ▲圖1. 具身智能體在3D真實環(huán)境中的導航示例

GEL-R2R數(shù)據(jù)集

為了建立指令中實體短語與其周圍環(huán)境中相應標志物之間的對齊，我們在 R2R 數(shù)據(jù)集的基礎上進行了實體-標志物對齊的人工標注，整個流程包括五個階段：

1. 原始數(shù)據(jù)準備。我們從 Matterport3D 模擬器中采集每個可導航點的全景圖。為了提高標注的效率和準確性，我們在全景圖中標注下一個動作方向，并根據(jù) FG-R2R 數(shù)據(jù)集 [2] 將每個全景圖與相應的子指令進行對應；

2. 標注工具開發(fā)。我們基于 Label-Studio 開發(fā)了一個跨模態(tài)標注平臺，如圖 2 所示；

3. 標注指南建立。為確保標注的一致性，我們經(jīng)過預標注之后建立了四個準則來標準化標注指南：

• 對齊準則：指令中的實體短語應與全景圖中的標志物準確匹配

• 自由文本準則：標注自由文本而不是類別

• 文本共指準則：指代相同標志物的實體短語用相同的標簽標注

• 唯一標志物準則：對于一個實體短語，在全景圖中只應標注一個對應的標志物

4. 數(shù)據(jù)標注與修訂；

5. 數(shù)據(jù)整合與處理。

▲圖2. GEL-R2R數(shù)據(jù)集標注界面如圖 3 所示，GEL-R2R 數(shù)據(jù)集共包含：71467 個實體短語，其中訓練集 57788 個，已見環(huán)境驗證集 4196 個，未見環(huán)境驗證集 9483 個；150183 個標志物，其中訓練集 121146 個，已見環(huán)境驗證集 8741 個，未見環(huán)境驗證集 20296 個。

▲圖3. GEL-R2R數(shù)據(jù)集統(tǒng)計分析

GELA方法

▲圖4. GELA方法概覽

如圖 4 所示，方法流程分為三個階段：預訓練（pre-training）、自適應預訓練（adaptive pre-training）和微調(diào)（fine-tuning）。我們直接在預訓練模型 HAMT [3] 的基礎上進行自適應預訓練，HAMT 模型由文本編碼器、圖像編碼器、歷史編碼器和跨模態(tài)編碼器構成。我們將跨模態(tài)編碼器輸出的文本向量、歷史向量和圖像向量分別記為 Z、Y 和 S。我們設計了三種自適應預訓練任務：

1. 實體短語預測。在這個任務中，我們通過標注的環(huán)境標志物預測其對應的實體短語在指令中的位置。首先將人工標注的實體位置轉化為 L+1 維的掩碼向量 （與 維度相同），并將人工標注的標志物邊界框轉化為 37 維的掩碼向量 （與 維度相同）。然后，我們將標志物圖像 patch 的特征平均化，并將其輸入一個兩層前饋網(wǎng)絡（Feedforward Network, FFN）中，預測指令序列中 token 位置的概率分布，用掩碼向量 作監(jiān)督，具體損失函數(shù)為：

2. 標志物邊界框預測。在這個任務中，我們通過標注的實體名詞預測其對應的標志物邊界框坐標。首先平均實體短語 token 的特征向量，然后將其輸入兩層 FFN 和 Sigmoid 函數(shù)預測坐標 ：

最后，將人工標注的 box=(x,y,w,h) 和 box’ 作 smooth-l1 損失和 GIoU 損失：

3. 實體-標志物語義對齊。上述兩個單向預測任務使用位置信息來匹配實體和標志物，而此任務在跨模態(tài)編碼器輸出端強制對齊相對應的標志物和實體的特征向量。這個任務的約束比上面兩個單向預測任務更強，因為它直接作用于表示，而不是僅僅基于位置信息。具體損失函數(shù)如下：

自適應預訓練最終的損失函數(shù)為：

經(jīng)過自適應預訓練后，我們利用模仿學習 (Imitation Learning，IL) 和強化學習 (Reinforcement Learning，RL) 訓練策略對 GELA 模型在兩個 VLN 下游任務（R2R 和 CVDN）上進行微調(diào)。IL 監(jiān)督智能體克隆專家的行為，RL 鼓勵智能體根據(jù)學習策略探索軌跡。 ?

實驗結果

如圖 5 所示，GELA 模型在 R2R 數(shù)據(jù)集上與先前 SOTA 模型的性能進行比較。GELA 模型在所有子集上的主要指標（SR 和 SPL）均優(yōu)于所有其他模型。具體地，在已知驗證集上，GELA 的性能與 HAMT 模型相當，而在未知驗證集和測試集上，GELA 模型分別取得了 5% 、2% (SR) 和 4% 、2% (SPL) 的提高。因此，GELA 模型具有更好的未知環(huán)境泛化能力，這主要是由于 GELA 模型在學習實體-標志物對齊后，具有較強的語義特征捕捉能力。 ▲ 圖5. R2R數(shù)據(jù)集上的性能對比 我們同樣在 CVDN 數(shù)據(jù)集上對比了 GELA 模型與先前 SOTA 模型的性能，如圖 6 所示，該數(shù)據(jù)集使用以米為單位的目標進度 (Goal Progress，GP) 作為關鍵性能指標。結果表明，GELA 模型在驗證集和測試集上的性能都明顯優(yōu)于其他模型。因此，GELA 模型對不同的 VLN 下游任務具有良好的泛化能力。

▲圖6. CVDN數(shù)據(jù)集上的性能對比

參考文獻

?

[1] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko S ? underhauf, Ian D. Reid, Stephen Gould, and Anton van den Hengel. Vision-and-language navigation: Interpreting visually-grounded navigation instructions in real environments. In CVPR, pages 3674–3683, 2018.

[2] Yicong Hong, Cristian Rodriguez Opazo, Qi Wu, and Stephen Gould. Sub-instruction aware vision-and-language navigation. In EMNLP, pages 3360–3376, 2020.

[3] Shizhe Chen, Pierre-Louis Guhur, Cordelia Schmid, and Ivan Laptev. History aware multimodal transformer for vision-and-language navigation. In NeurIPS, pages 58345847, 2021.

·