近期用于視覺SLAM的3D高斯?jié)姙R（3DGS）技術(shù)在跟蹤和高保真建圖方面取得了顯著進(jìn)展。然而，其順序優(yōu)化框架以及對(duì)動(dòng)態(tài)物體的敏感性限制了其在現(xiàn)實(shí)場(chǎng)景中的實(shí)時(shí)性能和魯棒性。為此，我們提出了UP-SLAM，這是一種適用于動(dòng)態(tài)環(huán)境的實(shí)時(shí)RGB-D SLAM系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，UP-SLAM在定位精度方面（高出59.8%）和渲染質(zhì)量方面（峰值信噪比高出4.57分貝）均優(yōu)于最先進(jìn)的方法，同時(shí)保持實(shí)時(shí)性能，并在動(dòng)態(tài)環(huán)境中生成可重復(fù)使用且無偽影的靜態(tài)地圖。

? 文章：

UP-SLAM: Adaptively Structured Gaussian SLAM with Uncertainty Prediction in Dynamic Environments

? 作者：

Wancai Zheng, Linlin Ou, Jiajie He, Libo Zhou, Xinyi Yu, Yan Wei

? 論文鏈接：

https://arxiv.org/abs/2505.22335

? 編譯：

INDEMIND

01 本文核心內(nèi)容

視覺SLAM是具身智能和虛擬現(xiàn)實(shí)的核心技術(shù)。傳統(tǒng)的SLAM算法通常假設(shè)環(huán)境是靜態(tài)的，這促進(jìn)了眾多有效系統(tǒng)的開發(fā)。然而，這種假設(shè)限制了SLAM在動(dòng)態(tài)現(xiàn)實(shí)環(huán)境中的適用性，從而阻礙了機(jī)器人技術(shù)及相關(guān)領(lǐng)域的進(jìn)步。近期的SLAM方法利用物體檢測(cè)和多視圖幾何理論來降低動(dòng)態(tài)物體的影響。盡管這些方法增強(qiáng)了系統(tǒng)在動(dòng)態(tài)環(huán)境中的魯棒性，但它們嚴(yán)重依賴于對(duì)動(dòng)態(tài)物體的先驗(yàn)知識(shí)以及檢測(cè)算法的可靠性。高保真場(chǎng)景表示技術(shù)的進(jìn)步，如神經(jīng)輻射場(chǎng)（NeRF）和3D高斯?jié)姙R（3DGS），激發(fā)了將不確定性建模引入3D重建的探索。

近期的研究表明，納入不確定性預(yù)測(cè)能夠顯著增強(qiáng)對(duì)瞬態(tài)場(chǎng)景元素的魯棒性。這些具有不確定性感知能力的模型即使在間歇性遮擋的情況下也能實(shí)現(xiàn)高質(zhì)量的重建。然而，這些方法依賴于有利條件，例如精確的相機(jī)姿態(tài)和稀疏的視角，這在使用連續(xù)幀輸入的SLAM系統(tǒng)中很難實(shí)現(xiàn)。為了解決這些挑戰(zhàn)，我們提出了一種名為UP-SLAM的實(shí)時(shí)RGB-D SLAM系統(tǒng)，用于動(dòng)態(tài)環(huán)境中的穩(wěn)健姿態(tài)估計(jì)和靜態(tài)場(chǎng)景重建。

我們的方法將3DGS壓縮為由多個(gè)淺層多層感知機(jī)（MLP）編碼的結(jié)構(gòu)化錨點(diǎn)。引入概率八叉樹以實(shí)現(xiàn)錨點(diǎn)的自適應(yīng)調(diào)整，從而刪除由動(dòng)態(tài)物體引起的冗余錨點(diǎn)。此外，通過將運(yùn)動(dòng)掩碼生成與地圖優(yōu)化解耦，UP-SLAM實(shí)現(xiàn)了同步跟蹤和建圖，支持實(shí)時(shí)定位。在跟蹤過程中，我們提出了一種無需訓(xùn)練、基于優(yōu)化的多模態(tài)一致性估計(jì)方法，該方法融合了幾何線索與DINO特征，以實(shí)現(xiàn)有效的動(dòng)態(tài)物體識(shí)別。在映射過程中，為了進(jìn)一步增強(qiáng)動(dòng)態(tài)條件下的重建效果，設(shè)計(jì)了一種利用正弦位置編碼的時(shí)間編碼器，將幀間信息嵌入到多層感知機(jī)（MLP）中，從而提高表示能力。此外，動(dòng)態(tài)對(duì)象在不同幀中不一致的外觀和運(yùn)動(dòng)為不確定性預(yù)測(cè)提供了有價(jià)值的線索。因此，將魯棒的DINO特征輸入到淺層MLP中進(jìn)行逐像素不確定性估計(jì)，從而實(shí)現(xiàn)連續(xù)的運(yùn)動(dòng)掩碼細(xì)化，并增強(qiáng)重建的魯棒性。

本文的貢獻(xiàn)可概括為：

?提出了一種不確定性感知的并行跟蹤與映射框架，無需依賴預(yù)定義的語義標(biāo)注即可有效減輕動(dòng)態(tài)干擾，從而構(gòu)建高質(zhì)量、無偽影的靜態(tài)地圖。

?提出了一種具有概率八叉樹的自適應(yīng)結(jié)構(gòu)化3DGS場(chǎng)景表示，支持在動(dòng)態(tài)環(huán)境中自動(dòng)分配或修剪高斯基元。這種方法提高了定位精度并減小了模型大小。

?將方法整合到ORB-SLAM3中，并在多個(gè)數(shù)據(jù)集上進(jìn)行了全面評(píng)估。此外，還引入了一種在動(dòng)態(tài)環(huán)境中評(píng)估渲染質(zhì)量的協(xié)議。

?項(xiàng)目地址：https://aczheng-cai.github.io/up_slam.github.io/

02 方法架構(gòu)

圖2展示了UP-SLAM系統(tǒng)的概覽。

UP-SLAM以一系列RGB和深度圖像作為輸入，并采用并行化的跟蹤和建圖架構(gòu)來提高整體效率。在跟蹤線程中，系統(tǒng)執(zhí)行實(shí)時(shí)定位并生成用于建圖的關(guān)鍵幀。動(dòng)態(tài)區(qū)域檢測(cè)由來自建圖線程的多模態(tài)殘差引導(dǎo)，從而實(shí)現(xiàn)穩(wěn)健且實(shí)時(shí)的跟蹤。建圖線程采用概率錨點(diǎn)來構(gòu)建自適應(yīng)結(jié)構(gòu)化的3DGS表示，這在減小模型大小的同時(shí)提高了重建質(zhì)量。為了在動(dòng)態(tài)環(huán)境中提高建圖質(zhì)量，從DINOv2中提取的穩(wěn)健2D視覺特征被蒸餾到3DGS表示中以構(gòu)建多模態(tài)殘差，這些殘差監(jiān)督淺層MLP進(jìn)行逐像素不確定性預(yù)測(cè)，并實(shí)現(xiàn)運(yùn)動(dòng)掩碼的持續(xù)優(yōu)化。

03 實(shí)驗(yàn)結(jié)果

1. 實(shí)驗(yàn)設(shè)置

為了證明所提方法的優(yōu)勢(shì)，我們將它與16種方法進(jìn)行了比較，這些方法按以下類別劃分：

（a）經(jīng)典SLAM方法：ORB-SLAM3；

（b）經(jīng)典動(dòng)態(tài)SLAM方法：ReFusion、DynaSLAM、EM-Fusion；

（c）基于NeRF的SLAM方法：iMAP、NICE-SLAM、Vox-Fusion、Co-SLAM、ESLAM；

（d）基于NeRF的動(dòng)態(tài)SLAM：RoDyn-SLAM；

（e）基于3DGS的SLAM：Photo-SLAM、GS-SLAM、SplaTAM；

（f）基于3DGS的動(dòng)態(tài)SLAM方法：DG-SLAM、Gassidy、WildGS-SLAM。

所有方法均使用動(dòng)態(tài)數(shù)據(jù)集進(jìn)行評(píng)估，具體包括TUMRGB-D數(shù)據(jù)集、波恩RGB-D數(shù)據(jù)集以及MoCapRGB-D數(shù)據(jù)集，此外還使用了一個(gè)靜態(tài)環(huán)境數(shù)據(jù)集ScanNet數(shù)據(jù)集。對(duì)于非開源方法，我們報(bào)告原始結(jié)果；對(duì)于開源方法，我們報(bào)告五次運(yùn)行的平均結(jié)果。加粗字體表示最佳結(jié)果，下劃線表示次優(yōu)結(jié)果。我們從每個(gè)類別中選取了具有代表性的基線方法。

2. 跟蹤性能評(píng)估

動(dòng)態(tài)場(chǎng)景

與DG-SLAM相比，我們的方法在定位精度上平均提高了59.8%。值得注意的是，如表2所示，其平均定位精度提高了84.7%，這主要是因?yàn)镈G-SLAM基于歷史幾何信息實(shí)現(xiàn)了開放集能力，但在復(fù)雜的動(dòng)態(tài)環(huán)境中不夠穩(wěn)健。盡管DynaSLAM在表3中表現(xiàn)良好，這是由于其預(yù)定義的動(dòng)態(tài)物體處理策略，但在表1、2中出現(xiàn)了明顯的漂移。這種性能下降源于這些數(shù)據(jù)集中存在大量難以預(yù)先定義的動(dòng)態(tài)物體，尤其是在表2和雨傘（Umb.）序列中。

靜態(tài)場(chǎng)景

在公開的靜態(tài)ScanNet數(shù)據(jù)集上對(duì)UP-SLAM進(jìn)行評(píng)估，以檢驗(yàn)其魯棒性。雖然動(dòng)態(tài)物體識(shí)別被用于提高動(dòng)態(tài)環(huán)境中的SLAM系統(tǒng)的魯棒性，但識(shí)別不準(zhǔn)確可能會(huì)對(duì)靜態(tài)場(chǎng)景中的定位精度產(chǎn)生不利影響。如表5所示，我們的方法在定位精度上比為靜態(tài)環(huán)境設(shè)計(jì)的SLAM系統(tǒng)平均提高了10.2%。此外，它還實(shí)現(xiàn)了8.1%的提升。與同樣適用于動(dòng)態(tài)場(chǎng)景的DG-SLAM相比，平均改進(jìn)情況。結(jié)果表明，我們的方法在靜態(tài)和動(dòng)態(tài)環(huán)境中均保持了強(qiáng)勁的性能。

3. 映射性能評(píng)估

如表6所示，我們的方法在渲染質(zhì)量方面取得了顯著提升，峰值信噪比（PSNR）平均提高了5.47分貝。Photo-SLAM的渲染質(zhì)量與WildGSSLAM相當(dāng)，這主要得益于其在低動(dòng)態(tài)序列（例如Ball_track和Mv_box2）中的魯棒性。然而，在高度動(dòng)態(tài)的環(huán)境中，定位失敗削弱了渲染結(jié)果的實(shí)際意義。此外，DG-SLAM缺乏穩(wěn)健的高斯基元初始化策略，導(dǎo)致重建不完整，顯著降低了渲染質(zhì)量。圖4提供了渲染結(jié)果的視覺比較。兩種靜態(tài)SLAM方法，SplaTAM和Photo-SLAM，無法生成靜態(tài)地圖。DG-SLAM和單目動(dòng)態(tài)SLAM方法WildGS-SLAM均存在不同程度的失敗。相比之下，UP-SLAM能夠有效去除動(dòng)態(tài)物體，并構(gòu)建出高保真、無偽影的靜態(tài)地圖。