近年來(lái)，使用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行特征提取的基于調(diào)制解調(diào)器特征的SLAM越來(lái)越受到關(guān)注，并有望在幾乎所有機(jī)器人工作環(huán)境中超越傳統(tǒng)方法。這種方法利用經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)來(lái)學(xué)習(xí)關(guān)鍵點(diǎn)，從而增強(qiáng)可視化SLAM數(shù)據(jù)關(guān)聯(lián)的魯棒性?，F(xiàn)代基于特征的SLAM也有望為實(shí)時(shí)映射生成可靠的感知圖，因?yàn)榛趯W(xué)習(xí)的特征點(diǎn)更具可重復(fù)性和均勻分布性。此外，這些局部特征可以用作神經(jīng)對(duì)應(yīng)網(wǎng)絡(luò)的輸入，以消除異常值，從而使姿態(tài)估計(jì)變得更加準(zhǔn)確。另一方面，由于資源有限，無(wú)人機(jī)上的SLAM經(jīng)常對(duì)計(jì)算構(gòu)成限制。在這種情況下，基于特征的SLAM更相關(guān)，因?yàn)樘崛〉呐d趣點(diǎn)可以稍后用于與分割和對(duì)象檢測(cè)相關(guān)的任務(wù)。

因此，提取特征點(diǎn)的方法在SLAM中起著關(guān)鍵作用。我們引入了一種名為SupSLAM的視覺(jué)慣性SLAM方法，該方法基于一種稱為超級(jí)點(diǎn)的新特征點(diǎn)的使用。這些特征點(diǎn)通過(guò)深度神經(jīng)網(wǎng)絡(luò)從SLAM前端的輸入圖像中提取的。我們的SLAM前端只需要一個(gè)帶有IMU作為輸入的立體攝像頭。姿態(tài)估計(jì)由多狀態(tài)約束卡爾曼濾波器（MSCKF）進(jìn)行，而軌跡可靠性則由后端運(yùn)行的圖形優(yōu)化過(guò)程維護(hù)。

系統(tǒng)架構(gòu)

圖1 中顯示了表示我們的SLAM系統(tǒng)的圖表。該系統(tǒng)使用立體攝像頭作為輸入來(lái)提取環(huán)境特征。該相機(jī)配有IMU，用于測(cè)量線性加速度和角速度。然后通過(guò)前端和后端模塊處理來(lái)自輸入設(shè)備的數(shù)據(jù)。

圖1系統(tǒng)概述

前端從輸入數(shù)據(jù)中提取特征點(diǎn)，然后在左右攝像頭之間匹配它們以獲取深度信息。然后將這些信息提供給多態(tài)約束MSCKF，以估計(jì)無(wú)人機(jī)的3D姿態(tài)。另一方面，后端跟蹤關(guān)鍵幀中的要素，以執(zhí)行映射一致性和軌跡估計(jì)的循環(huán)閉包過(guò)程。因此，前端表現(xiàn)為視覺(jué)慣性里程計(jì)（VIO），以提供無(wú)人機(jī)姿勢(shì)的實(shí)時(shí)估計(jì)，而后端則跟蹤并隨時(shí)間調(diào)整姿勢(shì)。

SLAM 中數(shù)據(jù)關(guān)聯(lián)的超級(jí)點(diǎn)

SuperPoint是一個(gè)完全卷積的神經(jīng)網(wǎng)絡(luò)，它在單個(gè)正向傳遞和運(yùn)行中計(jì)算2D特征點(diǎn)位置和描述符。在我們的工作中，我們只考慮特征點(diǎn)，以降低計(jì)算成本并保持匹配結(jié)果的一致性。所用超級(jí)點(diǎn)的體系結(jié)構(gòu)如圖 2所示。

圖2超級(jí)點(diǎn)的模型架構(gòu)

實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)是從框架尺寸為40cm x40cm的四軸飛行器中收集的。IMU更新速率為200 Hz。立體相機(jī)的基線為7厘米，分辨率為752x480，速度為每秒20幀。SLAM系統(tǒng)在C++中使用OpenVINS框架實(shí)現(xiàn)。OpenCV和庫(kù)用于圖像處理。為了實(shí)時(shí)性能，要跟蹤的視覺(jué)特征數(shù)限制為400個(gè)，當(dāng)活動(dòng)點(diǎn)數(shù)降至300以下時(shí)，將添加新的特征點(diǎn)。預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)用于以752x480的分辨率從輸入圖像中提取特征。MSCKF中的時(shí)間窗口設(shè)置為3秒。在后端，每隔1.2米向姿勢(shì)圖添加新的關(guān)鍵幀。

數(shù)據(jù)準(zhǔn)備

真實(shí)數(shù)據(jù)和合成數(shù)據(jù)都用于實(shí)驗(yàn)。真實(shí)數(shù)據(jù)包括EuRoC數(shù)據(jù)集中名為MH3，MH4和MH5的三個(gè)最復(fù)雜的序列，其中無(wú)人機(jī)沿著機(jī)房飛行。合成數(shù)據(jù)包括兩個(gè)場(chǎng)景，分別代表一個(gè)農(nóng)村農(nóng)場(chǎng)和一個(gè)城市地區(qū)，這些場(chǎng)景是由我們從AirSim開發(fā)的工具集生成的，如圖3所示。

圖3用于實(shí)驗(yàn)的農(nóng)村農(nóng)場(chǎng)和城市地區(qū)的綜合場(chǎng)景

評(píng)價(jià)指標(biāo)

我們使用兩個(gè)指標(biāo)進(jìn)行性能評(píng)估，包括絕對(duì)軌跡誤差（ATE）和相對(duì)軌跡誤差（RTE）。計(jì)算ATE的方法是首先將估計(jì)的軌跡與地面實(shí)況對(duì)齊，然后測(cè)量它們之間的差異，如圖4a所示。RTE的計(jì)算方法是將估計(jì)的軌跡劃分為段dk然后將每個(gè)線段與地面實(shí)況軌跡對(duì)齊，以計(jì)算誤差，如圖4b所示。

圖4評(píng)估指標(biāo)的圖示（a） 絕對(duì)軌跡誤差和（b） 相對(duì)軌跡誤差

SLAM結(jié)果

圖5 顯示了SuperPoint在三個(gè)場(chǎng)景中檢測(cè)到的特征點(diǎn)，包括城市地區(qū)、農(nóng)村農(nóng)場(chǎng)和機(jī)房，具有兩種不同的設(shè)置，即100個(gè)和400個(gè)特征點(diǎn)?？梢钥闯觯锹?，邊緣，顏色變化等特征被很好地檢測(cè)到。此外，檢測(cè)到的特征分布在圖像中，因此算法對(duì)某些對(duì)象的依賴性較小。

圖5超級(jí)點(diǎn)檢測(cè)到的特征點(diǎn)圖6顯示了檢測(cè)到的特征點(diǎn)在左右圖像之間的對(duì)應(yīng)關(guān)系。可以看出，大多數(shù)特征點(diǎn)都正確匹配，這意味著提取的深度信息是可靠的。

圖6超級(jí)點(diǎn)檢測(cè)到的特征點(diǎn)

在不同時(shí)間捕獲的兩個(gè)圖像幀之間的特征點(diǎn)的跟蹤Δt=0.3s如圖7a 所示。由于檢測(cè)到的特征點(diǎn)分布在圖像中，因此幀之間的共同特征點(diǎn)的數(shù)量得到了很好的維護(hù)，這對(duì)于穩(wěn)定的SLAM非常重要。

圖7使用時(shí)差捕獲（a） FAST和（b）兩幀中的超級(jí)點(diǎn)的跟蹤結(jié)果Δt=0.3s

圖 8 顯示了LoopF數(shù)據(jù)集的SLAM結(jié)果，其中無(wú)人機(jī)在農(nóng)村農(nóng)場(chǎng)上空飛行兩輪?？梢钥闯觯罱K估計(jì)的軌跡（紅線）即使在近500米的長(zhǎng)距離上也能很好地跟蹤地面實(shí)況軌跡（黃線）。

圖8LoopF數(shù)據(jù)集的無(wú)人機(jī)軌跡包括地面實(shí)況軌跡（黃線）、前端估計(jì)（綠線）和后端估計(jì)（紅線）

結(jié)果比較

為了進(jìn)一步評(píng)估我們方法的性能，我們與OpenVINS 進(jìn)行了比較，OpenVINS是一種最先進(jìn)的SLAM系統(tǒng)，使用FAST進(jìn)行特征提取。圖9顯示了FAST檢測(cè)到的特征點(diǎn)。與SuperPoint不同，這些特征點(diǎn)集中在某些對(duì)象（如植物、房屋或機(jī)器）周圍。因此，當(dāng)物體移出場(chǎng)景時(shí)，不同時(shí)間拍攝的圖像幀之間的共同特征點(diǎn)數(shù)量顯著減少，如圖7b所示。這個(gè)問(wèn)題反過(guò)來(lái)又會(huì)影響SLAM的結(jié)果。

圖9FAST檢測(cè)到的特征點(diǎn)

為了評(píng)估SupSLAM的性能，我們進(jìn)行了許多實(shí)驗(yàn)，并與真實(shí)和合成數(shù)據(jù)集進(jìn)行了比較。結(jié)果驗(yàn)證了我們提出的無(wú)人機(jī)系統(tǒng)的有效性和有效性。

審核編輯：郭婷