隨著移動機器人的日益發(fā)展，SLAM也有了長足的進步。與激光SLAM相比，視覺SLAM的感知以及重定位能力更強。其次，它的安裝方式比較多元化以及價格低廉，這些優(yōu)勢使它受到更多的關(guān)注，大量視覺SLAM算法被提出。

視覺SLAM框架包括傳感器數(shù)據(jù)、前端、后端、回環(huán)檢測和建圖，如圖1所示?；丨h(huán)檢測是SLAM系統(tǒng)中重要的組成部分，對消除累積誤差有著非常重要的作用，沒有回環(huán)檢測，SLAM系統(tǒng)就會等同于一個里程計，在長期大范圍的導(dǎo)航和定位中產(chǎn)生的累計誤差是的不可規(guī)避的。

僅僅依靠里程計進行的狀態(tài)估計會導(dǎo)致比較嚴(yán)重的偏差，錯誤回環(huán)信息會使整個算法收斂到一個錯誤的值，盡管也有許多能夠降低錯誤回環(huán)影響的圖優(yōu)化算法，但是這些并不可能從根本上消除回環(huán)帶來的影響，并且會給整個定位系統(tǒng)帶來一定計算負(fù)擔(dān)。所以，回環(huán)檢測在后期的地圖優(yōu)化中起著十分重要的作用。

圖1 視覺SLAM經(jīng)典框架

目前視覺SLAM回環(huán)檢測主要方式有傳統(tǒng)的詞袋模型以及基于概率和詞袋模型的一些改進算法，但是傳統(tǒng)方式依然存在過多的人工干預(yù)，對于場景中動態(tài)對象的處理不是十分理想，并且計算量較大，響應(yīng)比較慢。而深度學(xué)習(xí)技術(shù)的出現(xiàn)及發(fā)展在回環(huán)檢測問題的解決上提供了新的方向。

本文首先對回環(huán)檢測的問題進行描述，對目前使用較多的傳統(tǒng)回環(huán)檢測方法進行梳理，總結(jié)與深度學(xué)習(xí)及語義分割等技術(shù)相結(jié)合的回環(huán)檢測方法，在此基礎(chǔ)上分析不同神經(jīng)網(wǎng)絡(luò)在公開數(shù)據(jù)集下的性能對比。介紹目前所使用的公開數(shù)據(jù)集及相關(guān)開源庫。同時，分別從結(jié)合深度學(xué)習(xí)的回環(huán)檢測、結(jié)合語義分割的回環(huán)檢測和加入回環(huán)檢測后的后端優(yōu)化幾個方面對回環(huán)檢測目前所面臨的挑戰(zhàn)進行闡述，探討視覺SLAM回環(huán)檢測未來的發(fā)展熱點趨勢和方向，期望可以對回環(huán)檢測技術(shù)研究人員提供新的思路。

01 回環(huán)檢測問題描述

當(dāng)移動機器人經(jīng)過一定時間的運動后回到原點，但是由于隨著時間產(chǎn)生位姿漂移，此時的位置估計值并不是最初值，如果知道機器人是回到原點，把位置估計值拉回去，就可以消除漂移，起到減小累積誤差的作用，在地圖構(gòu)建上減小誤差，回環(huán)檢測就可以起到這樣的作用，如圖2所示，正確的回環(huán)信息可以修正里程計誤差，從而得到信息一致的地圖。

圖2 回環(huán)檢測校正效果

在視覺SLAM問題中，位姿的估計是一個遞推的過程，當(dāng)前幀的位姿由上一幀位姿推算，其中的誤差傳遞下去產(chǎn)生累積誤差。

如圖3所示，一般情況下，第五幀位通過第四幀推算出來，當(dāng)找到與第一幀的關(guān)系時，便可以由第一幀推算，此時只有兩個約束的誤差，累積誤差就會減小，像這樣與之前的某一幀建立位姿約束關(guān)系就叫做回環(huán)。減少約束數(shù)因而減小累積誤差?；丨h(huán)檢測就是檢驗這種歷史幀的位姿約束問題。

圖3 回環(huán)檢測問題描述模型

02 主流回環(huán)檢測方法

2.1 根據(jù)路標(biāo)點先驗信息

回環(huán)檢測的一種方式是根據(jù)路標(biāo)點的先驗信息，在檢測時檢索到與先驗信息相同的信息即認(rèn)為產(chǎn)生回環(huán)。但是存在以下兩個缺點：首先，如果使用人工設(shè)置的路標(biāo)點，由于人力不夠會導(dǎo)致路標(biāo)點數(shù)量有限，機器人移動范圍受限；其次，如果裝載GPS裝置，雖然免去人工路標(biāo)點的設(shè)置環(huán)節(jié)，卻增加機器人的載荷，當(dāng)機器人在弱GPS信號的環(huán)境中定位精度就會受到影響。所以，這種基于路標(biāo)點的方式使用情況并不多。

2.2 詞袋模型

回環(huán)檢測中最常用的詞袋模型是將圖像中的特征處理成單詞，不同的單詞代表不同的特征，對兩張圖片中單詞進行對比，判斷兩張圖片是否相似，為將所有特征類比成一個個單詞，就需要訓(xùn)練一個詞典，如圖4所示，這個詞典包含所有可能的單詞集合，通過訓(xùn)練大量的數(shù)據(jù)可以使字典通用性更高。

圖4 詞袋模型模型實現(xiàn)過程

2.2.1 特征提取與描述

在視覺SLAM系統(tǒng)中，人為設(shè)計特征提取的方法包括SIFT、SURF和ORB算法三大類。

SIFT算法最早是由LoweDG提出的，由于它能夠在空間尺度中找到極值點，從而在實驗中提取的點具有尺度、位置、及旋轉(zhuǎn)不變的特點。

SURF（Speeded Up Robust Features）算法是由HerbertBay等人提出，此算法是SIFT算法的一種改進算法，運行效率更加高效，但是，尋找主方向步驟很大程度上取決于局部區(qū)域像素的梯度方向，即使偏差角度不大，只要主方向不準(zhǔn)確，特征匹配的誤差就會比較大，導(dǎo)致匹配出錯。

Galvez-Lopez D提出ORB（FAST+Brief）也比較具有代表性，它的運行效率是SIFT的十倍，是SURF的一百倍，在提取FAST特征點時比較簡單，選擇一個以3為半徑的像素點作為中心點，并逐一比較中心點周圍的十六個像素點，如果灰度差異值大于12時，當(dāng)前中心點判斷為特征點。除了局部特征方法外，全局圖像描述符GIST也被用于視覺SLAM中。表1總結(jié)歸納幾種特征提取方式。

表 1 特征提取方式對比表

2.2.2 聚類算法及相似性判斷

在回環(huán)檢測中，傳統(tǒng)的方法詞袋模型首先訓(xùn)練一個詞典，之后需要產(chǎn)生一個數(shù)據(jù)庫，用來記錄查詞典時所用的單詞。訓(xùn)練詞典即特征聚類的過程，假設(shè)所有的圖片中需要提取N個特征，可以聚類成N/1000個單詞，用這N/1000個單詞來匹配，每個特征需要比較N/1000次才可以找到對應(yīng)單詞，為解決效率不高的問題，字典在訓(xùn)練過程中構(gòu)建一個樹，有k個分支，深度為d，根節(jié)點是粗分類，越下層分類越細(xì)，直至葉子結(jié)點。

利用k-d樹進行特征匹配，速度得到提升，并將時間復(fù)雜度降低到對數(shù)級別。詞袋模型核心內(nèi)容就是使用K-means聚類算法，此算法比其他聚類算法更簡單，執(zhí)行速度更快，可以用于很多常規(guī)的數(shù)據(jù)集，是一種硬聚類算法，在無監(jiān)督學(xué)習(xí)實驗中廣泛使用。

傳統(tǒng)詞袋模型算法中，相似性判斷通常使用詞頻-逆文檔頻率（TF-IDF，Term Frequency–Inverse Document Frequency）算法，其中，TF指的是詞頻，表示在圖像中提取的詞匯的頻率，頻率越高，識別度就越高，IDF指的是逆文檔頻率，它表示在圖像中提取的詞匯出現(xiàn)頻率越低區(qū)分度越高。

2.2.3 實驗評估 傳統(tǒng)的詞袋模型在牛津大學(xué)公開數(shù)據(jù)集NewCollege以及CityCenter上的時間性能評估及相關(guān)信息如表2所示，圖5展示了兩種數(shù)據(jù)集利用詞袋模型方法下的準(zhǔn)確率—回環(huán)率曲線對比。

表2 詞袋模型在不同數(shù)據(jù)集下訓(xùn)練時間表（單位：秒）

圖5 詞袋模型進行回環(huán)檢測在不同數(shù)據(jù)集下的PR（準(zhǔn)確率-回環(huán)率）曲線

2.3 基于詞袋模型和概率的改進算法

最常用的基于詞袋模型的方法仍然存在一定的局限性，這種方法將不同位置的相似場景錯誤判斷為同一場景，針對這個問題，一些基于詞袋模型和概率的改進方法也被提出。

根據(jù)概率生成一個概率分布，機器人回到地圖上此點的可能性大小是通過每個點的概率，貝葉斯模型是最常使用的模型。

03 傳統(tǒng)回環(huán)檢測算法改進

在回環(huán)檢測階段，為了將高維度的圖片進行實時性的比較與匹配，采用了提取圖像特征點及其附屬描述子的方式，并對兩幀圖像間描述子的相似度進行度量，與預(yù)設(shè)閾值進行比較，高于預(yù)設(shè)值，則判斷兩幀圖像相似，最終判斷移動機器人回到歷史時刻位置。

特征描述子如SIFT，SURF描述子均為浮點數(shù)編碼的描述子，比較相似度時采用2范數(shù)。特征描述子如BRIEF，ORB描述子等為二進制數(shù)編碼的描述子，比較相似度時則使用漢明距離。二進制描述子相較于浮點型描述子，占用更少的內(nèi)存資源，且計算量較小。此外，BRIEF等二進制描述子比浮點數(shù)描述子的更容易訪問，具體如表3所示。圖像中的特征描述符得到了很好的利用就可以準(zhǔn)確判斷回環(huán)是否產(chǎn)生，但是這是以原始特征順序和空間位置為代價的。如果處在類似的位置環(huán)境，但是空間排列順序不同，很容易造成回環(huán)檢測算法的失效，導(dǎo)致同時定位與建圖失敗。

因此，想要對傳統(tǒng)方式進行改進，就得使生成的新的單詞具備空間位置信息及其他附屬信息，并對新的二進制描述子的構(gòu)成方式做出改進，以此提升回環(huán)檢測的準(zhǔn)確度。

表3 常用特征描述子對比

04 深度學(xué)習(xí)在回環(huán)檢測中的應(yīng)用

利用傳統(tǒng)算法，可以在視覺SLAM回環(huán)檢測中得到較好的準(zhǔn)確率和召回率，但是存在訓(xùn)練時間較長、過于依賴操作者經(jīng)驗等問題。目前，計算機視覺與深度學(xué)習(xí)的相互結(jié)合，比如實例分類、對象檢測、行為識別等方面都有不錯的效果，執(zhí)行效率以及準(zhǔn)確率都有巨大的提升，深度學(xué)習(xí)技術(shù)的快速發(fā)展為回環(huán)檢測提供新的解決方法，能夠很好的解決目前回環(huán)檢測中的一些問題。

深度學(xué)習(xí)的一個重要用途就是可以對數(shù)據(jù)進行識別以及分類，將傳統(tǒng)方法與深度學(xué)習(xí)結(jié)合，或是直接將深度學(xué)習(xí)技術(shù)應(yīng)用到回環(huán)檢測上，從而得到提出一種全新的方法。目前相關(guān)的研究分成兩個方向，主要是學(xué)習(xí)圖像特征的方式有區(qū)別，一種利用CNN神經(jīng)網(wǎng)絡(luò)，另一種利用自編碼器進行非監(jiān)督式的學(xué)習(xí)，接著從特征的相似性進行回環(huán)的判斷。

與傳統(tǒng)詞袋模型算法相比，利用深度學(xué)習(xí)的相關(guān)方法不需要人工提取特征，可以避免人工干預(yù)問題。并且因為深度學(xué)習(xí)可以獲得圖片更加深層的特征，可以更好地應(yīng)對光照以及其他環(huán)境變化等外界因素，但是仍然需要更多相關(guān)知識的支持，為了獲得更好地回環(huán)檢測性能，深度學(xué)習(xí)與SLAM系統(tǒng)的結(jié)合還需要進一步開發(fā)。如表4所示，分別從物理意義、特征提取能力、設(shè)計流程、泛化能力、發(fā)展趨勢等幾個方面對傳統(tǒng)詞袋模型與利用深度學(xué)習(xí)的回環(huán)檢測算法進行了優(yōu)缺點的對比。

表4 傳統(tǒng)詞袋模型與基于深度學(xué)習(xí)的回環(huán)檢測算法對比

05 回環(huán)檢測現(xiàn)有問題及未來發(fā)展方向

5.1 回環(huán)檢測存在的問題

傳統(tǒng)的回環(huán)檢測算法，在準(zhǔn)確率和回環(huán)率上都有不錯的結(jié)果，但仍存在過多的人工干預(yù)、魯棒性不高、訓(xùn)練時間長、過于依賴操作者經(jīng)驗等問題。對于場景中的復(fù)雜情況，提取圖像描述子時，光照、天氣等外界因素被忽略了，同時圖像中物體的相對位置信息也是很重要的影響因素，將這些信息很好的利用起來就可以提高回環(huán)檢測的性能。

近年來，在計算機視覺和深度學(xué)習(xí)發(fā)展的推動下，回環(huán)檢測已經(jīng)取得了很大的進步，但是這些算法在不同環(huán)境下的實時性以及不同情況下的泛化能力還需要進一步研究，例如基于深度學(xué)習(xí)的算法依賴大量的標(biāo)記數(shù)據(jù)集且依賴當(dāng)前環(huán)境與數(shù)據(jù)集之間的相似性；在信息特征的提取仍然缺少更加清晰的指導(dǎo)，訓(xùn)練參數(shù)的調(diào)整也比較依賴以往積累下來的調(diào)參經(jīng)驗，目前使用的CNN特征大多是由圖像分類網(wǎng)絡(luò)生成，如何訓(xùn)練適用于回環(huán)檢測的專用CNN網(wǎng)絡(luò)仍然是一個亟待解決的問題。

5.2 回環(huán)檢測未來的發(fā)展方向

解決上述問題需要在相關(guān)領(lǐng)域進一步發(fā)展，更好地解決目前回環(huán)檢測中仍然存在的問題，需要借助更多的相關(guān)知識，比如深度學(xué)習(xí)、目標(biāo)識別以及語義分割等。

（1）基于深度學(xué)習(xí)的回環(huán)檢測

近年來，由于深度學(xué)習(xí)的推動，目標(biāo)檢測技術(shù)也取得了進步，這有助于提高移動機器人的動態(tài)場景適應(yīng)能力。目標(biāo)識別分開的方法和傳統(tǒng)的潛在區(qū)域特征提取方法不同，現(xiàn)在的目標(biāo)識別算法為了提高目標(biāo)識別的效率和準(zhǔn)確率采用在深度學(xué)習(xí)框架下將兩部分整合在一起。Hou等詳細(xì)評估了目標(biāo)識別中常用的物體潛在區(qū)域提取方法在回環(huán)檢測中的應(yīng)用，他發(fā)現(xiàn)回環(huán)檢測中常用的對象識別方法以及使用神經(jīng)網(wǎng)絡(luò)生成標(biāo)記區(qū)域的方法均受訓(xùn)練數(shù)據(jù)集的影響，這仍然存在一定的問題。

（2）基于語義分割的回環(huán)檢測

目前語義視覺SLAM的相關(guān)研究成果大致為視覺SLAM輔助語義和視覺SLAM語義輔助兩大類，前者又稱為語義建圖，大多基于卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)，將一些語義信息集成到SLAM的研究中，以滿足復(fù)雜場景的要求。大多是利用提取得語義信息概括局部特征，與全局的圖進行比較。目前的語義SLAM研究處于初步發(fā)展階段，但前景廣闊。語義分割技術(shù)與深度學(xué)習(xí)結(jié)合后獲得了很大的提升，語義SLAM的難點在于如何設(shè)置誤差函數(shù)，如何將觀測值設(shè)置為深度學(xué)習(xí)的檢測結(jié)果和分割結(jié)果，并一起融入SLAM的優(yōu)化問題。解決這些困難一定會給回環(huán)檢測問題帶來新的突破。

（3）加入回環(huán)檢測的后端優(yōu)化

回環(huán)檢測的最終目標(biāo)是更好地進行后端優(yōu)化。在設(shè)置參數(shù)時，應(yīng)該結(jié)合后端優(yōu)化算法。通過找到更多正確的回環(huán)，提升整個系統(tǒng)的優(yōu)化效果。否則，錯誤的回環(huán)可能使優(yōu)化結(jié)果收斂到錯誤的結(jié)果，造成整個系統(tǒng)的失誤。傳統(tǒng)系統(tǒng)性能優(yōu)化指標(biāo)主要是算法的準(zhǔn)確率，但在一些新的后端優(yōu)化方法中，保證準(zhǔn)確率的同時盡量提高召回率，在優(yōu)化階段可減少錯誤回環(huán)的影響。這可以幫助SLAM系統(tǒng)設(shè)計出更好的后端，從而達到更好的地圖構(gòu)建，有助于更好地構(gòu)建新的SLAM系統(tǒng)。

06 結(jié)論

回環(huán)檢測對于整個SLAM系統(tǒng)至關(guān)重要，傳統(tǒng)的詞袋模型可以在一般情況下得到較好的性能，但是仍然存在過多人工干預(yù)等問題。在計算機視覺與深度學(xué)習(xí)技術(shù)的支持下，基于深度學(xué)習(xí)的算法有更好的性能，已經(jīng)突破傳統(tǒng)詞袋模型，但是在實時性以及復(fù)雜場景下的情況仍然需要進一步研究，這樣可以使回環(huán)檢測的算法更好地應(yīng)對場景的外觀變化。

為了更好地解決目前回環(huán)檢測中存在的問題，需要融入更多的相關(guān)領(lǐng)域的技術(shù)，深度學(xué)習(xí)、目標(biāo)識別以及語義分割等技術(shù)的融入會給回環(huán)檢測帶來新的思考：

1）利用深度學(xué)習(xí)解決回環(huán)檢測問題，用專用的網(wǎng)絡(luò)來進行圖像提取，這樣可以檢測出關(guān)鍵幀的深層特征，但是在信息特征的提取缺少較為清晰的指導(dǎo)，訓(xùn)練參數(shù)的調(diào)整依賴以往積累下來的調(diào)參經(jīng)驗。

2）加入語義信息的回環(huán)檢測，對構(gòu)建語義地圖、利用更高級的特征進行回環(huán)檢測、節(jié)省地圖的存儲空間具有重要作用。

3）將回環(huán)檢測問題與后端優(yōu)化問題結(jié)合起來考慮達到更好地效果，使整個系統(tǒng)更加完整，這將是視覺SLAM未來發(fā)展的新方向。

審核編輯 ：李倩