1. 寫在前面

圖像匹配是SLAM和圖像檢索的核心任務(wù)，但是傳統(tǒng)的圖像匹配很難處理遮擋問題。今天筆者將為大家分享一篇曠視的開源工作Occ2Net，使用3D Occupancy來解決遮擋問題下的圖像匹配。

下面一起來閱讀一下這項(xiàng)工作~

2. 摘要

圖像匹配是各種視覺應(yīng)用中基本且關(guān)鍵的任務(wù)，如同時(shí)定位與地圖構(gòu)建( Simultaneous Localization and Mapping，SLAM )和圖像檢索，這些應(yīng)用都需要精確的位姿估計(jì)。然而，現(xiàn)有的大多數(shù)方法忽略了由相機(jī)運(yùn)動(dòng)和場景結(jié)構(gòu)引起的物體之間的遮擋關(guān)系。在本文中，我們提出了一種新的圖像匹配方法Occ2Net，該方法使用3D占有率建模遮擋關(guān)系，并在遮擋區(qū)域中推斷匹配點(diǎn)。得益于占有率估計(jì)( Occupancy Estimation，OE )模塊中編碼的歸納偏差，它大大簡化了多視圖一致3D表示的引導(dǎo)，從而可以集成來自多個(gè)視圖的信息。它與一個(gè)遮擋感知( Occlusion-Aware，OA )模塊一起，結(jié)合了注意力層和旋轉(zhuǎn)對(duì)齊，以實(shí)現(xiàn)遮擋點(diǎn)和可見點(diǎn)之間的匹配。我們?cè)谡鎸?shí)世界和模擬數(shù)據(jù)集上評(píng)估了我們的方法，并在幾個(gè)指標(biāo)上展示了其優(yōu)于最先進(jìn)方法的性能，特別是在遮擋場景中。

3. 效果展示

先看一下問題描述，( a )和( b )是從不同視點(diǎn)拍攝的圖像，而( c )顯示了遮擋區(qū)域的匹配過程。在( c )中，兩個(gè)顯示器顯示綠色和紅色的掩模，表示在( b )中可見但在( a )中被遮擋的區(qū)域。由于相機(jī)運(yùn)動(dòng)，兩個(gè)圖像的視差很大。雖然存在大量的重疊區(qū)域，但大的視差導(dǎo)致了遮擋，很大程度上減少了可見匹配對(duì)的數(shù)量。通過使用Occ2Net提取一致的占用特征并在( a )和( b )之間進(jìn)行匹配，( a )中被遮擋的顯示器仍然可以在( b )中進(jìn)行匹配，從而使Occ2Net具備了在遮擋情況下進(jìn)行匹配的能力。

4. 具體原理是什么？

Occ2Net框架，通過隱式地模擬物體-遮擋關(guān)系，實(shí)現(xiàn)遮擋下的匹配。首先提取特征，然后應(yīng)用OA模塊獲得粗匹配塊，最后將精細(xì)特征與OE模塊中的3D占用估計(jì)相結(jié)合進(jìn)行精細(xì)匹配。

5. 和其他SOTA方法對(duì)比如何？

ScanNet、TartanAir-indoor、TartanAir-outdoor的匹配實(shí)例。綠色和黃色線條表示正確匹配，紅色線條(誤差大于10個(gè)像素)為錯(cuò)誤匹配。

位姿誤差的百分比AUC對(duì)比，Occ2Net最優(yōu)。

6. 總結(jié)

這篇文章提出了一種遮擋問題下的圖像匹配方式，設(shè)計(jì)了一種網(wǎng)絡(luò)結(jié)構(gòu)Occ2Net，可以在一定程度上感知遮擋點(diǎn)的存在。Occ2Net使用特征提取來獲得多尺度的全局和位置特征，這些特征有助于猜測遮擋信息。OA模塊使用了注意力和旋轉(zhuǎn)對(duì)齊，這有助于在后期的由粗到精的過程中得到更多正確的匹配對(duì)。OE模塊使用3D占用估計(jì)結(jié)合精細(xì)特征進(jìn)行精細(xì)匹配。

審核編輯：黃飛