基于事件的攝像機(jī)是一種新的無(wú)源傳感方式，與傳統(tǒng)的攝像機(jī)相比有許多優(yōu)點(diǎn)，包括極低的延遲、異步數(shù)據(jù)采集、高動(dòng)態(tài)范圍和極低的功耗。最近，人們對(duì)應(yīng)用算法來(lái)使用事件執(zhí)行各種3D感知任務(wù)非常感興趣，比如特征跟蹤、視覺(jué)里程數(shù)測(cè)量和立體深度估計(jì)。然而，目前缺乏像傳統(tǒng)相機(jī)那樣豐富的標(biāo)記數(shù)據(jù)，無(wú)法用于測(cè)試和開(kāi)發(fā)。在本文中，我們展示了一個(gè)大型數(shù)據(jù)集，該數(shù)據(jù)集采用了基于事件的同步立體攝影系統(tǒng)，該系統(tǒng)由一個(gè)手持式設(shè)備攜帶，在各種不同的照明水平和環(huán)境中，由一架六軸飛行器飛行，在汽車頂部驅(qū)動(dòng)，并安裝在摩托車上。從每個(gè)相機(jī)中，我們提供事件流、灰度圖像和IMU讀數(shù)。此外，我們利用IMU、剛性安裝的激光雷達(dá)系統(tǒng)、室內(nèi)外運(yùn)動(dòng)捕捉和GPS的組合，以高達(dá)100Hz的頻率為每個(gè)攝像機(jī)提供準(zhǔn)確的姿勢(shì)和深度圖像。為了進(jìn)行比較，我們還提供了同步的灰度圖像和基于框架的立體攝像機(jī)系統(tǒng)的IMU讀數(shù)。

目前，有一些現(xiàn)有的數(shù)據(jù)集提供了來(lái)自單眼事件相機(jī)的事件，并與其他各種傳感方式和地面實(shí)況測(cè)量相結(jié)合，適用于測(cè)試一些不同的3D感知任務(wù)。

早期的工作[6]，[7]提出了立體深度估計(jì)的結(jié)果，有一些空間和時(shí)間成本。后來(lái)在[8]、[9]和[10]的工作中，將立體深度的合作方法適應(yīng)于基于事件的攝像機(jī)，因?yàn)樗鼈冞m用于異步的、基于點(diǎn)的測(cè)量。同樣，[11]和[12]應(yīng)用了一套時(shí)間、極性、排序和極性約束來(lái)確定匹配，而[13]則將其與基于方位儀庫(kù)輸出的匹配進(jìn)行比較。

作者在[14]中展示了一種新的方法來(lái)確定外極線，應(yīng)用于立體匹配。在[15]中，作者提出了一個(gè)新的上下文描述符來(lái)進(jìn)行匹配，[16]中的作者使用了一個(gè)經(jīng)歷純旋轉(zhuǎn)的立體事件相機(jī)來(lái)進(jìn)行深度估計(jì)和全景拼接。

III.數(shù)據(jù)集

表I中列出了傳感器及其特點(diǎn)。此外，圖2a顯示了傳感器裝置的CAD圖，所有的傳感器軸都被標(biāo)明，圖2顯示了傳感器在每輛車上的安裝方式。

圖2：從左到右：（a）：傳感器裝置的CAD模型。所有的傳感器軸都被貼上標(biāo)簽，并涂上對(duì)應(yīng)的顏色：R:X、G:Y、B:Z，每對(duì)軸之間只有大約90度的旋轉(zhuǎn)組合。(b): 安裝在六軸飛行器上的傳感器包。(c): 使用玻璃吸力三角架安裝在汽車天窗上的傳感器包。(d): DAVIS相機(jī)和VI傳感器安裝在摩托車上。請(qǐng)注意，在所有的配置中，VI傳感器都是倒著安裝的。最好以彩色方式觀看。

表一：傳感器和特征

B.序列

圖4：運(yùn)動(dòng)捕捉場(chǎng)地。左：室內(nèi)Vicon場(chǎng)地；右：戶外Qualisys場(chǎng)地。

IV.地面實(shí)況的生成

為了提供地面實(shí)況姿態(tài)，在有條件的情況下，會(huì)使用動(dòng)作捕捉姿態(tài)。否則，如果有激光雷達(dá)，Cartographer[28]將用于驅(qū)動(dòng)序列，將激光雷達(dá)掃描和IMU數(shù)據(jù)融合成激光雷達(dá)的循環(huán)閉合2D姿態(tài)，利用第五章D節(jié)的校準(zhǔn)將其轉(zhuǎn)換為左DAVIS幀。對(duì)于戶外場(chǎng)景，我們也提供原始的GPS讀數(shù)。

對(duì)于室內(nèi)和室外運(yùn)動(dòng)捕捉領(lǐng)域的序列，在每個(gè)時(shí)間t的傳感器設(shè)備worldHbody(t)的主體框架的姿勢(shì)是以100Hz測(cè)量的，精度為毫米級(jí)。對(duì)于戶外序列，我們依靠Cartographer來(lái)執(zhí)行循環(huán)閉合，并將激光雷達(dá)掃描和IMU數(shù)據(jù)融合到一個(gè)單一的循環(huán)閉合的主體（在這種情況下是激光雷達(dá)）的2D姿勢(shì)中，并使其漂移最小。

為了對(duì)最終姿勢(shì)的質(zhì)量進(jìn)行量化衡量，我們將位置與GPS測(cè)量值對(duì)齊，并為數(shù)據(jù)集中的每個(gè)戶外序列提供疊加的衛(wèi)星圖像，以及所提供的地面實(shí)景和GPS之間的位置差異。圖7提供了Car Day 2的樣本覆蓋，其中Cartographer和GPS之間的平均誤差始終在5m左右，沒(méi)有漂移。

這個(gè)誤差在所有的戶外駕駛序列中是一致的，總體平均誤差為4.7米，與GPS的預(yù)期誤差大小相似。請(qǐng)注意，440秒左右的誤差峰值是由于巨大的GPS誤差造成的，對(duì)應(yīng)于覆蓋圖右上方的黑體部分。

在這兩種情況下，對(duì)于每個(gè)從左DAVIS幀到幀取點(diǎn)的序列，外在的變換，表示為4×4的同質(zhì)變換矩陣體worldHDAVIS，然后用來(lái)估計(jì)時(shí)間t的左DAVIS相對(duì)于時(shí)間t0的第一個(gè)左DAVIS的姿勢(shì)：

在有激光雷達(dá)的每個(gè)序列中，每個(gè)DAVIS相機(jī)的深度圖像都是為每個(gè)激光雷達(dá)測(cè)量而生成的。我們首先通過(guò)將當(dāng)前測(cè)量周圍的局部窗口中的每個(gè)激光雷達(dá)點(diǎn)云轉(zhuǎn)換為當(dāng)前測(cè)量的框架，使用LOAM的姿勢(shì)來(lái)生成一個(gè)局部地圖。在每次測(cè)量時(shí)，確定窗口大小，使窗口中當(dāng)前、第一和最后一個(gè)LOAM姿勢(shì)之間的距離至少為d米，并且當(dāng)前、第一和最后一個(gè)LOAM姿勢(shì)之間至少有s秒，其中d和s是為每個(gè)序列調(diào)整的參數(shù)。這些地圖的例子可以在圖5中找到。

其中Π是投影函數(shù)：

V.校準(zhǔn)

圖5：為地面實(shí)況生成的樣本地圖。左圖：汽車第1天序列的全圖，綠色為軌跡; 右圖:來(lái)自Hexacopter Indoor 3序列的局部地圖。

圖6：深度圖像（紅色）與事件疊加（藍(lán)色），來(lái)自Hexacopter Indoor 2和Car Day 1序列。請(qǐng)注意，由于激光雷達(dá)的垂直視場(chǎng)和范圍有限，圖像的部分區(qū)域（黑色區(qū)域，特別是頂部）沒(méi)有深度。這些部分在數(shù)據(jù)中被標(biāo)記為NaN。最好以彩色方式觀看。

圖7：GPS和Cartographer在衛(wèi)星圖像上疊加的 Car Day 2 軌跡的比較。請(qǐng)注意，Cartographer和GPS之間的誤差峰值對(duì)應(yīng)于左側(cè)覆蓋圖右上方的黑體部分，主要是由于GPS誤差造成的。最好以彩色觀看。

A.攝像機(jī)的內(nèi)在、外在和時(shí)間校準(zhǔn)

VI.已知問(wèn)題

用于生成深度圖的映射假設(shè)場(chǎng)景是靜態(tài)的，通常不會(huì)過(guò)濾掉移動(dòng)物體上的點(diǎn)。因此，在追蹤其他汽車上的點(diǎn)時(shí)，報(bào)告的深度圖可能有高達(dá)兩米的誤差，等等。然而，與可用的數(shù)據(jù)總量相比，這些對(duì)象通常相當(dāng)罕見(jiàn)。如果需要，未來(lái)的工作可以涉及對(duì)圖像中的車輛進(jìn)行分類，并從深度圖中省略這些點(diǎn)。

運(yùn)動(dòng)捕捉和GPS只使用主機(jī)的時(shí)間與系統(tǒng)的其他部分同步。這可能會(huì)導(dǎo)致報(bào)告的時(shí)間戳與實(shí)際測(cè)量時(shí)間之間出現(xiàn)偏移。我們?cè)谝慌_(tái)電腦上記錄所有的測(cè)量結(jié)果，以減少這種影響。此外，由于激光雷達(dá)的旋轉(zhuǎn)速度，激光雷達(dá)點(diǎn)的測(cè)量和信息的時(shí)間戳之間可能會(huì)有一些延遲。

在生成每個(gè)序列時(shí)，使用了每個(gè)攝像機(jī)的默認(rèn)偏置。然而，人們注意到，對(duì)于室內(nèi)?ying序列，正負(fù)事件的比例比通常要高（~2.5-5倍）。在這一點(diǎn)上，我們不知道是什么原因?qū)е铝诉@種不平衡，也不知道調(diào)整偏置是否會(huì)平衡它。我們注意到，這種不平衡在斑紋層上特別偏斜。我們建議使用事件極性的研究人員在處理這些序列時(shí)要注意這種不平衡性。

VII.總結(jié)

我們提出了一個(gè)新的立體事件相機(jī)的數(shù)據(jù)集，在一些不同的車輛和不同的環(huán)境中，有6自由度姿勢(shì)和深度圖像的地面實(shí)況。我們希望這些數(shù)據(jù)能夠提供一個(gè)標(biāo)準(zhǔn)，在此基礎(chǔ)上對(duì)新的基于事件的方法進(jìn)行評(píng)估和比較。

審核編輯 ：李倩