基于激光雷達的三維目標檢測對于自動駕駛而言是不可避免的選擇，因為它與對環(huán)境的理解直接相關，從而為預測和運動規(guī)劃奠定了基礎。對于除了自動化車輛之外的許多其他應用領域，例如增強現(xiàn)實、個人機器人或工業(yè)自動化，對實時高度稀疏的三維數(shù)據(jù)進行推斷的能力是一個不合適的問題。

我們引入了Complex-YOLO，這是一種最先進的僅針對點云（point clouds）的實時三維目標檢測網(wǎng)絡。在本研究中，我們描述了一個網(wǎng)絡，該網(wǎng)絡通過一個特定的復雜的回歸策略來估計笛卡爾空間（Cartesian space）中的多類三維立方體，從而擴展YOLOv2（一種用于RGB圖像的一個快速二維標準目標檢測器）。

因此，我們提出了一個特定的Euler區(qū)域提議網(wǎng)絡(Euler-Region-Proposal Network，E-RPN)，通過在回歸網(wǎng)絡中添加一個虛構的和一個真實的分數(shù)來估計目標的姿勢。這是在一個封閉的復雜空間中結束的，從而避免了單角度估計的奇異性。E-RPN支持在訓練過程中進行良好的泛化。

我們在KITTI基準套件上進行的實驗表明，我們的性能優(yōu)于當前領先的三維目標檢測方法，尤其在效率方面。我們取得了對汽車、行人和騎車者進行測試的最先進的結果，比最快的競爭者快5倍以上。此外，我們的模型能夠同時以高精確度估計所有的8個KITTI類，包括貨車、卡車或坐著的行人。

近年來，隨著汽車激光雷達傳感器的巨大完善，點云處理對自動駕駛而言變得越來越重要。供應商的傳感器能夠實時提供周圍環(huán)境的三維點。其優(yōu)點是直接測量所包含的目標之間的距離。這使我們能夠開發(fā)出用于自動駕駛的目標檢測算法，該算法能夠精確地估計出三維中不同目標的位置和航向。與圖像相比，激光雷達點云稀疏，其密度分布在整個測量區(qū)域中變化。這些點是無序的，它們在本地進行交互，并且主要是不能被孤立分析。點云處理對于基本轉換應該是始終保持不變的。

Complex-YOLO是一個非常有效的模型，可直接在僅基于激光雷達的鳥瞰RGB視圖上進行操作，以估計和精確定位3D多類邊界框。該圖的上半部分顯示了諸如預測目標等基于Velodyne HDL64電云的鳥瞰圖，下半部分顯示3D邊界框被重新投影至圖像空間中。注意：Complex-YOLO僅基于激光雷達進行操作，而不需要相機圖像作為輸入。

一般而言，基于深度學習的目標檢測和分類是眾所周知的任務，并且在圖像的2D邊界框回歸的建立中得到了廣泛應用。研究的重點主要是精確度和效率的權衡。在自動駕駛領域，效率更為重要。因此，最好的目標檢測器往往使用區(qū)域提議網(wǎng)絡（RPN）或類似的基于網(wǎng)格的RPN方法。這些網(wǎng)絡非常高效、準確，甚至能夠在專用的硬件或嵌入式設備上運行。盡管點云上的目標檢測依然很少，但它們正變得越來越重要。這些應用程序需要能夠預測3D邊界框。目前，主要有三種不同的深度學習方法：

使用多層感知器的直接點云處理。

通過使用卷積神經(jīng)網(wǎng)絡（CNN）將點云轉換為體素或圖像堆棧。

組合式融合方法。

最近，基于Frustum的網(wǎng)絡在KITTI 基準套件中表現(xiàn)出了很好的性能。該模型在3D目標檢測方面排名第二，在汽車、行人和騎行者的鳥瞰檢測方面同樣排名第二。這是唯一的方法，它直接使用Point-Net直處理點云，而不使用激光雷達數(shù)據(jù)和體素創(chuàng)建中的CNN。

然而，它需要預處理，因此它必須使用相機傳感器。基于另一個對標定的相機圖像進行處理的CNN，它通過利用這些檢測將全局云點最小化到基于截面的已減少點云。這種方法有兩個缺點：

模型的精準度在很大程度上依賴于相機圖像及其相關的CNN。因此，該方法不可能僅適用于激光雷達數(shù)據(jù)。

整個管道需要連續(xù)運行兩種深度學習方法，這會導致運算時間更長而效率更低。參考模型在NVIDIA GTX1080i GPU上大約以7fps的低幀率運行。

與之相反，Zhou等人提出了一種僅適用于激光雷達數(shù)據(jù)的模型。就這方面而言，它是KITTI上僅使用激光雷達數(shù)據(jù)進行3D和鳥瞰探測的最佳模型。其基本思想是在網(wǎng)格單元上運行端到端的學習，而不使用人工制作的特征。網(wǎng)絡單元格的內部特征是在訓練期間利用Pointnet方法學習的。在頂部建立一個預測3D邊界框的CNN。盡管擁有很高的精準度，但該模型在TitanX GPU上的最快運算時間為4fps。

Chen等人報道了另一種排名很靠前的方法。其基本思想是利用人工制作的特征將激光雷達點云投影到基于體素的RGB地圖上，如密度、最大高度和一個具有代表性的點強度。為了獲得具有更高精準度的結果，他們使用了基于激光雷達的鳥瞰圖，基于激光雷達的前視圖以及基于相機的前視圖的多視圖方法。這種融合處理需要很長時間，即便在NVIDIA GTX 1080i GPU上也僅為4fps。另一個缺點是需要輔助傳感器輸入（相機）。

空間真實數(shù)據(jù)分布。上圖左側的樣本檢測描繪了鳥瞰區(qū)域的大小，右側圖顯示了《我們準備好了自動駕駛嗎？ kitti視覺基準套件》中所注釋的2D空間直方圖。該分布概述了用于注釋的照相機的水平視野以及地圖中遺留的盲點。

性能比較。該圖顯示了與運行時間（fps）相關的mAP。所有模型都在Nvidia Titan X或Titan Xp上進行測試。Complex-Yolo的運行速度比KITTI基準測試中最有效的競爭對手快5倍，進而獲得準確的結果。我們在一個專用的嵌入式平臺(TX2)上對我們的網(wǎng)絡進行了測試，并與五種領先的模型進行了比較，結果表明我們的網(wǎng)絡具有合理的效率(4fps)。Complex-Yolo是首個用于實時3D目標檢測的模型。

本文首次提出了基于激光雷達的點云3D目標檢測的第一個實時高效深度學習模型。我們在KITTI基準測試套件中就精準度（如上圖所示）而言突顯了我們最新的成果，其卓越的效率超過50fps（NVIDIA Titan X）。我們不像大多數(shù)主流方法那樣需要額外的傳感器，例如相機。這一突破是通過引入新的E-RPN（一種借助復雜數(shù)字來估計方位的Euler回歸方法）實現(xiàn)的。無奇點的封閉數(shù)學空間允許魯棒角度預測。

我們的方法能夠在一條前進的道路上同時檢測多種類別的目標（例如：汽車、火車、行人、騎行者、卡車、有軌電車、坐著的人等）。這種全新的方法可以在自動駕駛汽車中實現(xiàn)落地應用，并且以此來區(qū)別于其他車型。我們甚至在專業(yè)的嵌入式平臺NVIDIA TX2（4fps）展示了實時性能。在今后的研究工作中，我們計劃在回歸中加入高度信息，在空間中真正實現(xiàn)獨立3D目標檢測，并在點云預處理過程中利用速度-空間相關性，以獲得更好的分類性能和更高的精準度。