編輯注：NVIDIA 自動(dòng)駕駛實(shí)驗(yàn)室系列視頻，將以工程技術(shù)為重點(diǎn)的視角關(guān)注實(shí)現(xiàn)自動(dòng)駕駛汽車(chē)的各個(gè)挑戰(zhàn)以及 NVIDIA DRIVE AV 軟件團(tuán)隊(duì)如何應(yīng)對(duì)這些問(wèn)題。

自動(dòng)泊車(chē)輔助系統(tǒng)在感知障礙物時(shí)必須克服一些獨(dú)特的挑戰(zhàn)。目標(biāo)車(chē)輛包含感知車(chē)輛周?chē)h(huán)境的傳感器。在泊車(chē)過(guò)程中，目標(biāo)車(chē)輛必須靠近動(dòng)態(tài)障礙物，如行人和其他車(chē)輛，以及靜態(tài)障礙物，如柱子和電線桿等。為了適應(yīng)泊車(chē)位，還可能需要穿過(guò)較低的障礙物，如車(chē)輪護(hù)欄和路緣石。

觀看NVIDIA DRIVE Labs視頻，可以深入了解自動(dòng)駕駛汽車(chē)面臨的挑戰(zhàn)以及 NVIDIA DRIVE 團(tuán)隊(duì)如何應(yīng)對(duì)這些挑戰(zhàn)。視頻中介紹了早期網(wǎng)格融合（early grid fusion，簡(jiǎn)稱 EGF），這是一種在自動(dòng)泊車(chē)輔助中增強(qiáng)近距離避障的新技術(shù)。

NVIDIA DRIVE Labs 第 29 期：增強(qiáng)自動(dòng)泊車(chē)在狹小空間中的避障能力

0000

在狹小空間停車(chē)的難題

0035

什么是 Early Grid Fusion（EGF）泊車(chē)?

0000

360 度環(huán)視檢測(cè)

0042

4 厘米網(wǎng)格的精確定位

0000

停車(chē)地鎖等情況下的高度估算

0027

NVIDIA 的自動(dòng)泊車(chē)輔助功能

現(xiàn)有的停車(chē)障礙感知解決方案依賴于超聲波傳感器或魚(yú)眼攝像頭。超聲波傳感器安裝在前后保險(xiǎn)杠上，通常不能覆蓋車(chē)輛側(cè)面。因此，該系統(tǒng)無(wú)法感知目標(biāo)車(chē)輛的側(cè)面，尤其是對(duì)于動(dòng)態(tài)障礙物。

另一方面，魚(yú)眼相機(jī)在低能見(jiàn)度、弱光和惡劣天氣條件下性能下降。

NVIDIA DRIVE 平臺(tái)配備了一套攝像頭、雷達(dá)和超聲波傳感器，可最大限度地減少盲區(qū)，并在所有操作條件下最大化感知冗余。EGF 使用機(jī)器學(xué)習(xí)的多個(gè)傳感器輸入的早期融合來(lái)提供準(zhǔn)確、高效和穩(wěn)健的近距離 3D 障礙物感知。

圖 1. EGF 使用 NVIDIA 自動(dòng)泊車(chē)輔助系統(tǒng)進(jìn)行泊車(chē)時(shí)檢測(cè)停放的汽車(chē)是否為障礙物

早期網(wǎng)格融合概述

為了更好地理解 EGF 背后的創(chuàng)新技術(shù)，可以看一下它的 DNN 架構(gòu)和輸出/輸入表示。

輸出：高度圖表示

EGF 輸出一個(gè)網(wǎng)格分辨率為 4cm 的高度圖。高度圖中的每個(gè)像素都有一個(gè)浮點(diǎn)值，表示相對(duì)于本地地面的高度。

在圖 2 中，綠色高亮面板是 EGF DNN 的輸出。淺藍(lán)色代表地面。黃色代表較低的障礙物，例如后面的路緣石。亮紅色表示高障礙物的輪廓，例如，停放汽車(chē)的圓弧 L 形輪廓和目標(biāo)車(chē)輛后面的樹(shù)的點(diǎn)。亮紅色輪廓后面的暗紅色區(qū)域表示高障礙物后面的潛在遮擋區(qū)域。

圖 2. EGF 輸入和輸出可視化

這種表示方式使 EGF 能夠捕捉到周?chē)澜绲呢S富信息。高分辨率網(wǎng)格可以表示目標(biāo)車(chē)輛左后和右后的圓角。捕捉圓角對(duì)于泊車(chē)規(guī)劃器有足夠的空間來(lái)在狹小空間中停放的兩輛車(chē)之間執(zhí)行泊車(chē)操作是至關(guān)重要的。

通過(guò)每個(gè)像素的不同高度值，可以區(qū)分車(chē)輛有足夠間隙通過(guò)的路緣和汽車(chē)必須避讓的路緣桿。

輸入：超聲波和攝像頭

大多數(shù)多傳感器融合感知解決方案都是在檢測(cè)層面上運(yùn)行的后期融合系統(tǒng)。在后期融合階段，傳統(tǒng)的通過(guò)三角定位法獲得的超聲波檢測(cè)數(shù)據(jù)和來(lái)自攝像頭的多邊形檢測(cè)數(shù)據(jù)相融合，通常使用手工制定的融合規(guī)則來(lái)進(jìn)行。

相比之下， EGF 使用早期融合方法。來(lái)自傳感器的低電平信號(hào)直接輸入到 DNN 中，通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方法學(xué)習(xí)傳感器融合。

對(duì)于超聲波傳感器， EGF 進(jìn)入原始包絡(luò)界面，提供亞厘米精度的反射強(qiáng)度。使用超聲波傳感器的外部位置和內(nèi)部波束特性，將這些包絡(luò)信號(hào)投影到平面圖中（圖 3 左下角）。如圖 2 中粉色高粱米面板所示，這些超聲波圖捕捉了比三角定位檢測(cè)更多的信息。這使得 EGF 能夠進(jìn)行高度檢測(cè)。

圖 3. EGF-DNN 架構(gòu)圖

對(duì)于攝像頭傳感器，EGF 與 MLMCF 共享圖像編碼器主干——用于高速駕駛的 NVIDIA 多任務(wù)多攝像頭感知主干。首先，我們通過(guò) CNN 層處理圖像特征。然后，我們使用每個(gè)攝像頭的學(xué)習(xí)轉(zhuǎn)換將特征從圖像空間提升到鳥(niǎo)瞰圖空間（圖 3 右上角框）。

然后在編碼器網(wǎng)絡(luò)中融合超聲波和攝像頭特征圖，并從組合特征中解碼高度圖（圖 3 右側(cè)）。

結(jié)論

EGF 是一種基于機(jī)器學(xué)習(xí)的創(chuàng)新感知組件，可增加自動(dòng)泊車(chē)的安全性。通過(guò)使用多模態(tài)原始傳感器信號(hào)的早期融合，EGF 為近距離避障建立了高度信任。

了解更多有關(guān) NVIDIA 正在構(gòu)建的軟件功能，點(diǎn)擊“閱讀原文”查看NVIDIA DRIVE Labs視頻系列。