1 傳感器分類

配備高級駕駛輔助系統(tǒng)（ADAS）和自動駕駛汽車（AV）的車輛使用不同的傳感器，如攝像頭、雷達、激光雷達和超聲波傳感器，它們充當(dāng)自動駕駛汽車（AV）的眼睛，幫助車輛感知周圍環(huán)境，即人、物體、交通、道路幾何形狀、天氣等。這種感知至關(guān)重要，它確保AV可以做出正確的決定，即停止，加速，轉(zhuǎn)彎等。

隨著自動駕駛達到更高的自主性水平，復(fù)雜性也大大增加。這里需要多個傳感器來正確理解環(huán)境。但是每個傳感器都是不同的，并且有其局限性，例如，相機可以很好地用于車道檢測或物體分類。相比之下，雷達可以為遠程檢測或不同光線條件下提供良好的數(shù)據(jù)。如下表為不同傳感器的檢測能力的區(qū)分表：

2 傳感器融合技術(shù)

使用傳感器融合技術(shù)，來自多個傳感器的數(shù)據(jù)被融合到自動駕駛汽車中，以提供最佳輸入，以便自動駕駛汽車做出正確的決定（制動、加速轉(zhuǎn)彎等）。

傳感器融合提高了自動駕駛汽車的整體性能，并且有多種融合技術(shù)，使用哪一種取決于功能的操作設(shè)計域（ODD）。

ADAS利用環(huán)境感知技術(shù)將不同傳感器采集到的外部環(huán)境數(shù)據(jù)進行融合處理，實現(xiàn)目標(biāo)識別、軌跡預(yù)測和目標(biāo)選擇等功能。這些目標(biāo)信息可以直接通過汽車總線發(fā)送給其它控制系統(tǒng)(助力轉(zhuǎn)向系統(tǒng)、防抱死制動系統(tǒng)、車身控制系統(tǒng)等)，由這些控制系統(tǒng)決定當(dāng)前汽車狀態(tài)；也可以交由ADAS控制器內(nèi)的策略模塊，這些策略模塊結(jié)合目前的車輛運行狀態(tài)，計算出減速、加速、增扭、減扭之類的控制命令，最后通過整車通信總線發(fā)送給不同的控制系統(tǒng)。基于開發(fā)成本的原因，第二種架構(gòu)被廣泛應(yīng)用與整車控制系統(tǒng)中。

根據(jù)傳感器在數(shù)據(jù)融合中扮演的角色。融合分為數(shù)據(jù)級融合、特征級融合和決策級融合。在數(shù)據(jù)級融合中，傳感器將采集的原始數(shù)據(jù)直接發(fā)送給控制器，控制器對這些數(shù)據(jù)進行同步、篩選、特征提取、數(shù)據(jù)聚類、目標(biāo)軌跡預(yù)測、目標(biāo)識別。其運算量大、實時性差、在硬件上需要更大的數(shù)據(jù)帶寬才能應(yīng)付多個傳感器發(fā)送的數(shù)據(jù)。在特征級融合中，傳感器數(shù)據(jù)處理器將傳感器采集到的數(shù)據(jù)進行特征提取，之后將特征信息 (目標(biāo)的橫縱向加速度、間距等)發(fā)送給控制器，控制器再將這些特征信息進行融合。其優(yōu)點在于降低了數(shù)據(jù)的發(fā)送量，減輕了控制器的處理負荷，提高了融合算法的實時性。但是仍然需要控制器內(nèi)融合算法將目標(biāo)最終識別。在決策級信息融合中，每個傳感器通過數(shù)據(jù)處理器獨立完成目標(biāo)特征提取和目標(biāo)識別。傳感器數(shù)據(jù)處理器將識別出的目標(biāo)信息發(fā)送給控制器，控制器根據(jù)不同的融合策略對傳感器發(fā)送的目標(biāo)進行篩選和最終歸類。三種融合策略各有優(yōu)缺點。數(shù)據(jù)級運算量大、實時性差，對于芯片的計算能力和數(shù)據(jù)傳輸帶寬要求高，但所獲得的傳感器數(shù)據(jù)最完整；特征級能夠有效提高數(shù)據(jù)融合的效率；決策級信息融合容錯性好，實現(xiàn)難度低，但是信息損失大，而且對于傳感器的依賴程度高。基于硬件資源和開發(fā)成本的考慮，基于特征級數(shù)據(jù)融合的架構(gòu)被廣泛使用于目前的ADAS中。具體如下圖所示：

以下是不同類型的融合技術(shù)的幾個示例，根據(jù)AV的自主級別，將使用一種或多種傳感器融合技術(shù)，例如：對于2級的ADAS，需要對象檢測，車道融合，交通標(biāo)志融合，但對于3級及以上的ADAS，可能需要更多的融合技術(shù)。

環(huán)境和功能規(guī)范的復(fù)雜性決定了需要制定什么樣的融合策略和什么樣的融合需求。下圖為雷達和相機融合的一些數(shù)據(jù)流程處理：

3 傳感器融合面臨的挑戰(zhàn)

執(zhí)行傳感器融合是一項復(fù)雜的活動，應(yīng)該考慮許多挑戰(zhàn)：

不同的傳感器以不同的采樣率（50毫秒、60毫秒等）提供輸出數(shù)據(jù)

傳感器可能會從同一物體進行多次檢測（例如：大型卡車可能會從雷達發(fā)出多次反射）

傳感器還可以檢測錯誤或遺漏檢測（相機可能會錯過夜間、黃昏時間等檢測物體/車道）

物體可能在傳感器的盲區(qū)停留一段時間，或者物體可能在盲區(qū)動態(tài)移動

不同F(xiàn)OV區(qū)域的不同傳感器的輸出精度也不同

傳感器安裝在車輛的不同位置

傳感器性能在不同的環(huán)境條件下也有所不同

傳感器的檢測置信度可能較低隨著高階智駕的要求，可能需要多個傳感器來嘗試接近 360 度覆蓋并避免盲點。傳感器的放置對于減少盲區(qū)以在不影響安全要求的情況下實現(xiàn)最佳性能也至關(guān)重要，此外，每個傳感器的精度水平都不同，管理每個傳感器的數(shù)據(jù)精度對于最終輸出至關(guān)重要。

為了確保傳感器融合的高精度，必須確保正確的KPI和穩(wěn)健的設(shè)計：確保所有高級別的關(guān)鍵績效指標(biāo)都到位，即

每個對象的單個軌道

無錯誤或遺漏對象檢測

整體精度得到提高

為每個輸出提供置信水平

估計傳感器盲區(qū)的輸出

通過設(shè)計實現(xiàn)更高的精度：

4 傳感器融使用的關(guān)鍵技術(shù)

下面是一個傳感器融合架構(gòu)示例，可用于確保最高水平的對象檢測精度。

數(shù)據(jù)同步：- 不同的傳感器提供不同的輸出，例如，相機在 50 毫秒時提供輸出，雷達可以在 60 毫秒時提供輸出。數(shù)據(jù)同步技術(shù)在執(zhí)行傳感器融合之前同步此數(shù)據(jù)。

坐標(biāo)變換：- 這是一種基于傳感器幾何形狀和放置的技術(shù)，可將安裝在不同位置的傳感器的數(shù)據(jù)轉(zhuǎn)換到一個全局坐標(biāo)系中。例如，如果我們考慮一輛長 5 米、寬 2 米的汽車與一輛長 18 米、寬 4 米的卡車，我們需要將數(shù)據(jù)帶到后軸或前軸的中心點的全局坐標(biāo)系中。

數(shù)據(jù)關(guān)聯(lián)：這是一種技術(shù)，用于確保從車輛上的每個傳感器接收的多個數(shù)據(jù)是針對同一物體的，例如，前方的汽車

狀態(tài)估計和預(yù)測：估計狀態(tài)。

軌道管理：軌道管理技術(shù)確保傳感器融合的最終輸出，它根據(jù)軌道歷史初始化、維護和刪除軌道，并計算軌道置信度。

自車運動估計：它考慮了車輛的運動。例如，以 T+100 毫秒和 T+200 毫秒接收數(shù)據(jù)，但在此期間車輛已經(jīng)移動。該技術(shù)解釋了車輛位置或運動的這種變化。

因此，為了實現(xiàn)傳感器融合的高質(zhì)量性能，必須考慮設(shè)計的一些關(guān)鍵方面：

數(shù)據(jù)關(guān)聯(lián)和估計技術(shù)的算法選擇

有許多算法可用于數(shù)據(jù)關(guān)聯(lián)，流行的算法是最近鄰、概率和聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)技術(shù)。

運用各種技術(shù)，如線性卡爾曼濾波器，擴展卡爾曼濾波器，粒子濾波器等。

融合戰(zhàn)略

數(shù)據(jù)關(guān)聯(lián)算法和估計技術(shù)應(yīng)根據(jù)用于融合的傳感器類型、狀態(tài)估計要求（動態(tài)/靜態(tài)目標(biāo)估計）和傳感器輸出來確定。

軌跡管理：為了減少錯誤輸出，融合軌跡管理需要在初始化軌跡之前建立置信度，但是如果花費更多時間，則會導(dǎo)致延遲，這將延遲AD系統(tǒng)的操作，這對AD系統(tǒng)性能不利。軌道初始化策略應(yīng)考慮操作環(huán)境、功能ODD等。曲目刪除也是如此

濾波器調(diào)整濾波器調(diào)諧對濾波器性能非常關(guān)鍵。濾波器調(diào)整需要考慮實際方面，這可以通過使用真實世界數(shù)據(jù)的傳感器表征來完成。

驗證融合以確保軟件質(zhì)量和方案覆蓋也很重要。但是，驗證可能會導(dǎo)致數(shù)百萬個場景，因此使用正確的驗證策略來測試與模擬數(shù)據(jù)、真實世界數(shù)據(jù)或車輛測試中的融合始終很重要。以下是融合驗證的關(guān)鍵方面

邊緣情況場景選擇：由于融合改善感知通過融合各種傳感器噪聲數(shù)據(jù)來提高性能，因此應(yīng)仔細選擇涵蓋所有邊緣情況的場景。該場景還應(yīng)提及在模擬、真實世界或車輛中都需要哪個級別的驗證。目標(biāo)應(yīng)該是在模擬級別上實現(xiàn)最大覆蓋率，以減少成本和時間，同時測試質(zhì)量不應(yīng)有任何影響。

傳感器建模：為了驗證仿真中的融合與環(huán)境噪聲效應(yīng)，需要高保真?zhèn)鞲衅髂Ｐ蛠砟M環(huán)境對傳感器性能的影響。高保真?zhèn)鞲衅鹘Ｊ茄芯空n題，并且提出了各種技術(shù)，例如數(shù)據(jù)驅(qū)動模型或基于物理的建模。正確的傳感器模型對于仿真至關(guān)重要。

使用真實世界數(shù)據(jù)進行驗證：高保真?zhèn)鞲衅髂Ｐ涂梢阅M精度高達90%至95%的環(huán)境條件，因此仿真中不可能涵蓋所有場景，并且需要使用真實世界的數(shù)據(jù)進行融合驗證。

車輛測試：融合的最終驗證應(yīng)在車輛上進行，以確保在考慮實際情況、傳感器延遲和驅(qū)動延遲的情況下進行功能級別的端到端測試

因此，融合是AD性能非常關(guān)鍵的感知組件，必須考慮關(guān)鍵的實際方面，并為設(shè)計和驗證定義正確的策略，以實現(xiàn)AD軟件的最高成熟度。

審核編輯 ：李倩