DRIVE Labs 系列文章

第二站：基本路況感知

實(shí)際路況中充滿著復(fù)雜多變的現(xiàn)實(shí)挑戰(zhàn)，自動(dòng)駕駛汽車(chē)能夠借助深度神經(jīng)網(wǎng)絡(luò) “感知”實(shí)際路況、“預(yù)判”潛在風(fēng)險(xiǎn)并“做出”恰當(dāng)選擇，以增強(qiáng)自動(dòng)駕駛汽車(chē)的安全性與可靠性。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動(dòng)駕駛汽車(chē)從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動(dòng)駕駛汽車(chē)如何一路“過(guò)關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場(chǎng)景中提供的支持，以便讀者能更好地了解自動(dòng)駕駛。

本期是第二期“基本路況感知”，將帶您了解自動(dòng)駕駛汽車(chē)如何利用深度神經(jīng)網(wǎng)絡(luò)感知基本路況，實(shí)現(xiàn)安全駕駛！

上期文章為大家介紹了用于不同功能的深度神經(jīng)網(wǎng)絡(luò)（DNN），本期文章則將詳細(xì)介紹其中用于基本路況感知的 LaneNet DNN、WaitNet DNN 和路徑感知集成等具體的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用。和 NVIDIA 一起上路看看自動(dòng)駕駛汽車(chē)道路實(shí)況測(cè)試吧！

城市道路的復(fù)雜性和實(shí)時(shí)性對(duì)自動(dòng)駕駛汽車(chē)的“隨機(jī)應(yīng)變”能力提出了更高的要求。在行駛期間，自動(dòng)駕駛汽車(chē)能夠利用數(shù)據(jù)感知實(shí)際路況、選擇正確的行駛路徑以及對(duì)現(xiàn)實(shí)情況做出即時(shí)反應(yīng)則至關(guān)重要。NVIDIA 構(gòu)建的感知軟件，憑借強(qiáng)大的計(jì)算性能，助力自動(dòng)駕駛汽車(chē)安全平穩(wěn)行駛！

基于 LaneNet DNN 開(kāi)展車(chē)道線檢測(cè)

高精度車(chē)道檢測(cè)

車(chē)道線標(biāo)記對(duì)于自動(dòng)駕駛汽車(chē)來(lái)說(shuō)是重要的行車(chē)指南，能為車(chē)輛提供關(guān)鍵的駕駛環(huán)境信息，即自動(dòng)駕駛汽車(chē)所處位置以及目的地等。穩(wěn)健且高精的車(chē)道線監(jiān)測(cè)，對(duì)于自動(dòng)駕駛汽車(chē)來(lái)說(shuō)至關(guān)重要。以上視頻為大家介紹了 NVIDIA 如何訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)穩(wěn)健的車(chē)道線預(yù)測(cè)。

深度神經(jīng)網(wǎng)絡(luò)（DNN）處理現(xiàn)已成為一種重要的基于 AI 的車(chē)道檢測(cè)技術(shù)。NVIDIA 高精度 LaneNet 解決方案在卷積神經(jīng)網(wǎng)絡(luò)處理圖像時(shí)，能夠以保留高清信息的方式對(duì)實(shí)況道路圖像數(shù)據(jù)進(jìn)行編碼，為豐富的空間信息創(chuàng)建足夠的冗余，以便保證在卷積神經(jīng)網(wǎng)絡(luò)固有的降采樣過(guò)程中信息的完整性。此外，借助高精度的 LaneNet DNN，自動(dòng)駕駛汽車(chē)還能在使用低清圖像處理方式的同時(shí)，保留高清圖像當(dāng)中豐富的可用信息，以便車(chē)內(nèi)推斷進(jìn)行更有效的計(jì)算。

左：來(lái)自高精度 LaneNet 的逐幀像素級(jí)車(chē)道線檢測(cè)。右：像素級(jí)檢測(cè)在經(jīng)過(guò)后期處理之后顯示為車(chē)道線。在圖像邊界附近進(jìn)行額外的像素級(jí)車(chē)道線檢測(cè)，就意味著在實(shí)際行車(chē)場(chǎng)景中，可以將車(chē)道線檢測(cè)范圍增加數(shù)十米。

高精度 LaneNet DNN的主要優(yōu)勢(shì)包括：

• 增加了車(chē)道線檢測(cè)的范圍

• 優(yōu)化了車(chē)道線邊緣檢測(cè)的準(zhǔn)確率/召回率

• 提升了車(chē)道線檢測(cè)的穩(wěn)健性

借助 LaneNet DNN 高精度車(chē)道線檢測(cè)，自動(dòng)駕駛汽車(chē)能夠在道路上對(duì)車(chē)身進(jìn)行更好的定位，同時(shí)也能感知規(guī)劃出一條更安全的行駛路徑。

利用 WaitNet DNN 進(jìn)行交叉路口檢測(cè)

WaitNet 深度神經(jīng)網(wǎng)絡(luò)

自動(dòng)駕駛汽車(chē)在保持預(yù)測(cè)車(chē)道和路線行駛的過(guò)程中，會(huì)經(jīng)過(guò)形態(tài)各異且實(shí)況萬(wàn)變的交叉路口。觀看以上視頻，了解 NVIDIA 如何利用基于 AI 的實(shí)時(shí)感知深度神經(jīng)網(wǎng)絡(luò)—WaitNet 深度神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)自動(dòng)駕駛汽車(chē)對(duì)交叉路口的實(shí)時(shí)感知和分類(lèi)。

WaitNet 表示檢測(cè)自動(dòng)駕駛汽車(chē)必須停車(chē)等待的情況，是一種卷積深度神經(jīng)網(wǎng)絡(luò)，通過(guò)攝像頭圖像數(shù)據(jù)進(jìn)行訓(xùn)練，并對(duì)如交叉路口、施工區(qū)域和收費(fèi)站等需要等待的情形進(jìn)行推理和分類(lèi)。

借助 WaitNet DNN 實(shí)現(xiàn)基于場(chǎng)景的交叉路口檢測(cè)（以黃色顯示）。交通信號(hào)燈檢測(cè)以紫色顯示。

WaitNet DNN的交叉路口檢測(cè)及分類(lèi)過(guò)程與人類(lèi)駕駛員檢測(cè)交叉路口的方式十分相似。WaitNet DNN 能夠綜合分析道路的多項(xiàng)特征，如停車(chē)標(biāo)識(shí)，交通信號(hào)燈或者特殊地點(diǎn)或位置的車(chē)道線標(biāo)記等，進(jìn)行場(chǎng)景感知并檢測(cè)是否有交叉路口出現(xiàn)，并對(duì)其進(jìn)行分類(lèi)，可減少特征級(jí)檢測(cè)錯(cuò)誤的發(fā)生機(jī)率，提高自動(dòng)駕駛的安全性。此外，WaitNet DNN 還能夠進(jìn)行遠(yuǎn)距離檢測(cè)并對(duì)同一圖像幀中的多個(gè)交叉路口進(jìn)行分類(lèi)。

利用深度神經(jīng)網(wǎng)絡(luò)感知交叉路口結(jié)構(gòu)

AI 如何幫助自動(dòng)駕駛汽車(chē)感知交叉路口結(jié)構(gòu)

交叉口是常見(jiàn)的道路特征，無(wú)論是社區(qū)中的四向停車(chē)，還是在布滿交通信號(hào)指示的多車(chē)道交匯口。以上視頻展示了 NVIDIA 如何借助 AI 來(lái)感知自動(dòng)駕駛汽車(chē)在日常駕駛中可能遇到的各種交叉口結(jié)構(gòu)。

事實(shí)上，NVIDIA 利用算法擴(kuò)展了 WaitNet DNN 預(yù)測(cè)交叉口結(jié)構(gòu)的能力，開(kāi)發(fā)了基于 DNN 的交叉口結(jié)構(gòu)感知功能作為 WaitNet DNN 的添加。NVIDIA 將這些交叉口結(jié)構(gòu)視為所謂“關(guān)節(jié)”的點(diǎn)集合。正如人體通過(guò)關(guān)節(jié)的連接來(lái)做出動(dòng)作一樣，NVIDIA 通過(guò)將交叉口結(jié)構(gòu)的關(guān)節(jié)連接到車(chē)輛需遵循的路徑中，來(lái)實(shí)現(xiàn)自動(dòng)駕駛車(chē)輛的正確行駛。

上圖展示了基于 DNN 進(jìn)行的交叉口結(jié)構(gòu)預(yù)測(cè)。如圖所示，我們可以檢測(cè)交叉口結(jié)構(gòu)特征并將其分為不同類(lèi)別。例如，測(cè)試車(chē)輛和現(xiàn)場(chǎng)其他車(chē)輛的交叉口的入口和出口點(diǎn)，以及人行橫道的入口和出口。

該 DNN 不會(huì)分割圖像輪廓，而是能夠區(qū)分不同車(chē)道的交叉口入口和出口點(diǎn)，并且其針對(duì)遮擋和部分遮擋的交叉口結(jié)構(gòu)預(yù)測(cè)更具可靠性，還能夠預(yù)測(cè)繪制的和推斷的交叉口結(jié)構(gòu)線。

此外，該實(shí)時(shí)感知功能具有可擴(kuò)展性，無(wú)需人工標(biāo)記便可處理各種類(lèi)型的交叉口，還能夠與擁有高質(zhì)量數(shù)據(jù)的地圖信息相結(jié)合，創(chuàng)建用于處理復(fù)雜路口的多樣性和冗余，可助力自動(dòng)駕駛汽車(chē)應(yīng)對(duì)復(fù)雜的交叉口結(jié)構(gòu)所帶來(lái)的挑戰(zhàn)。

路徑感知集成

路徑感知集成

自動(dòng)駕駛汽車(chē)在實(shí)況中運(yùn)行會(huì)遇到多種多樣的情況，如若汽車(chē)僅在一種路徑感知信號(hào)下行駛，則無(wú)法保證置信度的實(shí)時(shí)正確性，且如果唯一的路徑感知輸入失敗，自動(dòng)駕駛功能也許會(huì)失靈；就算功能不失靈，也可能導(dǎo)致操作的舒適度和平穩(wěn)度有所降低。

為建立實(shí)時(shí)的置信度，NVIDIA 在路徑感知軟件中引入了多樣性和冗余。但由于不同的 DNN 在訓(xùn)練數(shù)據(jù)、編碼、模型架構(gòu)和訓(xùn)練輸出方面完全不同，各種深度神經(jīng)網(wǎng)絡(luò)（DNN）產(chǎn)生的路徑感知信號(hào)在很大程度上是相互獨(dú)立的。為實(shí)現(xiàn)感知功能的“協(xié)同并進(jìn)與互相配合”，NVIDIA 利用集成技術(shù)，即機(jī)器學(xué)習(xí)的方式將基礎(chǔ)模型進(jìn)行組合以構(gòu)建最優(yōu)的預(yù)測(cè)模型（如以上視頻所示）。在 NVIDIA 路徑感知集成中，基礎(chǔ)模型包含三個(gè)不同的深度神經(jīng)網(wǎng)絡(luò)：

• LaneNet DNN可以預(yù)測(cè)車(chē)道線路

• PathNet DNN能在無(wú)論是否存在車(chē)道線路的情況下，都能夠預(yù)測(cè)和定義可行駛路徑的范圍

• PilotNet DNN能夠根據(jù)人類(lèi)駕駛員的駕駛軌跡預(yù)測(cè)駕駛中心路徑

高置信度路徑感知集成示例（包括左車(chē)道，汽車(chē)所在車(chē)道以及右車(chē)道的中心路徑）。高置信度的結(jié)果在可視化中呈現(xiàn)出粗的綠色中心路徑線條。實(shí)心的白色線代表車(chē)道預(yù)測(cè)線，也是由集成計(jì)算得出。

以上深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)輸出結(jié)合高清地圖輸出，共同構(gòu)成了感知集成輸出。通過(guò)對(duì)不同的路徑感知信號(hào)的聯(lián)合分析，NVIDIA 建立并測(cè)量了汽車(chē)在實(shí)況駕駛中的路徑感知可靠性，為實(shí)現(xiàn)可靠駕駛提供了可視化參考和全面的分析結(jié)果。

以上就是本期全部?jī)?nèi)容。希望大家喜歡本次的自動(dòng)駕駛之旅。點(diǎn)擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動(dòng)駕駛。

DRIVE Labs“常學(xué)常新”系列

往期精彩回看

「入門(mén)篇」：自動(dòng)駕駛基礎(chǔ)功能

掃描下方海報(bào)二維碼，即可免費(fèi)注冊(cè) GTC 23，切莫錯(cuò)過(guò)這場(chǎng) AI 和元宇宙時(shí)代的技術(shù)大會(huì)！