DRIVE Labs 系列文章

第七站：為駕乘人員的安全保駕護航

自動駕駛汽車在行駛中會穿過大街小巷、經(jīng)歷白天黑夜，途中可能會在十字路口與其他車輛“狹路相逢”，也有可能需要在城市街道避讓行人，不同的道路設(shè)計和光線明暗都會影響自動駕駛汽車的道路判斷與決策結(jié)果，從而影響行駛的安全性。DRIVE Labs“常學常新”系列是 NVIDIA DRIVE 團隊推出的、以一輛自動駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細解析自動駕駛汽車如何一路“過關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場景中提供的支持，以便讀者能更好地了解自動駕駛。

本期是第七期“為駕乘人員的安全保駕護航”，將為大家介紹自動駕駛汽車如何利用 AI 軟件、安全力場（Safety Force Field，SFF）并通過主動學習，保證行車安全，為駕乘人員保駕護航。

上期文章主要介紹了介紹用于評估汽車攝像頭可見度和汽車遠光燈控制的不同深度神經(jīng)網(wǎng)絡(luò)（DNN）以及 AI 賦能的汽車光源感知等內(nèi)容，本期將為大家介紹可保護車輛不受碰撞的 SFF、可守護駕駛員專注前方道路以實現(xiàn)安全行駛的 AI 軟件以及能夠優(yōu)化夜間行人檢測的主動學習方法。話不多說，一起來看看吧！

汽車行駛過程中會經(jīng)過很多情況復雜的路口，也會經(jīng)過擁有不同照明條件的道路，在這些路況下，可能會有擦肩而過或迎面駛來的車輛，也會有來回穿梭的行人，如何在保證自動駕駛汽車本身安全性的同時，兼顧其他道路使用者的便利性及安全性也至關(guān)重要。

NVIDIA安全力場助力安心駕駛

利用 Safety Force Field 避免碰撞

現(xiàn)實的交通狀況變幻莫測。為實現(xiàn)真正的安全，車輛需要能監(jiān)控周邊環(huán)境并保護乘客遠離潛在的危險和碰撞。NVIDIA 使用 SFF 防撞軟件來單獨監(jiān)控車輛主規(guī)劃和控制系統(tǒng)的操作，基于高性能的計算功能，來幫助車輛遠離傷害，并確保其不會造成危險后果（如以上視頻所示）。

SFF 專為避免碰撞而設(shè)計，是一種穩(wěn)固可靠的駕駛策略，能夠分析并預測車輛所處環(huán)境。它好比一個獨立的監(jiān)督員，可對車輛的主要規(guī)劃和控制系統(tǒng)進行操作監(jiān)督，既可以人為操作也可以自主運行。具體而言，SFF 會對主要系統(tǒng)的控制決策進行實時復核。如果 SFF 判定控制操作不安全，它將否決并糾正主要系統(tǒng)的決策。

SFF 性能已通過數(shù)學方式驗證，即使用真實數(shù)據(jù)進行模擬的魯棒性驗證。如果道路上的所有車輛均遵循該框架行駛，并且感知和車輛控制都在預先設(shè)計的范圍內(nèi)運行，便不會出現(xiàn)危險情形或碰撞事故。SFF 在實現(xiàn)此性能的同時仍允許平日的正常駕駛，且不會進行過度防護。

此外，SFF 還遵循一種核心的防碰撞原理，而非大量規(guī)則與異常情形，因而能流暢地應對高速公路駕駛、復雜的城鎮(zhèn)環(huán)境和能見度較低的情形。該策略能綜合考慮剎車（縱向）與方向盤（橫向）約束，從而使車輛執(zhí)行大量動作。

汽車廠商在開發(fā)自動駕駛汽車的過程中，可以將 NVIDIA SFF 與自有的駕駛軟件相結(jié)合，將此策略用作移動規(guī)劃軟件的安全保護層，從而監(jiān)控并預防異常動作，以保證行車安全。

DRIVE IX 以 AI 賦能安全駕駛

NVIDIA DRIVE IX AI 算法執(zhí)行直觀的車內(nèi)感知

自動駕駛技術(shù)持續(xù)發(fā)展帶來了大量的自動駕駛功能來“解放”人類駕駛員的雙手，但即使借助先進的駕駛員輔助系統(tǒng)將更多駕駛功能自動化，人類駕駛員依然需要保持注意力集中，逐步建立對 AI 系統(tǒng)的信任。

傳統(tǒng)的駕駛員監(jiān)控系統(tǒng)通常無法理解“微妙提示”，比如駕駛員的認知狀態(tài)、行為和其他動作，這些細微的行為往往能夠表明他們是否處于合格的駕駛狀態(tài)。以上視頻將為大家演示 NVIDIA DRIVE IX 如何感知駕駛員的注意力、活動、情感、行為、姿勢、言語、手勢和情緒，以便實現(xiàn)更加智能且安全的自動駕駛。

NVIDIA DRIVE IX 是一個開放、可擴展的座艙軟件平臺，可為自動駕駛汽車可視化和全方位的艙內(nèi)感知提供智能體驗軟件，為駕乘人員提供 AI 驅(qū)動的豐富座艙體驗，包括具有增強現(xiàn)實和虛擬現(xiàn)實的智能可視化、對話式 AI 和內(nèi)部監(jiān)測。

DRIVE IX 采用多種 DNN 來識別人臉并“解密”駕駛員表情：

• GazeNet DNN 用于追蹤視線，通過檢測駕駛員的視線并將其映射到道路上以確認他們是否看到前方障礙物；

• SleepNet DNN 用于監(jiān)測睡意，識別駕駛員的眼睛是否睜開，并通過一個狀態(tài)機確定其疲憊程度；

• ActivityNet DNN 用于追蹤駕駛員行為，例如使用手機、手是否放在方向盤以及駕駛員對于路況的注意力；

除了監(jiān)測駕駛員是否注意力集中外，DRIVE IX 還采用了單獨的 DNN 來識別駕駛員的情緒，評估駕駛員是否能進行安全駕駛。

開發(fā)人員可通過將上述 DNN 與手勢 DNN 和語音功能相結(jié)合，構(gòu)建多模式、對話式 AI 產(chǎn)品，例如自動語音識別、自然語言處理和語音合成，并將其用于艙內(nèi)個性化設(shè)置和虛擬助手應用程序。

此外，汽車制造商還可以借助 DRIVE IX 的駕駛員監(jiān)測功能來開發(fā)基于 AI 的高級駕駛員理解功能，通過對汽車進行編程，在駕駛員注意力不集中時發(fā)出警告，或者在駕乘者緊張時讓駕駛艙能夠調(diào)節(jié)設(shè)置以安撫其情緒，以逐步建立駕乘者與 AI 系統(tǒng)之間的信任，創(chuàng)造更安全、更愉悅的智能汽車體驗。

主動學習助力自動駕駛汽車

“看準”夜間行人

自動駕駛功能需應對各種不同的現(xiàn)實狀況，需要通過不同來源的大量信息來進行全方位訓練。負責自動駕駛功能的 DNN 也需要通過正確且全面的數(shù)據(jù)來開展詳盡的訓練。該訓練需要包含各種情況，無論是在日常道路中可能遇到的情況，還是一些開發(fā)人員希望自動駕駛汽車在行駛中永遠不會遇到的不尋常情況。

主動學習是一種用于機器學習的訓練數(shù)據(jù)篩選方法，可以自動找到這些多樣化的數(shù)據(jù)。相較于人工操作，它只需花費小部分時間即可構(gòu)建更好的數(shù)據(jù)集。通過主動學習，自動駕駛系統(tǒng)可以在選擇有價值的數(shù)據(jù)點時自動執(zhí)行篩選過程。

通過主動學習，AI 可以自動選擇正確的訓練數(shù)據(jù)。具體而言，自動駕駛系統(tǒng)可利用一組專用的 DNN 遍閱一個圖像幀池，標記出容易混淆的幀。然后對這些幀進行標記，并將其添加到訓練數(shù)據(jù)集中。此過程可以改善 DNN 在高難度環(huán)境條件（例如夜間行人檢測）下的感知能力。并且與手動選擇的數(shù)據(jù)相比，使用主動學習數(shù)據(jù)進行訓練時，行人檢測的精度可提高 3 倍，對自行車檢測的精度可提高 4.4 倍。

以上就是本期全部內(nèi)容。希望大家喜歡本次的自動駕駛之旅，下期我們將帶大家進入自動駕駛旅程的最后一段—停車與泊車，敬請期待！點擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動駕駛。

往期精彩回看

「入門篇」：自動駕駛基礎(chǔ)功能

「第二站」：基本路況感知

「第三站」：讀懂交通標志與信號燈

「第四站」：監(jiān)控車外的風吹草動

「第五站」：提高道路狀況的可見性

「第六站」：基于洞察的智能規(guī)劃

掃描海報二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！