連接視覺語言大模型與端到端自動駕駛

端到端自動駕駛在大規(guī)模駕駛數(shù)據(jù)上訓練，展現(xiàn)出很強的決策規(guī)劃能力，但是面對復雜罕見的駕駛場景，依然存在局限性，這是因為端到端模型缺乏常識知識和邏輯思維。而視覺語言多模態(tài)大模型(LargeVision-Language Models,LVLM),例如GPT-4O,已經(jīng)展現(xiàn)出極強的視覺理解能力和分析能力，可以很好的與端到端模型互為補充,充當駕駛決策的“大腦”。

基于這個思路，我們提出了一種連接視覺語言多模態(tài)大模型和端到端模型的智駕系統(tǒng) Senna，針對端到端模型魯棒性差,泛化性弱問題,行業(yè)首創(chuàng)“大模型高維駕駛決策-端到端低維軌跡規(guī)劃”的新駕駛范式，打造“大模型 +端到端”的下一代架構(gòu),實現(xiàn)安全,高效，擬人的智能駕駛。經(jīng)多個數(shù)據(jù)集上的大量實驗證明Senna 具有業(yè)界最優(yōu)的多模態(tài)+端到端規(guī)劃性能，展現(xiàn)出強大的跨場景泛化性和可遷移能力。

概述

端到端自動駕駛在大規(guī)模駕駛數(shù)據(jù)上訓練，展現(xiàn)出很強的決策規(guī)劃能力，但是面對復雜罕見的駕駛場景，依然存在局限性，這是因為端到端模型缺乏常識知識和邏輯思維。而視覺語言多模態(tài)大模型（Large Vision-Language Models，LVLM），例如GPT-4O，已經(jīng)展現(xiàn)出極強的視覺理解能力和分析能力，可以很好的與端到端模型互為補充，充當駕駛決策的“大腦”?；谶@個思路，我們提出了一種連接視覺語言多模態(tài)大模型和端到端模型的智駕系統(tǒng)Senna，針對端到端模型魯棒性差，泛化性弱問題，行業(yè)首創(chuàng)“大模型高維駕駛決策-端到端低維軌跡規(guī)劃”的新駕駛范式，打造“大模型+端到端”的下一代架構(gòu)，實現(xiàn)安全，高效，擬人的智能駕駛。經(jīng)多個數(shù)據(jù)集上的大量實驗證明，Senna具有業(yè)界最優(yōu)的多模態(tài)+端到端規(guī)劃性能，展現(xiàn)出強大的跨場景泛化性和可遷移能力。

Senna解決的研究問題

此前基于大模型的自動駕駛方案，往往將大模型直接作為端到端模型，即直接用大模型預測規(guī)劃軌跡或者控制信號，但是大模型并不擅長預測精準的數(shù)值，因此這種方案并不一定是最優(yōu)解。此前神經(jīng)學的研究表明，人腦在做細致決策時，層次化的高維決策模塊和低維執(zhí)行模塊組成的系統(tǒng)起到了關(guān)鍵的作用。例如，當想要左轉(zhuǎn)的駕駛員看到紅綠燈由紅變綠，大腦中首先會思考，現(xiàn)在紅綠燈變綠了，因此我可以加速啟動通過路口。然后再通過“打轉(zhuǎn)向燈”，“踩油門”等一系列動作完成通過路口這個目標?；谏鲜鲇^察，Senna主要嘗試探索和解決三個問題：

（1）如何有效地結(jié)合多模態(tài)大模型和端到端自動駕駛模型？

Senna采用解耦的行為決策-軌跡規(guī)劃思路，多模態(tài)大模型在大規(guī)模駕駛數(shù)據(jù)上微調(diào)，以提升其對駕駛場景的理解能力，并采用自然語言輸出高維決策指令，然后端到端模型基于大模型提供的決策指令，生成具體的規(guī)劃軌跡。一方面，使用大模型預測語言化的決策指令，可以最大利用其在語言任務上預訓練的知識和常識，生成合理的決策，并且避免預測精確數(shù)字效果欠佳的缺陷；另一方面，端到端模型更擅長精確的軌跡預測，將高維決策的任務解耦，可以降低端到端模型學習的難度，提升其軌跡規(guī)劃的精確度。

（2）如何設計一個面向駕駛?cè)蝿盏亩嗄B(tài)大模型？

駕駛依賴于準確的空間感知，目前常見的多模態(tài)大模型沒有針對多圖輸入進行專門優(yōu)化，此前針對駕駛?cè)蝿盏拇竽Ｐ突蛘邇H支持前視輸入，缺乏完整的空間感知，存在安全隱患；或者支持多圖輸入，但是并沒有進行細致的設計，或針對其有效性進行驗證。

為了解決這些問題，我們提出了Senna，Senna包含兩個模塊，一個駕駛多模態(tài)大模型 (Senna-VLM) 和一個端到端模型(Senna-E2E)，相比于通用的多模態(tài)大模型，Senna-VLM針對駕駛?cè)蝿兆龀鋈缦略O計：首先，針對駕駛的大模型需要支持多圖從而可以輸入環(huán)視和多幀的信息，這對于準確的駕駛場景理解和安全非常重要。最初，我們嘗試簡單基于LLaVA-1.5模型加入環(huán)視多圖輸入，但是效果并不符合預期。在LLaVA中，一張圖像需要占用576個token，6張圖則需要占用3456個token，這幾乎要接近最大輸入長度，導致圖像信息占用的token數(shù)量過多。因此Senna-VLM對圖像編碼器輸出的圖像token做進一步特征壓縮，并設計了針對環(huán)視多圖的prompt，使得Senna可以區(qū)分不同視角的圖像特征并建立空間理解能力。

（3）如何有效地訓練面向駕駛?cè)蝿盏亩嗄B(tài)大模型？

在有了適合駕駛?cè)蝿盏哪Ｐ驮O計后，有效地訓練LVLM是最后一步。這部分包括兩方面的內(nèi)容，數(shù)據(jù)和訓練策略。在數(shù)據(jù)方面，此前工作提出了一些策略，但是很多并不是針對規(guī)劃服務，例如檢測和grouding。另外，很多數(shù)據(jù)依賴于人工標注，這限制了數(shù)據(jù)的大規(guī)模生產(chǎn)。在本文中，我們首次驗證了不同類型的問答數(shù)據(jù)在駕駛規(guī)劃中的重要性。具體來說，我們引入了一系列面向規(guī)劃的問答數(shù)據(jù)，旨在增強Senna對駕駛場景中與規(guī)劃相關(guān)的線索的理解，最終實現(xiàn)更準確的規(guī)劃。這些問答數(shù)據(jù)包括駕駛場景描述、交通參與者的運動意圖預測、交通信號檢測、高維決策規(guī)劃等。我們的數(shù)據(jù)策略可以完全通過自動化流程實現(xiàn)大規(guī)模生產(chǎn)。至于訓練策略，大多數(shù)現(xiàn)有方法采用通用數(shù)據(jù)預訓練，然后針對駕駛?cè)蝿瘴⒄{(diào)。然而，我們的實驗結(jié)果表明，這可能不是最佳選擇。我們?yōu)?Senna-VLM 提出了一種三階段訓練策略，包括混合數(shù)據(jù)預訓練、駕駛通用微調(diào)和駕駛決策微調(diào)。實驗結(jié)果表明，我們提出的三階段訓練策略可以實現(xiàn)最佳的規(guī)劃性能。

Senna的關(guān)鍵創(chuàng)新

在模型層面，Senna提出層次化的規(guī)劃策略，可以充分利用大模型的常識知識和邏輯推理能力，生成準確的決策指令，并通過端到端模型生成具體的軌跡。另外，Senna設計了針對環(huán)視和多圖的策略，通過圖像token壓縮和精心設計的環(huán)視prompt，有效提高了多模態(tài)大模型對駕駛場景的理解。

在數(shù)據(jù)方面，我們設計了多種可以大規(guī)模自動標注的面向規(guī)劃的駕駛問答數(shù)據(jù)，包括場景描述、交通參與者行為預測、交通信號識別以及自車決策等。這些問答數(shù)據(jù)對于Senna生成準確的決策起到了關(guān)鍵作用。

在訓練層面，我們提出三階段的大模型訓練策略，不僅提升了Senna在駕駛場景的表現(xiàn)，且有效保留了其常識知識而不至于出現(xiàn)模式坍塌的問題。

Senna的實驗及應用效果

基于多個數(shù)據(jù)集上的大量實驗表明Senna 實現(xiàn)了state-of-the-art的規(guī)劃性能。實驗結(jié)果的亮點在于，通過使用在大規(guī)模數(shù)據(jù)集上預訓練的權(quán)重并進行微調(diào)，Senna 實現(xiàn)了顯著的性能提升，與沒有預訓練的模型相比，平均規(guī)劃誤差大幅降低了27.12% ，碰撞率降低了33.33%，這些結(jié)果驗證了 Senna 提出的結(jié)構(gòu)化的決策規(guī)劃策略、模型結(jié)構(gòu)設計和訓練策略的有效性。Senna強大的跨場景泛化性和可遷移能力，展現(xiàn)出成為下一代通用智駕大模型的潛力。

未來探索方向

Senna初步探索并驗證了基于語言化的決策將大模型和端到端模型結(jié)合的可行性。下一步，我們將利用更精細的語言決策，并基于決策信息以可控的方式實現(xiàn)個性化的軌跡規(guī)劃，并在可解釋性、閉環(huán)驗證等方面進一步探索優(yōu)化。相信Senna將會激發(fā)行業(yè)在該領(lǐng)域的進一步研究和突破。