2025年3月18日，理想汽車(chē)自動(dòng)駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬在NVIDIA GTC 2025發(fā)表主題演講《VLA：邁向自動(dòng)駕駛物理智能體的關(guān)鍵一步》，分享了理想汽車(chē)對(duì)于下一代自動(dòng)駕駛技術(shù)MindVLA的最新思考和進(jìn)展。

賈鵬表示：“MindVLA是機(jī)器人大模型，它成功整合了空間智能、語(yǔ)言智能和行為智能，一旦跑通物理世界和數(shù)字世界結(jié)合的范式后，將有望賦能更多行業(yè)。MindVLA將把汽車(chē)從單純的運(yùn)輸工具轉(zhuǎn)變?yōu)橘N心的專(zhuān)職司機(jī)，它能聽(tīng)得懂、看得見(jiàn)、找得到。我們希望MindVLA能為汽車(chē)賦予類(lèi)似人類(lèi)的認(rèn)知和適應(yīng)能力，將其轉(zhuǎn)變?yōu)槟軌蛩伎嫉闹悄荏w?！?/p>

理想全棧自研MindVLA：深度融合空間、語(yǔ)言及行為智能

基于端到端+VLM雙系統(tǒng)架構(gòu)的最佳實(shí)踐，及對(duì)前沿技術(shù)的敏銳洞察，理想自研VLA模型——MindVLA。VLA是機(jī)器人大模型的新范式，其將賦予自動(dòng)駕駛強(qiáng)大的3D空間理解能力、邏輯推理能力和行為生成能力，讓自動(dòng)駕駛能夠感知、思考和適應(yīng)環(huán)境。

MindVLA不是簡(jiǎn)單地將端到端模型和VLM模型結(jié)合在一起，所有模塊都是全新設(shè)計(jì)。3D空間編碼器通過(guò)語(yǔ)言模型，和邏輯推理結(jié)合在一起后，給出合理的駕駛決策，并輸出一組Action Token（動(dòng)作詞元），Action Token指的是對(duì)周?chē)h(huán)境和自車(chē)駕駛行為的編碼，并通過(guò)Diffusion（擴(kuò)散模型）進(jìn)一步優(yōu)化出最佳的駕駛軌跡，整個(gè)推理過(guò)程都要發(fā)生在車(chē)端，并且要做到實(shí)時(shí)運(yùn)行。

MindVLA六大關(guān)鍵技術(shù)，樹(shù)立全新技術(shù)范式

MindVLA打破自動(dòng)駕駛技術(shù)框架設(shè)計(jì)的傳統(tǒng)模式，使用能夠承載豐富語(yǔ)義，且具備出色多粒度、多尺度3D幾何表達(dá)能力的3D高斯（3D Gaussian）這一優(yōu)良的中間表征，充分利用海量數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練，極大提升了下游任務(wù)性能。

理想從0開(kāi)始設(shè)計(jì)和訓(xùn)練了適合MindVLA的LLM基座模型，采用MoE混合專(zhuān)家架構(gòu)，引入Sparse Attention（稀疏注意力），實(shí)現(xiàn)模型稀疏化，保證模型規(guī)模增長(zhǎng)的同時(shí)，不降低端側(cè)的推理效率?；Ｐ陀?xùn)練過(guò)程中，理想加入大量3D數(shù)據(jù)，使模型具備3D空間理解和推理能力。為了進(jìn)一步激發(fā)模型的空間智能，理想加入了未來(lái)幀的預(yù)測(cè)生成和稠密深度的預(yù)測(cè)等訓(xùn)練任務(wù)。

LLM基座模型獲得3D空間智能的同時(shí)，還需要進(jìn)一步提升邏輯推理能力。理想訓(xùn)練LLM基座模型學(xué)習(xí)人類(lèi)的思考過(guò)程，讓快慢思考有機(jī)結(jié)合到同一模型中，并可以實(shí)現(xiàn)自主切換快思考和慢思考。為了把NVIDIA Drive AGX的性能發(fā)揮到極致，MindVLA采取小詞表結(jié)合投機(jī)推理，以及創(chuàng)新性地應(yīng)用并行解碼技術(shù)，進(jìn)一步提升了實(shí)時(shí)推理的速度。至此，MindVLA實(shí)現(xiàn)了模型參數(shù)規(guī)模與實(shí)時(shí)推理性能之間的平衡。

MindVLA利用Diffusion將Action Token解碼成優(yōu)化的軌跡，并通過(guò)自車(chē)行為生成和他車(chē)軌跡預(yù)測(cè)的聯(lián)合建模，提升在復(fù)雜交通環(huán)境中的博弈能力。同時(shí)Diffusion可以根據(jù)外部條件，例如風(fēng)格指令，動(dòng)態(tài)調(diào)整生成結(jié)果。為了解決Diffusion模型效率低的問(wèn)題，MindVLA采用Ordinary Differential Equation（常微分方程）采樣器，實(shí)現(xiàn)了2-3步就能完成高質(zhì)量軌跡的生成。面對(duì)部分長(zhǎng)尾場(chǎng)景，理想建立起人類(lèi)偏好數(shù)據(jù)集，并且創(chuàng)新性地應(yīng)用RLHF（基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)）微調(diào)模型的采樣過(guò)程，最終使MindVLA能夠?qū)W習(xí)和對(duì)齊人類(lèi)駕駛行為，顯著提升安全下限。

MindVLA基于自研的重建+生成云端統(tǒng)一世界模型，深度融合重建模型的三維場(chǎng)景還原能力與生成模型的新視角補(bǔ)全，以及未見(jiàn)視角預(yù)測(cè)能力，構(gòu)建接近真實(shí)世界的仿真環(huán)境。源于世界模型的技術(shù)積累與充足計(jì)算資源的支撐，MindVLA實(shí)現(xiàn)了基于仿真環(huán)境的大規(guī)模閉環(huán)強(qiáng)化學(xué)習(xí)，即真正意義上的從“錯(cuò)誤中學(xué)習(xí)”。過(guò)去一年，理想自動(dòng)駕駛團(tuán)隊(duì)完成了世界模型大量的工程優(yōu)化，顯著提升了場(chǎng)景重建與生成的質(zhì)量和效率，其中一項(xiàng)工作是將3D GS的訓(xùn)練速度提升至7倍以上。

理想通過(guò)創(chuàng)新性的預(yù)訓(xùn)練和后訓(xùn)練方法，讓MindVLA實(shí)現(xiàn)了卓越的泛化能力和涌現(xiàn)特性，其不僅在駕駛場(chǎng)景下表現(xiàn)優(yōu)異，在室內(nèi)環(huán)境也展示出了一定的適應(yīng)性和延展性。

MindVLA賦能汽車(chē)變?yōu)閷?zhuān)職司機(jī)，重塑用戶(hù)體驗(yàn)

MindVLA將為用戶(hù)帶來(lái)全新的產(chǎn)品形態(tài)和產(chǎn)品體驗(yàn)，有MindVLA賦能的汽車(chē)是聽(tīng)得懂、看得見(jiàn)、找得到的專(zhuān)職司機(jī)?！奥?tīng)得懂”是用戶(hù)可以通過(guò)語(yǔ)音指令改變車(chē)輛的路線和行為，例如用戶(hù)在陌生園區(qū)尋找超市，只需要通過(guò)理想同學(xué)對(duì)車(chē)輛說(shuō)：“帶我去找超市”，車(chē)輛將在沒(méi)有導(dǎo)航信息的情況下，自主漫游找到目的地；車(chē)輛行駛過(guò)程中，用戶(hù)還可以跟理想同學(xué)說(shuō)：“開(kāi)太快了”“應(yīng)該走左邊這條路”等，MindVLA能夠理解并執(zhí)行這些指令。

“看得見(jiàn)”是指MindVLA具備強(qiáng)大的通識(shí)能力，不僅能夠認(rèn)識(shí)星巴克、肯德基等不同的商店招牌，當(dāng)用戶(hù)在陌生地點(diǎn)找不到車(chē)輛時(shí)，可以拍一張附近環(huán)境的照片發(fā)送給車(chē)輛，擁有MindVLA賦能的車(chē)輛能夠搜尋照片中的位置，并自動(dòng)找到用戶(hù)。

“找得到”意味著車(chē)輛可以自主地在地庫(kù)、園區(qū)和公共道路上漫游，其中典型應(yīng)用場(chǎng)景是用戶(hù)在商場(chǎng)地庫(kù)找不到車(chē)位時(shí)，可以跟車(chē)輛說(shuō)：“去找個(gè)車(chē)位停好”，車(chē)輛就會(huì)利用強(qiáng)大的空間推理能力自主尋找車(chē)位，即便遇到死胡同，車(chē)輛也會(huì)自如地倒車(chē)，重新尋找合適的車(chē)位停下，整個(gè)過(guò)程不依賴(lài)地圖或?qū)Ш叫畔?，完全依?lài)MindVLA的空間理解和邏輯推理能力。

總結(jié)來(lái)說(shuō)，對(duì)于用戶(hù)而言，有MindVLA賦能的車(chē)不再只是一個(gè)駕駛工具，而是一個(gè)能與用戶(hù)溝通、理解用戶(hù)意圖的智能體；對(duì)于汽車(chē)行業(yè)而言，像iPhone 4重新定義了手機(jī)，MindVLA也將重新定義自動(dòng)駕駛；對(duì)于人工智能領(lǐng)域而言，汽車(chē)作為物理人工智能的最佳載體，未來(lái)探索出物理世界和數(shù)字世界結(jié)合的范式，將有望賦能多個(gè)行業(yè)協(xié)同發(fā)展。

理想在不斷進(jìn)行技術(shù)創(chuàng)新的同時(shí)，還在人工智能領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議和期刊發(fā)表了大量論文，為加速技術(shù)發(fā)展貢獻(xiàn)了重要力量。未來(lái)，理想汽車(chē)將繼續(xù)在用戶(hù)價(jià)值的驅(qū)動(dòng)下，堅(jiān)持技術(shù)創(chuàng)新，連接物理世界和數(shù)字世界，成為全球領(lǐng)先的人工智能企業(yè)。