99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

VLA,是完全自動駕駛的必經(jīng)之路?

Hobby觀察 ? 來源:電子發(fā)燒友 ? 作者:梁浩斌 ? 2025-06-18 00:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道 (文/梁浩斌)最近,智駕領(lǐng)域又出現(xiàn)多個“新名詞”,比如蔚來推出的NWM、多家車企和智駕供應(yīng)商都在宣傳的VLA。實際上,從各家的路線來看,隨著更大算力的芯片,比如小鵬、蔚來自研的智駕芯片,以及英偉達(dá)Thor的上車,越來越多的智駕方案選擇VLA的路徑。

那么本文就梳理一下當(dāng)前智駕領(lǐng)域集中主流的大模型技術(shù)路線,以及各家廠商實現(xiàn)方式的區(qū)別和發(fā)展。

VLA和VLM

VLA即Vision-Language-Action,視覺-語言-動作模型。簡單來說,VLA是一種結(jié)合視覺感知、語言理解和動作決策的多模態(tài)AI模型。VLA通過統(tǒng)一空間智能、語言智能和行為智能,使自動駕駛系統(tǒng)能夠更全面地理解復(fù)雜環(huán)境并執(zhí)行任務(wù)。

VLA的核心能力主要是三種,包括BEV、激光雷達(dá)等視覺輸入;理解自然語言指令或場景描述等語言處理能力;以及對車輛控制動作輸出的能力。最終通過這三種能力,實現(xiàn)從感知到?jīng)Q策的端到端閉環(huán)。

VLM即Vision-Language Model,視覺-語言模型,從名字上看,VLA就是在VLM的基礎(chǔ)上增加了動作的能力,事實也確實如此。

VLA在VLM核心的多模態(tài)推理和理解能力上,增加了動作生成的能力,將VLM的輸出,比如將“在這個路口要轉(zhuǎn)左”的指令輸出直接轉(zhuǎn)化為車輛的控制信號,包括油門、方向盤角度、剎車力度等。

一般來說,VLA通常也是基于預(yù)訓(xùn)練的VLM基座模型,利用VLM具備的視覺和語言能力,引入動作預(yù)測模塊進(jìn)行擴(kuò)展,使其適應(yīng)各種任務(wù),包括機器人,自動駕駛等。

具體到自動駕駛的應(yīng)用中,VLA可以直接調(diào)用VLM生成的語義理解結(jié)果,比如識別視頻畫面中的交通標(biāo)志、場景描述等,結(jié)合實時感知數(shù)據(jù)來生成車輛的控制指令。同時,VLA的執(zhí)行結(jié)果,也可以反向優(yōu)化VLM的場景理解能力,優(yōu)化決策選擇。

簡單總結(jié)下來,VLM是傾向于認(rèn)知的一個模型,它通過自然語言來描述出當(dāng)前車輛前方的場景,以及“看到”哪些內(nèi)容,并能夠輸出一些車輛控制指令的文本;VLA是側(cè)重于動作控制,在獲得場景的自然語言信息后,解決車輛應(yīng)該如何繼續(xù)行駛,比如作出避讓、變道等動作,并直接輸出油門、方向盤角度、剎車力度等具體的控制指令。

小鵬、理想、元戎落注VLA,但實現(xiàn)方式略有不同

目前小鵬、理想、元戎啟行等車企和智駕公司,都展示了其VLA的技術(shù)布局,并表示即將量產(chǎn)。

元戎啟行CEO周光在最近的2025年火山引擎Force原動力大會就宣布,將攜手火山引擎,基于豆包大模型,共同研發(fā)VLA等前瞻技術(shù),元戎騎行VLA模型將在2025年第三季度推向消費者市場。

理想汽車此前則透露VLA模型將在今年三季度搭載于理想L9/L8改款車型。

小鵬汽車在最近小鵬G7發(fā)布會上表示,將行業(yè)首發(fā)本地端VLA+VLM大模型。小鵬在車端實現(xiàn)VLA的方式大致是,采用超大參數(shù)云端大模型,訓(xùn)練出世界模型基座,再通過蒸餾的方式產(chǎn)出適配車端算力的小模型,最大限度地保留云端模型基座的核心能力。

今年4月,小鵬汽車對外宣布正在研發(fā)參數(shù)規(guī)模達(dá)到720億的云端大模型,即“小鵬世界基座模型”。該基座模型是以大語言模型為骨干網(wǎng)絡(luò),使用海量優(yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練的VLA大模型(視覺-語言-行為大模型),具備視覺理解能力、鏈?zhǔn)酵评砟芰Γ–oT)和動作生成能力。目前,小鵬汽車已經(jīng)在后裝算力的車端上用小尺寸的基座模型實現(xiàn)了控車。在沒有任何規(guī)則代碼托底的情況下,新的“AI大腦”展現(xiàn)出令人驚喜的基礎(chǔ)駕車技能,能夠絲滑地加減速、變道繞行、轉(zhuǎn)彎掉頭、等待紅綠燈等等。

在上周的計算機視覺頂會CVPR 2025上,小鵬汽車也分享了其基礎(chǔ)模型的進(jìn)展。小鵬世界基座模型負(fù)責(zé)人劉先明博士表示,小鵬汽車已經(jīng)在云上訓(xùn)練了10億、30億、70億、720億等多個參數(shù)的模型,并且持續(xù)向模型“投喂”更大規(guī)模的訓(xùn)練數(shù)據(jù)。目前,小鵬世界基座模型累計“吃下”2000多萬條視頻片段(每條時長30秒)。

在這一過程中,研發(fā)團(tuán)隊清晰地看到了規(guī)模法則(Scaling Law)的顯現(xiàn)。也就是說,模型的參數(shù)量越大、模型學(xué)習(xí)的數(shù)據(jù)越多,模型的性能越強。這是AI大模型浪潮以來,行業(yè)內(nèi)首次明確驗證規(guī)模法則在自動駕駛VLA模型上持續(xù)生效。

理想汽車的VLA路線則略有不同,是先對基座模型進(jìn)行蒸餾,產(chǎn)出車端的蒸餾模型,然后再進(jìn)行強化學(xué)習(xí),實現(xiàn)“司機Agent”。

蔚來世界模型NWM

蔚來近期推送了其最新的NWM首個版本,據(jù)蔚來的介紹,蔚來世界模型NWM是一個多元自回歸生成模型,具備空間認(rèn)知和時間認(rèn)知能力,能進(jìn)行長時序決策與推演。蔚來世界模型 NWM同樣是多模態(tài)輸入輸出,輸入的多模態(tài)數(shù)據(jù)包含圖像、語言,輸出的多模態(tài)數(shù)據(jù)則包含圖像和行動。

所以NWM其實是包含了VLA的所有特征,但不同之處在于,NWM對于空間理解的能力,以及長時序的建模能力會更強。

蔚來用停車場自主尋路的功能來展示NWM的認(rèn)知、理解與推理能力。例如,當(dāng)車輛在行駛過程中看到“15-20號樓→”的標(biāo)牌時,它就能理解18號樓應(yīng)當(dāng)向右轉(zhuǎn);在上一個路口看到“出口直行”字樣,當(dāng)前路口卻沒有標(biāo)牌,車輛也能推理出出口應(yīng)該繼續(xù)直行。

寫在最后

元戎啟行認(rèn)為,VLA是通往完全自動駕駛的必經(jīng)途徑。當(dāng)前VLA確實已經(jīng)成為智駕的主流發(fā)展方向,而VLA對于車端的算力需求,還將會帶動智駕芯片算力的需求爆發(fā)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 自動駕駛
    +關(guān)注

    關(guān)注

    790

    文章

    14326

    瀏覽量

    170749
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    2500 TOPS!特斯拉HW5智駕算力怪獸突擊,國產(chǎn)VLA火速進(jìn)化

    電子發(fā)燒友網(wǎng)報道(文/莫婷婷)外媒報道稱,特斯拉的“AI5 / HW5”下一代 FSD(完全自動駕駛)芯片已進(jìn)入量產(chǎn)階段。這款芯片擁有驚人的2000至2500 TOPS運算能力,遠(yuǎn)超當(dāng)前市場主流智駕
    的頭像 發(fā)表于 06-20 09:05 ?6527次閱讀
    2500 TOPS!特斯拉HW5智駕算力怪獸突擊,國產(chǎn)<b class='flag-5'>VLA</b>火速進(jìn)化

    NVIDIA Halos自動駕駛汽車安全系統(tǒng)發(fā)布

    NVIDIA 整合了從云端到車端的安全自動駕駛開發(fā)技術(shù)套件,涵蓋車輛架構(gòu)到 AI 模型,包括芯片、軟件、工具和服務(wù)。 物理 AI 正在為自動駕駛和機器人開發(fā)技術(shù)的交叉領(lǐng)域釋放新的可能性,尤其是加速了
    的頭像 發(fā)表于 03-25 14:51 ?625次閱讀

    理想汽車推出全新自動駕駛架構(gòu)

    2025年3月18日,理想汽車自動駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬在NVIDIA GTC 2025發(fā)表主題演講《VLA:邁向自動駕駛物理智能體的關(guān)鍵一步》,分享了理想汽車對于下一代自動駕駛技術(shù)M
    的頭像 發(fā)表于 03-19 14:12 ?549次閱讀

    英偉達(dá)高管:完全自動駕駛汽車尚需時日

    英偉達(dá)汽車業(yè)務(wù)負(fù)責(zé)人阿里·卡尼近日表示,完全自動駕駛汽車的實現(xiàn)還遙遙無期,預(yù)計至少要到下一個十年才有可能問世。盡管未來的自動駕駛技術(shù)將會取得顯著進(jìn)步,但卡尼強調(diào),技術(shù)發(fā)展必須穩(wěn)扎穩(wěn)打,過度冒進(jìn)可能會
    的頭像 發(fā)表于 01-23 11:27 ?520次閱讀

    英偉達(dá):全自動駕駛汽車至少需十年

    自動駕駛技術(shù)迅猛發(fā)展的當(dāng)下,英偉達(dá)作為該領(lǐng)域的重要參與者,卻對完全自動駕駛的實現(xiàn)時間表達(dá)了審慎態(tài)度。 據(jù)Carscoops報道,英偉達(dá)汽車業(yè)務(wù)負(fù)責(zé)人阿里·卡尼直言,完全自動駕駛汽車“至少要到下一個
    的頭像 發(fā)表于 01-23 11:08 ?573次閱讀

    電動工具EMC測試整改:邁向高質(zhì)量生產(chǎn)的必經(jīng)之路

    深圳南柯電子|電動工具EMC測試整改:邁向高質(zhì)量生產(chǎn)的必經(jīng)之路
    的頭像 發(fā)表于 01-14 14:29 ?526次閱讀
    電動工具EMC測試整改:邁向高質(zhì)量生產(chǎn)的<b class='flag-5'>必經(jīng)之路</b>

    特斯拉發(fā)布“完全自動駕駛”軟件最新版本FSDV13.2

    近日,特斯拉終于推出了備受期待的“完全自動駕駛”軟件最新版本——FSD V13.2。盡管此前曾承諾在感恩節(jié)之前發(fā)布,但特斯拉還是在11月份的最后時刻兌現(xiàn)了承諾,展現(xiàn)了其人工智能團(tuán)隊的不懈努力和重要進(jìn)展。
    的頭像 發(fā)表于 12-03 10:59 ?1147次閱讀

    自動駕駛汽車安全嗎?

    隨著未來汽車變得更加互聯(lián),汽車逐漸變得更加依賴技術(shù),并且逐漸變得更加自動化——最終實現(xiàn)自動駕駛,了解自動駕駛汽車的安全問題變得非常重要,這樣你才能回答“自動駕駛汽車安全嗎”和“
    的頭像 發(fā)表于 10-29 13:42 ?1136次閱讀
    <b class='flag-5'>自動駕駛</b>汽車安全嗎?

    智能駕駛自動駕駛的關(guān)系

    智能駕駛自動駕駛在概念上存在一定的聯(lián)系和區(qū)別,以下是對兩者關(guān)系的介紹: 一、概念定義 智能駕駛 : 智能駕駛是一個更為寬泛的概念,它指的是通過機器輔助人類進(jìn)行
    的頭像 發(fā)表于 10-23 16:02 ?1534次閱讀

    自動駕駛HiL測試方案案例分析--ADS HiL測試系統(tǒng)#ADAS #自動駕駛 #VTHiL

    自動駕駛
    北匯信息POLELINK
    發(fā)布于 :2024年10月22日 15:20:19

    自動駕駛HiL測試方案介紹#ADAS #自動駕駛 #VTHiL

    自動駕駛
    北匯信息POLELINK
    發(fā)布于 :2024年10月12日 18:02:07

    通用汽車旗下Cruise據(jù)悉計劃年內(nèi)恢復(fù)完全自動駕駛服務(wù)

    通用汽車旗下的無人駕駛部門Cruise正加速推進(jìn)其業(yè)務(wù)恢復(fù)計劃,據(jù)知情人士透露,該部門目標(biāo)在今年晚些時候恢復(fù)運行完全自動駕駛的乘車服務(wù),并計劃在2025年初正式對此服務(wù)進(jìn)行收費。這一消息為自動駕駛行業(yè)帶來了新的期待。
    的頭像 發(fā)表于 07-29 17:53 ?993次閱讀

    FPGA在自動駕駛領(lǐng)域有哪些優(yōu)勢?

    FPGA(Field-Programmable Gate Array,現(xiàn)場可編程門陣列)在自動駕駛領(lǐng)域具有顯著的優(yōu)勢,這些優(yōu)勢使得FPGA成為自動駕駛技術(shù)中不可或缺的一部分。以下是FPGA在自動駕駛
    發(fā)表于 07-29 17:11

    FPGA在自動駕駛領(lǐng)域有哪些應(yīng)用?

    FPGA(Field-Programmable Gate Array,現(xiàn)場可編程門陣列)在自動駕駛領(lǐng)域具有廣泛的應(yīng)用,其高性能、可配置性、低功耗和低延遲等特點為自動駕駛的實現(xiàn)提供了強有力的支持。以下
    發(fā)表于 07-29 17:09