1、 OpenAI 引領，人工智能進入大模型時代

1.1、 ChatGPT 橫空出世，引領人工智能新浪潮

人工智能歷經多年發(fā)展，在諸多領域超越人類。自 1956 年 8 月達特茅斯會議上 “人工智能”概念誕生以來，行業(yè)幾經起落不斷發(fā)展壯大。臨近新千年的 1997，IBM 深藍計算機打敗國際象棋大師卡斯帕羅夫成為首臺打敗國際象棋世界冠軍的電腦。 2010 年，谷歌宣布自動駕駛汽車計劃。2012 年卷積神經網絡 AlexNet 在大規(guī)模視覺 識別挑戰(zhàn)賽中以比第二名低 10.8 個百分點的錯誤率奪冠，引發(fā)轟動，開啟了深度學 習黃金時代。2016 年 DeepMind 公司的 AlphaGo 以 4:1 大比分戰(zhàn)勝當時世界冠軍李 世石，人類將圍棋冠軍也讓與計算機，掀起人工智能新一輪熱潮。多年以來，像計 算器超越人類的計算能力一樣，人工智能在越來越多領域超越人類，并被應用到千 行百業(yè)，未來將繼續(xù)在更多的領域嶄露頭角，為人類賦能。

ChatGPT 橫空出世，再次引發(fā)人工智能熱潮。2022 年 11 月，ChatGPT 橫空出 世，作為一種應用在對話場景的大語言模型，它可以通過更貼近人的方式與使用者 互動，可以回答問題、承認錯誤、挑戰(zhàn)不正確的前提、拒絕不適當的請求，同時擁 有驚艷的思維鏈推理能力和零樣本下處理問題能力。在理解人類意圖、精準回答問 題、流暢生成結果方面遠超人類預期，幾乎“無所不能”，引發(fā)網絡熱潮。據瑞銀數 據，ChatGPT 產品推出 2 個月后用戶數量即過億，而上一個現象級應用 TikTok 達到 1 億用戶花費了 9 個月時間。微軟將 ChatGPT 整合到其搜索引擎必應中后，在 1 個 多月的時間內讓必應日活躍用戶數過億。

GPT-4 能力進一步提升，安全性顯著增強。Open AI 在當地時間 2023 年 3 月 14 日發(fā)布了 GPT-3.5（ChatGPT 基于 GPT3.5 開發(fā)）的升級版 GPT-4，性能全面超越 ChatGPT。其具備多模態(tài)能力，可以同時支持文本和圖像輸入。支持的文本輸入數量 提升至約 32000 個 tokens，對應約 2.5 萬單詞。性能方面，（1）理解/推理/多語言能 力增強，在專業(yè)和學術考試中表現突出，全面超越 GPT3.5，通過了統(tǒng)一律師考試的 模擬版本，分數在考生中排名前 10%。（2）理解能力顯著增強，可以實現“看圖說話”， 甚至能夠理解一些幽默的圖片笑話。（3）可靠性相比 GPT3.5 大幅提升 19%。（4）安 全性指標相比 GPT3.5 有顯著提升，對不允許和敏感內容的錯誤反應顯著下降。

1.2、 算法是人工智能的基石，Transformer 逐步成為主流

1.2.1、 始于 NLP，延伸至各領域，Transformer 在人工智能行業(yè)展現統(tǒng)治力

算法是構成模型的基石，循環(huán)神經網絡（RNN）和卷積神經網絡（CNN）曾為 自然語言處理和圖像處理的領域主流算法。早年人工智能領域常見的算法包含循環(huán) 神經網絡（RNN）和卷積神經網絡（CNN），其中循環(huán)神經網絡每個環(huán)節(jié)的輸出與前 面的輸出有關（有“記憶”），因此可更好的處理序列問題，如文本、股市、翻譯等。 卷積神經網絡則以圖像識別為核心，通過卷積核進行窗口滑動來進行特征提取，進 而實現圖像識別等功能。但兩類算法均存在自身的問題，循環(huán)神經網絡并行度低， 計算效率受限，同時輸入的數據較為龐大時，早期的記憶容易丟失。而卷積神經網 絡由于需要卷積核滑動來提取特征，面對距離較遠的特征之間的關系識別能力有限。

Transformer 結構性能強大一經推出迅速得到認可。Transformer 在谷歌著名的 論文“Attention is all you need”首次出現，其優(yōu)點在于并行度高，精度和性能上均優(yōu) 于傳統(tǒng)神經網絡。該算法采用編碼器解碼器（Encoder-Decoder）架構，編碼器接受 輸入并將其編碼為固定長度的向量，解碼器獲取該向量并將其解碼為輸出序列。該 算法早期被應用于翻譯領域，相比傳統(tǒng) RNN 只關注句子相鄰詞之間的關系， Transformer 會將句子中的每個字與所有單詞進行計算，得出他們之間的相關度，而 確定該詞在句子里更準確的意義。因此 Transformer 擁有更優(yōu)的全局信息感知能力。

始于 NLP，逐步延伸到各大應用領域。在計算機視覺領域，早年卷積神經網絡 （CNN）幾乎占據統(tǒng)治地位，Transformer 出現后，大量基于 Transformer 及 CNN 和 Transformer 算法的結合體涌現，誕生了最初應用在圖像識別領域的 Vision Transformer，應用在目標檢測領域的 DETR，應用在分割領域的 SETR 等等諸多算法。 此外在其他領域，Transformer 也開始嶄露頭角，觀察 Transformer 有關的論文，幾年 之內，其所覆蓋的領域迅速泛化，涵蓋文本、圖像、語音、視頻等。

1.2.2、 大語言模型多基于 Transformer 構建，Decoder-Only 系列占優(yōu)

大語言模型形成三大類別，Decoder-Only 系列占優(yōu)。出色的性能讓 Transformer 架構已經成為各種大語言模型的主干，前文提到 Transformer 結構由編碼器和解碼器 構成，而單獨基于編碼器或者解碼器均可構建大語言模型，因此業(yè)內形成三類大模 型路線：Decoder-Only（僅解碼器）、Encoder-Only（僅編碼器）、Encoder-Decoder（編 碼器-解碼器）。其中采用 Encoder-Only 的有谷歌的 Bert、微軟的 Deberta 等，其采用 “完形填空”式的預訓練，再根據所需的應用領域用少量標注過的數據進行 Fine-tuning（微調）。采用 Decoder-Only 的有 GPT 等，其采用“預測下一個單詞”的 方式進行預訓練，之后通過指令微調等實現特定領域功能的激發(fā)。此外也有采用 Encoder-Decoder 架構的模型如谷歌的 T5、META 的 Bart、清華大學的 ChatGLM 等。 值得注意的是當 GPT3 推出后，大量基于 Decoder-Only 的算法涌現出來，成為主流 的大模型算法構建方式。

1.3、 大模型+預訓練+人類反饋微調，大模型蓄勢待發(fā)

1.3.1、 探求 ChatGPT 的能力來源，尋找構建大模型的有效方法

GPT 的能力來源于預訓練+指令微調+基于人類反饋的強化學習。ChatGPT 的前 身為 GPT-3，基于 GPT-3，OpenAI 對大模型進行了諸多探索，開發(fā)出了多個可應用 于不同領域的模型。對比這些不同的模型，在初代的 GPT-3 上即展現出語言生成、 情景學習（in-context learning，遵循給定的示例為新的測試應用生成解決方案）、世 界知識（事實性知識和常識）等能力，而這些能力幾乎都來自于大規(guī)模的預訓練， 通過讓擁有 1750 億參數的大模型去學習包含 3000 億單詞的語料，大模型已經具備 了所有的基礎能力。而通過指令微調（Instruction tuning），幫助大模型“解鎖”特定領 域的能力如遵循指令來實現問答式的聊天機器人，或泛化到其他新的任務領域。而 基于人類反饋的強化學習（RLHF，Reinforcement Learning with Human Feedback）則 讓大模型具備了和人類“對齊”的能力，即給予提問者詳實、公正的回應，拒絕不當 的問題，拒絕其知識范圍外的問題等特性。

1.3.2、 大參數+海量數據預訓練+基于人類反饋的微調構成打造大語言模型的要素

大參數量變帶來質變，“涌現”現象帶來大模型能力躍遷。當模型規(guī)模較小時， 模型的性能和參數大致符合比例定律，即模型的性能提升和參數增長呈現線性關系， 而當參數量上升到一定程度，模型的性能會突然躍遷，打破比例定律，實現質的飛 躍，這被稱為模型的“涌現”能力。諸多研究發(fā)現，大參數量，配合海量數據訓練， 大語言模型在 In-context learning（情景學習）、Instruct following（指令遵循）、Chain of thought（思維鏈，即可逐步解決問題）方面會出現“涌現”現象。因此模型擁有 較大參數量是其擁有超乎想象性能的前提。

海量數據預訓練不可或缺。參數量龐大的大語言模型需要大量覆蓋廣泛內容的 高質量數據。目前的語料庫包含網頁、書籍、對話、百科、書籍、代碼等。數據集 的規(guī)模和質量對模型的性能表現至關重要，大模型玩家采用獨特的數據訓練模型以 增強模型性能。如 Project Gutenberg（古騰堡計劃）是一個經典的西方文學數據集， 其由超過 70000 本文學書籍組成，包括小說、詩歌、散文、戲劇、科學、哲學等諸 多類型作品，是目前最大的開源藏書之一，被用于 Meta 的大語言模型 LLaMA 以及 英偉達和微軟聯(lián)合推出的大語言模型 MT-NLG 的訓練，而 GPT3 中所使用的 Books1 和 Books3 數據集則至今未公開發(fā)布。

恰當的模型微調亦尤為重要。預訓練構筑模型強大的基礎能力之后，恰當的模 型微調將賦予模型在特定領域的能力和與人類“對齊”的能力。在這里，模型調整 的方法繁多，以 ChatGPT 的訓練過程為例，預訓練好的基礎模型進一步的訓練通常 分為三步：（1）采用人工標注好的數據來訓練模型；（2）通過人類對模型答案的排 序訓練一個獎勵模型；（3）使用獎勵模型通過強化學習的方式訓練 ChatGPT。其中 后兩個步驟稱為 RLHF（基于人類反饋的強化學習）。在 GPT4 的訓練過程中，OpenAI 還進一步加入了基于規(guī)則的獎勵模型（RBRMs）來幫助模型進一步生成正確的回答， 拒絕有害內容。可以看出模型微調對模型最終的效果實現至關重要，玩家獨特的訓 練和微調方法會讓自己的模型形成獨特的性能。

1.4、 多模態(tài)成為趨勢，應用端千帆競渡，人工智能迎來 iPhone 時刻

OpenAI 產品一經發(fā)布，全球掀起大模型研發(fā)的熱潮，諸多巨頭切入大模型開發(fā) 領域。在模型構建方面，ChatGPT 等產品提供良好范式，玩家可基于此方式構建自 己的產品。同時多模態(tài)的大模型已經成為玩家們的終極目標，而隨著圖像、視頻數 據的介入，大模型的能力亦將實現進一步提升。在應用端，也呈現出繁榮發(fā)展的態(tài) 勢，諸多玩家與大模型廠商合作以求探索新的業(yè)務和盈利模式。而隨著后期多模態(tài) 等大模型的發(fā)展進一步加速，以及變得更準確、更可靠、更安全；基礎大模型+特定 行業(yè)應用的業(yè)務形式會逐步鋪開，人工智能賦能千行百業(yè)，有望再次引領新的“iphone” 時刻。

2、 大模型賦能自動駕駛，算法、數據閉環(huán)、仿真全面受益

2.1、 自動駕駛算法、數據不斷迭代，長尾問題處理成為關鍵

自動駕駛算法從基于規(guī)則逐步走向神經網絡，從模塊化部署走向端到端一體化， Transformer+BEV 逐步成為主流。目前自動駕駛算法歷經多年演變，呈現出幾大特 點。首先，基于神經網絡的算法逐步替代基于規(guī)則的算法，早年神經網絡主要用于 感知環(huán)節(jié)，現在逐步在向規(guī)劃控制環(huán)節(jié)滲透。其次，自動駕駛算法在早期以模塊化 部署，每個模塊擁有獨立的優(yōu)化目標，但整體模型的效果未必達到最優(yōu)，因此端到 端的自動駕駛解決方案映入人們眼簾，學界和產業(yè)界均進行了諸多探索。最后，我 們看到行業(yè)玩家逐步認可 Transformer+BEV 的算法構建模式，模型架構上逐步走向 趨同，這無疑將推動包含芯片在內的整個產業(yè)鏈加速發(fā)展。

長尾問題處理是自動駕駛面臨的主要挑戰(zhàn)，數據驅動提供解藥。當前，大部分 算法可以覆蓋主要的行車場景，但駕駛環(huán)境紛繁復雜，仍有諸多罕見的長尾場景需 要算法識別和處理，這類場景雖不常見但無法忽視，成為制約自動駕駛成熟的主要 瓶頸。行業(yè)通常采用大量的數據去訓練自動駕駛算法，以求讓自動駕駛模型成為見 多識廣的“老司機”。早期 Waymo 的路測、特斯拉的影子模式均希望通過獲取大量 數據解決長尾問題。馬斯克曾經在推特上贊同了實現超越人類的自動駕駛能力至少 需要 100 億公里駕駛數據的說法。國內毫末智行將數據作為“自動駕駛能力函數” 的自變量，認為是決定能力發(fā)展的關鍵。Momenta 在其公眾號上也表示 L4 要實現規(guī) ?；?，至少要做到人類司機的安全水平，最好比人類司機水平高一個數量級，因此 需要至少千億公里的測試，解決百萬長尾問題。

自動駕駛在模型端仍需優(yōu)化，數據閉環(huán)、仿真工具仍待完善。自動駕駛近年發(fā) 展迅猛，硬件預埋軟件持續(xù)迭代的風潮下，車載算力急劇增長快速普及，但軟件端 功能進化滯后于算力。軟件端算法、數據閉環(huán)、仿真系統(tǒng)均有待完善。算法領域感 知、預測、決策、規(guī)劃模型都在不斷升級演進，精度、可靠性均有提升空間。數據 閉環(huán)系統(tǒng)方面，伴隨有關車型量產，數據的挖掘、標注和處理工作量龐大，數據閉 環(huán)系統(tǒng)自動化高效運行決定模型能否由數據驅動持續(xù)迭代。仿真環(huán)節(jié)，理論上優(yōu)質 仿真可替代實車數據收集，降低算法搭建成本并提升迭代速率，但逼真的仿真環(huán)境 的構建、諸多的長尾場景的復現難度大。

2.2、 大模型全面賦能，自動駕駛各大環(huán)節(jié)全面受益

蒸餾、剪枝、量化助力大模型在多場景應用。通常大型模型采用三種方式壓縮： 蒸餾、剪枝、量化。蒸餾類似于老師教學生，將一個大模型或多個模型集學到的知 識遷移到另一個輕量級的模型上方便部署。剪枝可理解為將復雜的神經網絡結構精 簡使其變得輕量化。量化則為直接降低模型中的參數精度，進而實現模型輕量化。 基于多種模型壓縮的方式，大模型也擁有了加速垂直行業(yè)的基礎。

大模型可在算法、數據閉環(huán)、仿真等環(huán)節(jié)全面賦能自動駕駛。大模型具有良好 的認知和推理性能，作為人工智能最先落地的應用領域之一，自動駕駛有望得到全 面助力。首先在數據閉環(huán)和仿真環(huán)節(jié)，大模型的精準識別和數據挖掘以及數據生成 能力可對數據挖掘、數據標注、以及仿真場景構建賦能。其次在模塊化的算法部署 模式下，感知算法、規(guī)控算法亦可受到大模型的加強而實現感知精度和規(guī)控效果的 提升。最后，端到端的感知決策一體化算法被認為是自動駕駛算法終局，但面臨諸 多難以解決的問題，比如構建適合該算法的仿真換環(huán)境、端到端的數據標注等，而 在大模型時代以上問題或不再成為瓶頸，落地指日可待。

2.2.1、 大模型助力數據挖掘和自動標注，數據飛輪飛馳推動自動駕駛落地

在自動駕駛的數據閉環(huán)體系構建過程中存在數據挖掘和自動標注等難點。隨著 量產車型數量增加，產生的數據量呈現指數級增長，一方面，高效的利用數據實現 預期的訓練效果要求系統(tǒng)具有數據挖掘、處理能力。另一方面，海量數據的標注帶 來高昂的成本，而部分 3D 場景人工標注較為困難，進一步限制算法模型迭代和應用， 大模型誕生后這兩類問題有望迎刃而解。

數據挖掘：百度阿波羅應用大模型實現長尾數據挖掘

百度首先利用文字和圖像輸入編碼器預訓練一個原始模型用來實現向量搜索， 再利用算法將街景圖像數據進行物體識別并定位和分割，經過圖像編碼器，形成底 庫；簡單來說就是基于街景建立一個擁有圖片和文字信息對應的大模型。最后，面 向特定的場景（如快遞車、輪椅、小孩等），可以通過文本、圖像等形式進行搜索和 挖掘（類似向量數據庫）。進而對自動駕駛模型進行定制化的訓練，大幅提升存量數 據的利用效果。

自動標注：商湯毫末等玩家已經推動走向落地

商湯科技在大模型加持下，落地數據自動標注服務商湯明眸。公司多模態(tài)多任 務通用大模型書生 2.5 擁有強大的語義理解和圖像處理能力，在 ImageNet 分類任務 開源模型中 Top1 準確率能超過 90%?；诖斯鹃_發(fā)出商湯明眸自動標注服務，提 供結構化檢測等 12 個行業(yè)專用大模型，涵蓋超 1000 個不同的 2D、3D 目標類別， 大幅降低標注成本。

毫末智行開發(fā) DriveGPT，并釋放云端駕駛場景識別能力。毫末智行訓練了 DriveGPT 大模型雪湖·海若，用戶將駕駛場景上傳到云端平臺，平臺能夠快速將圖 片中所有車道線、交通參與者（行人、自動車等）標注出來，單幀圖像整體標注成 本降低至行業(yè)平均水平的十分之一。

2.2.2、 大模型推動算法迭代，感知規(guī)控全賦能

大模型在自動駕駛感知端算法的應用： 大模型作為車端算法的“老師”，通過“蒸餾（教授）”幫助小模型實現優(yōu)異的 性能。百度將文心大模型的能力與自動駕駛感知技術結合，提升車載端側模型的感 知能力。百度用半監(jiān)督方法通過用 2D 和 3D 數據訓練出一個感知大模型。其中“半 監(jiān)督”是指首先利用標注好 2D 和 3D 數據訓練一個感知大模型，再讓大模型為未標 注的 3D 數據進行標注，接著用這些數據再次訓練感知大模型，多次迭代后，大模型 的感知性能實現快速提升。應用這個大模型即可實現對視覺小模型、多模態(tài)模型感 知能力的加強。

（1）利用大模型賦能增強小模型遠距離 3D 視覺感知：一方面通過大模型對圖 像進行 3D 標注，投送給小模型學習。另一方面，在模型中編碼器輸出處、在 2D 和 3D 的頭等位置，進行大模型到小模型的蒸餾幫助提升小模型性能。最后全面提升了 小模型的 3D 感知效果。

（2）利用大模型賦能多模態(tài)感知：面向車載端融合視覺激光雷達數據的自動駕 駛算法，同樣使用偽標注（自動標注）、并在圖像端和點云端進行知識蒸餾等方式， 全面提升了多模態(tài)模型的感知效果，識別出了此前沒有識別出來的綠化帶等信息。

大模型在規(guī)控端應用：毫末智行發(fā)布行業(yè)首個 DriveGPT

毫末智行推出 DriveGPT，可實現城市輔助駕駛、場景脫困、駕駛策略可解釋等 功能。毫末智行在 2023 年 4 月的 AI DAY 上推出了業(yè)界首個 DriveGPT 大模型—— 雪湖·海若。模型訓練過程參考 GPT，首先構建 1200 億參數的大模型，預訓練環(huán)節(jié)， 將自動駕駛空間的信息如車道線、感知環(huán)境等離散化后作為 Token 輸入大模型，再 基于聯(lián)合概率分布生成未來 Token 序列，將 4000 萬公里中合適的數據放進大模型中。 即將外部環(huán)境作為預訓練數據輸入模型，訓練模型預測未來情景演化的能力。人類 反饋強化學習（RLHF）環(huán)節(jié)，選取 5 萬條人駕困難場景接管數據，輸入預訓練模型， 并將模型輸出的行為進行排序，進行強化訓練。同時在根據輸入端的提示語及毫末 自動駕駛場景庫的樣本訓練模型，讓模型學習推理關系。最終訓練好的模型，可將 完整的駕駛策略分拆為自動駕駛場景的動態(tài)識別過程，進而實現可理解、可解釋的 推理邏輯鏈條。毫末智行的 DriveGPT 大模型將實現城市 NOH、街景推薦、智能陪 練、場景脫困等功能，云端，大模型將開放接口提供包括智駕能力、駕駛場景識別 等能力。

2.2.3、 生成海量數據，大模型助力仿真平臺及端到端自動駕駛模型構建

大模型能夠生成海量可訓練數據，推動端到端自動駕駛模型落地。云驥智行認 為自動駕駛的終局會演進成為一個超大規(guī)模的端到端自動駕駛神經網絡：AD-GPT。而為了實現它，自動駕駛神經網絡、海量高價值數據、車端高算力平臺缺一不可。 這些在模塊化構建算法的時代難以實現，而當大模型誕生后，無論在車端一體化模 型的構建、還是端到端訓練仿真數據的生成似乎都觸手可及。究其本源，大模型本 質上是對輸入信息作出反應，而自動駕駛則是這類行為中的一個子集。

商湯：公司提到，可以用 AIGC 生成真實的交通場景以及困難樣本來訓練自動 駕駛系統(tǒng)，以多模態(tài)數據作為大模型的輸入，提升系統(tǒng)對 Corner Case 場景的感知能 力上限。同時自動駕駛多模態(tài)大模型可做到感知決策一體化集成，在輸出端通過環(huán) 境解碼器可對 3D 環(huán)境進行重建，實現環(huán)境可視化理解；行為解碼器可生成完整的路 徑規(guī)劃；動機解碼器可用自然語言對推理過程進行描述，使得自動駕駛系統(tǒng)變得更 加安全可靠可解釋。

3、 自動駕駛漸行漸近，行業(yè)玩家乘風起

3.1、 科技巨頭構筑自動駕駛行業(yè)“安卓”，技術鴻溝有望縮小

第三方玩家有望通過提供構建大模型的工具鏈，打造自動駕駛行業(yè)的“安卓系 統(tǒng)”，技術鴻溝有望縮小。特斯拉全棧自研的自動駕駛系統(tǒng)，包含算法、數據閉環(huán)系 統(tǒng)（自動標注、仿真、數據引擎）等，閉環(huán)的體系構成自動駕駛行業(yè)的“IOS”，海量的車隊數據形成數據壁壘，其他玩家難以復制。而大模型時代，諸多第三方科技 巨頭如微軟、英偉達、百度、商湯等加入自動駕駛行列，可通過提供強大的大模型 構建能力以及完善的工具鏈幫助整車廠構建自己的自動駕駛算法和數據閉環(huán)系統(tǒng)， 同時依靠大模型的數據生成能力彌補與頭部玩家在數據領域的差距，從而構建自動 駕駛領域的“安卓”，快速提升玩家自動駕駛能力。

科技巨頭摩拳擦掌，微軟、英偉達爭相布局，有望加速行業(yè)發(fā)展。我們已經看 到，巨頭如微軟、英偉達在自動駕駛領域以及大模型領域都進行了深度布局，有望 將二者結合幫助車企實現能力飛躍。 微軟：自動駕駛方面，微軟通過微軟云可提供覆蓋全球的云計算和邊緣計算能 力，借助云上的 PaaS 和 SaaS 軟件可賦能各類算法和應用開發(fā)。2021 年，微軟分別 投資通用旗下的自動駕駛子公司 Cruise 以及致力于構建端到端感知決策一體化算法 的自動駕駛創(chuàng)業(yè)公司 Wayve。微軟打造完整的自動駕駛開發(fā)支持解決方案，幫助開 發(fā)者將數據進行導入分析，對模型進行訓練仿真。微軟基于虛幻引擎開發(fā)的 AirSim 仿真平臺在無人機仿真領域扮演重要角色，該平臺也同時可實現對無人駕駛汽車的 仿真。大模型方面，微軟云推出了 Azure OpenAI 服務，企業(yè)可獲得對大模型（含 GPT、Codex、嵌入模型）的訪問權限并將其應用于新的場景如語言、代碼、邏輯、 推理、理解等，同時也允許客戶微調生成定制化的模型。而結合微軟的認知搜索， 可以進一拓寬大模型的應用領域和提升應用效果。微軟及 OpenAI 依托強有力的大模 型能力，未來或許能在自動駕駛算法、仿真領域擦出新的火花。

英偉達：自動駕駛方面，英偉達在自動駕駛領域布局已久，擁有從算法到底層 軟件中間件再到芯片的全棧解決方案。英偉達 DriveSim 仿真平臺基于虛幻引擎開發(fā)，能夠提供核心模擬和渲染引擎，生成逼真的數據流，創(chuàng)建各種測試環(huán)境，模擬暴雨 和暴雪等各種天氣條件，以及不同的路面和地形，還可以模擬白天不同時間的眩目 強光以及晚上有限的視野，達到“照片級逼真且物理精確”的傳感器仿真。DriveSim 還擁有完善的工具鏈支持，如神經重建引擎（NER）可以將真實世界的數據直接帶 入仿真中，開發(fā)者可在仿真環(huán)境中修改場景、添加合成對象，并應用隨機化技術， 大大增加真實感并加快生產速度。大模型方面，英偉達進一步強化“賣鏟人”地位， 幫助企業(yè)玩家構建自己的大模型產品。在 2023 年 GTC 大會上，英偉達推出 AI Foundations 云服務，用于幫助客戶構建生成式 AI 模型如大語言模型、生物學模型、 AI 生成式圖像模型等。而英偉達最新發(fā)布的兩篇文獻更展現了其在生成式 AI 及自 動駕駛領域的不懈探索，其中一篇推出了生成式視頻模型 VideoLDM，可生成最高 分辨率 2048*1280，24 幀，最長 4.7 秒的視頻，該模型擁有 41 億個參數，可實現文 本生成視頻等功能，在自動駕駛領域可生成駕駛場景視頻以實現對特定場景的模擬， 也可以從同一個起始幀生成多個不同的事件演進方向來訓練算法。而另一篇文獻則 推出了神經場擴散模型 NeuralField-LDM，用于復雜世界開放世界 3D 場景生成，在 現有數據集中實現了最強性能，為高效實現自動駕駛仿真助力。

3.2、 行業(yè)分工加速，成本下降可期

行業(yè)分工加速，自動駕駛算法體系成本或迎下降。隨著大模型逐步介入自動駕 駛，行業(yè)分工將進一步明確。第三方科技巨頭的加持下，整車廠無需大規(guī)模搭建龐 雜的算法、數據等整個閉環(huán)體系的團隊，即可擁有比肩全球一線水平的自動駕駛算 法模型體系。產業(yè)鏈分工合作，避免“重復造輪子”，自動駕駛的成本有望大幅降低， 滲透率將加速提升。同時，隨著更多自動駕駛車型上路，數據收集效率和效果也會 進一步提升，反過來推動行業(yè)進步。

傳感器和芯片加速迭代，自動駕駛系統(tǒng)整體成本亦有下降空間。大模型的推進 將加速芯片和傳感器迭代，傳感器方面，玩家有望能夠以類似特斯拉的形式構建自 動駕駛系統(tǒng)，進而降低成本。算力芯片方面，大模型將進一步推升對芯片算力的需 求。而我們看到在車載高算力芯片領域，無論英偉達、高通還是本土的地平線、黑 芝麻均明確艙駕融合的芯片是未來的發(fā)展方向。這樣的趨勢將顯著推動自動駕駛系 統(tǒng)降本，一方面，艙駕融合芯片通常會集成座艙、智駕甚至車身控制等域控制器功 能，大幅度縮減物料和線束成本；另一方面，AI 算力如果能在整車芯片層面“池化”， 在座艙、自動駕駛兩大功能之間靈活調用，亦將提升 AI 算力的利用率，車上“冗余” 的算力可大幅縮減。大模型驅使下，行業(yè)艙駕融合產品上車趨勢將加速，系統(tǒng)降本 緊隨其后，自動駕駛滲透率也獎隨之提升。

3.3、 大模型開發(fā)者、自動駕駛產業(yè)鏈玩家全面受益

3.3.1、 百度 Apollo：自動駕駛元老，文心大模型全面賦能

百度在自動駕駛領域的探索一馬當先，大模型方面，在谷歌推出 Bert 后即開始 投入研發(fā)，起步較早，因此對于大模型在自動駕駛領域的應用深有心得。最新的 Apollo Day 及文心一言發(fā)布會上，百度表示將在自動駕駛感知算法、圖文監(jiān)督預訓 練下的數據挖掘方案兩個方向推動大模型賦能自動駕駛，全面助力自動駕駛能力提 升。同時百度亦擁有 Apollo 開放平臺，對自動駕駛全流程開發(fā)體系擁有深厚積累， 并與諸多開發(fā)者形成緊密的互動，未來有望深度受益本輪技術變革。

3.3.2、 商湯科技：AI 算法領軍，布局大模型探索自動駕駛新機遇

商湯利用大模型對小模型進行知識蒸餾，同時通過自動化標注實現感知和決策 端的數據閉環(huán)。此外大模型也可以生成困難圖片，解碼 3D 環(huán)境、路徑規(guī)劃、駕駛動 機等使得駕駛行為可解釋。作為傳統(tǒng) AI 算法領域的領軍，公司在自動駕駛算法領域 發(fā)力，目前產品已經落地多款車型。未來有望持續(xù)受益大模型在自動駕駛的應用。

3.3.3、 地平線：智駕芯片新星，對算法的深入理解指引芯片架構迭代完美適配需求

公司作為本土智能駕駛芯片領軍，對算法及大模型理解深入，有望指引公司芯 片迭代以完美適應客戶需求。地平線認為算法終將走向端到端的形式，因此公司也 在構建下一代的面向 Transformer 的統(tǒng)一計算架構，而其下一代 BPU 納什架構將專 為大參數 Transformer 模型設計。地平線在 CVPR 中提出基于 Transformer 的端到端 的自動駕駛算法框架，該文章首次在檢測、跟蹤、預測、建圖、軌跡預測、端到端 完成自動駕駛的算法，這可以讓玩家用海量數據去訓練整個自動駕駛系統(tǒng)。地平線 認為未來需繼續(xù)用大數據和大模型無監(jiān)督的預訓練模型讓其學習人類駕駛的常識。 語言模型是給定一個文本去預測下一個詞的概率，同樣給定當前交通環(huán)境/導航地圖/ 駕駛員整個駕駛行為歷史，模型亦可從大規(guī)模的無監(jiān)督數據中學習，構建自回歸的 大語言模型預測下一個駕駛動作。

3.3.4、 產業(yè)鏈玩家：自動駕駛落地加速，產業(yè)鏈各大環(huán)節(jié)全面受益

隨著自動駕駛的全面加速，整個自動駕駛產業(yè)鏈包含域控制器、算法、傳感器 等環(huán)節(jié)亦將加速滲透。
責任編輯：彭菁