圖片來源：https://opendrivelab.com/challenge2023/

占用網(wǎng)絡(luò)挑戰(zhàn)賽前10名，第一名有15000美元的獎(jiǎng)金。第四名到第十名可算第三梯隊(duì)，差距很小。英偉達(dá)遙遙領(lǐng)先。韓國自動(dòng)駕駛初創(chuàng)公司42dot與小米可算第二梯隊(duì)。

比賽中使用的Occ數(shù)據(jù)集來自nuScenes，要求選手在僅使用圖像這個(gè)模態(tài)的情況下，對(duì)200x200x16的3D體素空間的占據(jù)情況進(jìn)行預(yù)測，其中評(píng)價(jià)指標(biāo)采用mIoU，并且將僅對(duì)圖像中的可視范圍中的預(yù)測結(jié)果進(jìn)行評(píng)估。在比賽中，一共有兩個(gè)Baseline可供選擇，一個(gè)是官方提供的基于BEVFormer框架的實(shí)現(xiàn)，另一個(gè)則是基于BEVDet框架實(shí)現(xiàn)的，也分別代表了在3D目標(biāo)檢測現(xiàn)在主流的兩個(gè)實(shí)現(xiàn)路線，LSS和Transformer。兩種Baseline都將原來輸入檢測頭的特征，從BEV空間拉伸成200x200x16的3D體素空間，然后接上一個(gè)簡單的語義分割頭，來對(duì)3D占據(jù)的結(jié)果進(jìn)行預(yù)測。

第一名英偉達(dá)的FB-OCC，其成功的關(guān)鍵還是大模型，英偉達(dá)使用了比較新的InterImage-H來作為他們的Backbone，而為了更好的應(yīng)用InterImage-H，作者還將其在原先在COCO的預(yù)訓(xùn)練基礎(chǔ)上，在object365上也進(jìn)行了預(yù)訓(xùn)練，使其更好的應(yīng)用在此任務(wù)上。InternImage-H參數(shù)多達(dá)10.8億個(gè)，當(dāng)然大模型也不是想用就能用，太大的模型容易出現(xiàn)過擬合，且消耗運(yùn)算和存儲(chǔ)資源也較多。

最新2D圖像骨干網(wǎng)對(duì)比

圖片來源：arxiv.org

上表中，特斯拉使用META的RegNet，參數(shù)為8400萬，消耗運(yùn)算資源很少，得分82.9也算不低，小米UniOcc使用META的ConvNeXt-B，參數(shù)8900萬，消耗運(yùn)算資源最少，得分83.8，華為RadOcc使用微軟的Swin-B，參數(shù)8800萬，相對(duì)ConvNeXt-B消耗運(yùn)算資源幾乎翻倍，得分83.5，略高。得分最高的是ConvNeXt-XL，高達(dá)87.8，參數(shù)3.5億個(gè)，消耗運(yùn)算資源是Swin-B的十倍還多。

第二名是42dot，一家韓國初創(chuàng)公司，成功的關(guān)鍵也是大模型，其2D Backbone用了InterImage-XL，有3.35億參數(shù)，3D Backbone用了微軟的Swin-V2-L，有30億參數(shù)，但提升不大。

重點(diǎn)來看第三名的小米汽車，論文題目為《UniOcc: Unifying Vision-Centric 3D Occupancy Prediction with Geometric and Semantic Rendering》，迄今為止在網(wǎng)上可以找到的小米汽車的三篇論文都是圍繞Occupancy來展開的，足見小米對(duì)Occupancy的重視程度。

UniOcc框架

圖片來源：《UniOcc: Unifying Vision-Centric 3D Occupancy Prediction with Geometric and Semantic Rendering》

小米和接下來要說到的華為都使用了比較新穎的知識(shí)蒸餾技術(shù)，即教師學(xué)生模型，這是一種半監(jiān)督深度學(xué)習(xí)方式，最早由谷歌提出，發(fā)布于2015年3月，論文為《Distilling the Knowledge in a Neural Network》。知識(shí)蒸餾技術(shù)是一種模型壓縮方法，是一種基于Teacher-Student模型的訓(xùn)練方法。知識(shí)蒸餾（Knowledge Distillation），顧名思義就是將一個(gè)復(fù)雜的大模型的“知識(shí)”，蒸餾到一個(gè)簡單的小模型中，比較類似于教師（大模型）向?qū)W生（小模型）傳授（蒸餾）知識(shí)。這樣做主要是因?yàn)榇竽Ｐ筒渴鹌饋沓杀倔@人，通常最低都是8張英偉達(dá)A100這樣的計(jì)算和存儲(chǔ)資源，成本最低也在5萬美元以上，在車上完全不可能部署大模型，必須采用蒸餾模式。在Teacher-Student模型中通常有兩個(gè)階段：

① 教師模型訓(xùn)練：首先訓(xùn)練一個(gè)較大或復(fù)雜的教師模型，它通常具有更多的參數(shù)和復(fù)雜性，并能夠在訓(xùn)練數(shù)據(jù)上表現(xiàn)得更好。

② 學(xué)生模型訓(xùn)練：接著，使用教師模型的輸出作為輔助目標(biāo)，指導(dǎo)較簡化的學(xué)生模型進(jìn)行訓(xùn)練。學(xué)生模型嘗試去模仿教師模型的預(yù)測結(jié)果，以此來學(xué)習(xí)教師模型的“知識(shí)”。在訓(xùn)練學(xué)生模型時(shí)，通常會(huì)利用教師模型的軟標(biāo)簽（soft labels）或教師模型的隱藏層表示（logits）作為額外的監(jiān)督信號(hào)，結(jié)合有標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練。這個(gè)過程中，學(xué)生模型的目標(biāo)是盡量擬合教師模型的預(yù)測結(jié)果，并同時(shí)擬合真實(shí)的標(biāo)簽信息。

有些外行把軟標(biāo)簽（標(biāo)注，標(biāo)記）說成是無標(biāo)簽，說什么自動(dòng)駕駛數(shù)據(jù)集完全不需要標(biāo)簽了，這當(dāng)然是大錯(cuò)特錯(cuò)，絕對(duì)的無標(biāo)簽無監(jiān)督深度學(xué)習(xí)永遠(yuǎn)不可能實(shí)現(xiàn)，頂多是半監(jiān)督，硬標(biāo)簽是1或者0，沒有中間狀態(tài)，軟標(biāo)簽則是連續(xù)分布的概率。軟標(biāo)簽可以用教師模型的SOFTMAX層輸出的類別概率做為軟標(biāo)簽，某種意義上這可算是自動(dòng)生成的標(biāo)簽，無需人工添加。教師模型還是需要標(biāo)簽數(shù)據(jù)，還是需要人工標(biāo)注。

小米的創(chuàng)新有三點(diǎn)，一是使用NeRF的體渲染(volume rendering)來統(tǒng)一2D和3D表示監(jiān)督的通用解決方案，二是通過知識(shí)蒸餾做深度預(yù)測訓(xùn)練，三是用低成本的體渲染監(jiān)督學(xué)習(xí)代替成本高昂稀缺的3D占用網(wǎng)絡(luò)語義標(biāo)簽監(jiān)督學(xué)習(xí)。

NeRF神經(jīng)輻射場，不同于傳統(tǒng)的三維重建方法把場景表示為點(diǎn)云、網(wǎng)格、體素等顯式的表達(dá)，它獨(dú)辟蹊徑，將場景建模成一個(gè)連續(xù)的5D輻射場隱式存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)中，只需輸入稀疏的多角度帶pose的圖像訓(xùn)練得到一個(gè)神經(jīng)輻射場模型，根據(jù)這個(gè)模型可以渲染出任意視角下的清晰的照片。通俗來講就是構(gòu)造一個(gè)隱式的渲染流程，其輸入是某個(gè)視角下發(fā)射的光線的位置o，方向d以及對(duì)應(yīng)的坐標(biāo)(x,y,z)，送入神經(jīng)輻射場Fθ得到體密度和顏色，最后再通過體渲染得到最終的圖像。顯式是離散的表達(dá)，不能精細(xì)化，導(dǎo)致重疊等偽影，耗費(fèi)內(nèi)存，限制了在高分辨率場景的應(yīng)用。隱式是連續(xù)的表達(dá)，能夠適用于大分辨率的場景，而且不需要3D信號(hào)進(jìn)行監(jiān)督。

NeRF需要兩個(gè)MLP，一個(gè)負(fù)責(zé) Coarse，一個(gè)負(fù)責(zé) Fine，因此計(jì)算量比較大，存儲(chǔ)資源要求也比較高。自動(dòng)駕駛領(lǐng)域使用NeRF還是相當(dāng)少見的，因?yàn)樗倪\(yùn)算和存儲(chǔ)資源了，同時(shí)自動(dòng)駕駛的視角有限，一般是5個(gè)視角，想做好NeRF相當(dāng)困難。

小米的知識(shí)蒸餾DTS框架

圖片來源：《UniOcc: Unifying Vision-Centric 3D Occupancy Prediction with Geometric and Semantic Rendering》

小米的知識(shí)蒸餾DTS框架，在訓(xùn)練中使用visible masks，使用更強(qiáng)的預(yù)先訓(xùn)練的骨干，增加體素分辨率，以及實(shí)現(xiàn)Test-Time Augmentation(TTA)。大部分人都是使用英偉達(dá)的LSS算法獲得深度，小米的DTS可謂獨(dú)樹一幟。

第四名來自上汽AI LAB，其整體框架設(shè)計(jì)采用BEVDet的設(shè)計(jì)思路，主要提出利用多尺度信息來進(jìn)行訓(xùn)練和預(yù)測以及一種解耦頭的預(yù)測方法。論文異常簡單，只有4頁。

上汽OCC架構(gòu)

圖片來源：上汽

最后來看華為的，華為由華為諾亞方舟實(shí)驗(yàn)室出面，諾亞方舟實(shí)驗(yàn)室是華為三級(jí)部門，隸屬于中央研究院。內(nèi)地主要分布在北京、深圳、上海、西安。下面又分成很多組，比如計(jì)算視覺、終端視覺、自動(dòng)駕駛、網(wǎng)絡(luò)大腦、NLP等等。主要的工作內(nèi)容就是科研和落地，主要做前沿研究，之所以取名諾亞方舟就是說當(dāng)華為出現(xiàn)大洪水那樣級(jí)別的災(zāi)難時(shí)，諾亞方舟實(shí)驗(yàn)室的成果足以讓華為走出困境。

最初華為諾亞方舟并未提供論文，直到2023年底才提供論文，論文題目《RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation》華為論文換了Occ3D的測試數(shù)據(jù)集，最好成績高達(dá)55.09，比第一名英偉達(dá)還高，當(dāng)然不是一個(gè)測試數(shù)據(jù)集，沒辦法直接對(duì)比，但華為應(yīng)該在挑戰(zhàn)賽后還是做了不少改進(jìn)的地方。

華為也是采用知識(shí)蒸餾的教師學(xué)生模式。

華為RadOcc架構(gòu)

圖片來源：《RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation》

華為RadOcc架構(gòu)，思路和小米基本一致，也用了NeRF。教師網(wǎng)絡(luò)是多模態(tài)模型，而學(xué)生網(wǎng)絡(luò)僅需要相機(jī)輸入，無需激光雷達(dá)。兩個(gè)網(wǎng)絡(luò)的預(yù)測將用于通過可微分體渲染(differentiable volume rendering)生成渲染深度和語義。

圖片來源：《RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation》

現(xiàn)有的方法如圖a的是將特征或 logits 進(jìn)行對(duì)齊。RadOcc的核心思想是對(duì)教師模型和學(xué)生模型生成的渲染結(jié)果進(jìn)行對(duì)齊，如圖(b)所示。使用相機(jī)的內(nèi)參和外參對(duì)體素特征進(jìn)行體渲染Volume Rendering，能夠從不同的視點(diǎn)獲得相應(yīng)的深度圖和語義圖。為了實(shí)現(xiàn)渲染輸出之間更好的對(duì)齊，引入了新穎的渲染深度一致性（RDC）和渲染語義一致性（RSC）損失。一方面，RDC 損失強(qiáng)制光線分布(ray distribution)的一致性，這使得學(xué)生模型能夠捕獲數(shù)據(jù)的底層結(jié)構(gòu)。另一方面，RSC損失利用了視覺基礎(chǔ)模型的優(yōu)勢(shì)，并利用預(yù)先提取的segment進(jìn)行affinity蒸餾。允許模型學(xué)習(xí)和比較不同圖像區(qū)域的語義表示，從而增強(qiáng)其捕獲細(xì)粒度細(xì)節(jié)的能力。

圖片來源：《RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation》

采用視覺基礎(chǔ)模型（VFM），即SAM，將segments提取到原始圖像中。對(duì)每個(gè)segment 中渲染的語義特征進(jìn)行segment聚合，獲得affinity matrix 。

自動(dòng)駕駛的理論基礎(chǔ)或者說骨干被META、谷歌、英偉達(dá)和微軟這些巨頭壟斷，自動(dòng)駕駛算法公司能做的就是應(yīng)用層的微調(diào)，大家的技術(shù)水平都差不多。另一方面理論基礎(chǔ)在沒有實(shí)現(xiàn)重大突破之前，自動(dòng)駕駛難有實(shí)質(zhì)性進(jìn)展。

審核編輯：劉清