1. 論文信息

代碼：https://github.com/opendrivelab/thinktwice

2. 引言

端到端自動(dòng)駕駛是一種基于傳感器觀測(cè)預(yù)測(cè)動(dòng)作的方法。與傳統(tǒng)的模塊化自動(dòng)駕駛框架不同，端到端方法展現(xiàn)出了巨大的潛力。在這種方法中，整個(gè)駕駛系統(tǒng)從感知到控制都是端到端學(xué)習(xí)的。系統(tǒng)的輸入是原始的傳感器數(shù)據(jù)，輸出是車輛的控制信號(hào)。這種方法在閉環(huán)評(píng)估中表現(xiàn)出了令人矚目的性能。

隨著深度學(xué)習(xí)的進(jìn)步，自動(dòng)駕駛引起了學(xué)術(shù)界和工業(yè)界的關(guān)注。端到端自動(dòng)駕駛旨在構(gòu)建一個(gè)完全可微分的學(xué)習(xí)系統(tǒng)，能夠直接將原始傳感器輸入映射到控制信號(hào)或未來(lái)的軌跡。由于其高效性和避免累積誤差的能力，近年來(lái)取得了令人矚目的進(jìn)展?，F(xiàn)有的工作都采用編碼器-解碼器范式。編碼器模塊從原始傳感器數(shù)據(jù)（相機(jī)，LiDAR，雷達(dá)等）中提取信息并生成表示特征。將該特征作為輸入，解碼器直接預(yù)測(cè)路徑點(diǎn)或控制信號(hào)。在這種范式下，編碼器沒(méi)有訪問(wèn)自我代理的預(yù)期行為，這使得從大量傳感器輸入的感知領(lǐng)域中找到安全關(guān)鍵區(qū)域并推斷未來(lái)情況的負(fù)擔(dān)落在解碼器身上。

為了解決這些問(wèn)題，該研究提出了兩個(gè)原則來(lái)設(shè)計(jì)新模型：充分利用編碼器的能力，擴(kuò)展解碼器的能力并進(jìn)行密集監(jiān)督。為了實(shí)現(xiàn)這兩個(gè)原則，研究人員提出了級(jí)聯(lián)解碼器范式，以粗到細(xì)的方式預(yù)測(cè)自我車輛的未來(lái)動(dòng)作。具體來(lái)說(shuō)，他們首先采用類似于傳統(tǒng)方法的MLP來(lái)生成粗略的未來(lái)軌跡和動(dòng)作。然后從編碼器中檢索預(yù)測(cè)未來(lái)位置周圍的特征，并將其進(jìn)一步輸入到多個(gè)卷積層中以獲取與目標(biāo)相關(guān)的場(chǎng)景特征。接下來(lái)，他們?cè)O(shè)計(jì)了一個(gè)預(yù)測(cè)模塊，以當(dāng)前場(chǎng)景的特征和粗略動(dòng)作為輸入，并生成未來(lái)場(chǎng)景表示特征。最后，他們預(yù)測(cè)粗略預(yù)測(cè)和地面真實(shí)軌跡之間的偏移量以進(jìn)行細(xì)化。該過(guò)程可以級(jí)聯(lián)堆疊，以增加解碼器對(duì)條件未來(lái)的時(shí)空先驗(yàn)知識(shí)的容量。該研究在CARLA自動(dòng)駕駛基準(zhǔn)測(cè)試中進(jìn)行了實(shí)驗(yàn)，并取得了最先進(jìn)的性能。他們還進(jìn)行了廣泛的消融研究，以證明所提出方法的有效性?？傊?，該研究有三個(gè)貢獻(xiàn)：首先，提出了一種可擴(kuò)展的端到端自動(dòng)駕駛解碼器范式，強(qiáng)調(diào)擴(kuò)展解碼器容量在這一領(lǐng)域的重要性。其次，他們?cè)O(shè)計(jì)了一個(gè)解碼器模塊來(lái)查找安全關(guān)鍵區(qū)域，并預(yù)測(cè)在預(yù)測(cè)的動(dòng)作/軌跡條件下的未來(lái)場(chǎng)景，為訓(xùn)練過(guò)程注入了時(shí)空先驗(yàn)知識(shí)和密集監(jiān)督。最后，他們?cè)趦蓚€(gè)競(jìng)爭(zhēng)基準(zhǔn)測(cè)試中展示了最先進(jìn)的性能，并進(jìn)行了廣泛的消融研究，以驗(yàn)證所提出的模塊的有效性。他們相信，在端到端自動(dòng)駕駛中，解碼器（決策部分）與編碼器（感知部分）同等重要。他們希望他們的探索能夠激發(fā)社區(qū)在這一領(lǐng)域的進(jìn)一步努力。

3. 方法

本文提出了一種可擴(kuò)展的解碼器范式，稱為ThinkTwice，用于端到端自動(dòng)駕駛。作者使用模仿學(xué)習(xí)框架收集駕駛?cè)罩?，這是一系列車輛狀態(tài)和傳感器數(shù)據(jù)。他們使用4個(gè)攝像頭（前置、左側(cè)、右側(cè)、后置）、一個(gè)激光雷達(dá)、IMU、GPS和車速表在城鎮(zhèn)01、城鎮(zhèn)03、城鎮(zhèn)04和城鎮(zhèn)06上以2 Hz的速度收集數(shù)據(jù)。他們總共收集了189K幀用于進(jìn)行大部分實(shí)驗(yàn)和消融研究。作者使用ResNet-18架構(gòu)提取圖像特征，使用PointNet++架構(gòu)提取LiDAR特征。然后，他們將圖像特征投影和對(duì)齊到BEV上的LiDAR特征。

3.1. BEV Encoder

本文考慮了在自動(dòng)駕駛中常用的兩種傳感器：攝像頭和激光雷達(dá)。為了融合它們的信息，首先將原始傳感器數(shù)據(jù)分別轉(zhuǎn)換為俯視圖（BEV）特征，然后直接連接BEV特征，因?yàn)樗鼈円呀?jīng)在空間上對(duì)齊。對(duì)于來(lái)自多個(gè)視角的相機(jī)輸入 - RGB圖像，首先在每個(gè)圖像上使用圖像骨干網(wǎng)絡(luò)（例如ResNet）獲得其緊湊的特征圖。為了將2D圖像轉(zhuǎn)換為BEV空間，采用了LSS ：首先預(yù)測(cè)每個(gè)像素的離散深度分布，并將每個(gè)像素沿著相機(jī)光線分散成離散點(diǎn)，在該點(diǎn)處的特征是其預(yù)測(cè)深度和相應(yīng)像素特征的乘積。對(duì)于BEV中的每個(gè)網(wǎng)格，通過(guò)截錐體池化從該網(wǎng)格內(nèi)的那些點(diǎn)聚合特征。通過(guò)這種方式，作者可以將任意數(shù)量的相機(jī)圖像聚合到一個(gè)C×BH×BW特征圖中，其中C是隱藏的維度，BH和BW是BEV網(wǎng)格的高度和寬度。此外，為了引入時(shí)間線索，作者通過(guò)將歷史圖像的先前BEV轉(zhuǎn)換為當(dāng)前自我中心坐標(biāo)系來(lái)聚合先前BEV。因此，先前和當(dāng)前的特征圖被空間對(duì)齊，作者可以簡(jiǎn)單地將它們連接起來(lái)得到最終的BEV特征。另外，作者發(fā)現(xiàn)

深度預(yù)測(cè)模塊的真實(shí)監(jiān)督對(duì)于圖像的分散非常重要，這與物體檢測(cè)領(lǐng)域的發(fā)現(xiàn)一致。

分散圖像特征時(shí)，有益于添加一個(gè)語(yǔ)義分割模塊并分散預(yù)測(cè)的語(yǔ)義分?jǐn)?shù)。作者推測(cè)，它通過(guò)過(guò)濾掉不相關(guān)的紋理信息來(lái)增加了端到端模型的泛化能力。對(duì)于LiDAR輸入 - 點(diǎn)云，作者采用了流行的SECOND ，它在體素化的點(diǎn)云上應(yīng)用了稀疏的3D卷積，最終輸出也是一個(gè)C×BH×BW的BEV特征圖。

為了利用時(shí)間信息，類似于物體檢測(cè)領(lǐng)域的現(xiàn)有作品，作者將來(lái)自多幀的對(duì)齊點(diǎn)云簡(jiǎn)單地串聯(lián)起來(lái)，并添加一個(gè)通道來(lái)指示時(shí)間步長(zhǎng)。在融合兩個(gè)BEV特征圖時(shí)，作者只是將它們簡(jiǎn)單地串聯(lián)起來(lái)，并通過(guò)一系列2D卷積層進(jìn)行處理。由于行動(dòng)是端到端自動(dòng)駕駛中唯一的直接監(jiān)督，對(duì)于高維多傳感器輸入來(lái)說(shuō)太稀疏了，因此作者為BEV特征圖提供額外的特征級(jí)監(jiān)督。具體來(lái)說(shuō)，作者使用Roach [87]中間的BEV特征圖作為目標(biāo)，使用基于RL的帶特權(quán)輸入的教師網(wǎng)絡(luò)，將柵格化的BEV周圍環(huán)境作為特權(quán)輸入，并通過(guò)幾個(gè)卷積層實(shí)現(xiàn)了不錯(cuò)的性能。請(qǐng)注意，任何具有BEV特征表示的可學(xué)習(xí)專家模型都可以在此處采用，作者之所以采用Roach是由于其通過(guò)RL訓(xùn)練獲得的健壯性。通過(guò)讓學(xué)生網(wǎng)絡(luò)（即ThinkTwice的編碼器）的中間BEV特征圖與教師網(wǎng)絡(luò)的類似，每個(gè)BEV網(wǎng)格都獲得了關(guān)于決策相關(guān)信息的密集監(jiān)督。在實(shí)驗(yàn)部分，作者經(jīng)驗(yàn)證明，這種監(jiān)督是必要的，并且比先前SOTA作品中常用的BEV分割監(jiān)督信號(hào)更好。因此，本文提出的方法將BEV特征圖與額外的監(jiān)督結(jié)合起來(lái)，以獲得更好的性能。

3.2. Decoder

Decoder模塊包括三個(gè)子模塊：Look Module、Prediction Module和Refinement Module。其中，Look Module模塊用于將人類駕駛員的先驗(yàn)知識(shí)（目標(biāo)位置）注入到模型中，提高模型的泛化能力；Prediction Module模塊用于預(yù)測(cè)場(chǎng)景的未來(lái)發(fā)展，以及提供監(jiān)督信號(hào)；Refinement Module模塊用于通過(guò)對(duì)預(yù)測(cè)結(jié)果的微調(diào)來(lái)提高預(yù)測(cè)精度。這三個(gè)子模塊分別對(duì)應(yīng)于解碼器中的三個(gè)階段：粗略預(yù)測(cè)、注入先驗(yàn)知識(shí)、微調(diào)預(yù)測(cè)結(jié)果。通過(guò)將這三個(gè)子模塊結(jié)合起來(lái)，能夠獲得更準(zhǔn)確的自動(dòng)駕駛預(yù)測(cè)結(jié)果。具體來(lái)說(shuō)：

Look Module是解碼器中的第一個(gè)子模塊，其主要作用是將駕駛員的先驗(yàn)知識(shí)注入到模型中。在實(shí)際駕駛中，駕駛員會(huì)查看目標(biāo)位置，以確保沒(méi)有與其他車輛的碰撞和違反交通規(guī)則等風(fēng)險(xiǎn)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，Look Module通過(guò)引入預(yù)測(cè)軌跡，將模型的關(guān)注點(diǎn)引導(dǎo)到了預(yù)測(cè)軌跡所在的區(qū)域。對(duì)于攝像頭數(shù)據(jù)，Look Module使用多尺度變形注意力來(lái)聚合信息；對(duì)于激光雷達(dá)數(shù)據(jù)，Look Module直接檢索目標(biāo)軌跡周圍的點(diǎn)云，并通過(guò)MLP網(wǎng)絡(luò)來(lái)獲得特征表示。最后將兩者特征拼接起來(lái)，得到Look Feature，用于后續(xù)的預(yù)測(cè)過(guò)程。

Prediction Module是解碼器中的第二個(gè)子模塊，其主要作用是預(yù)測(cè)場(chǎng)景的未來(lái)發(fā)展，并提供監(jiān)督信號(hào)。在實(shí)際駕駛中，駕駛員會(huì)預(yù)測(cè)周圍車輛和行人的行為，以及他們對(duì)自己的駕駛決策作出的響應(yīng)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，Prediction Module使用空間GRU（Spatial-GRU）對(duì)當(dāng)前的BEV特征進(jìn)行建模，以及獲得當(dāng)前時(shí)刻的預(yù)測(cè)動(dòng)作和軌跡。同時(shí)，Prediction Module通過(guò)引入Ground-Truth數(shù)據(jù)，將監(jiān)督信號(hào)注入到模型中。具體而言，Prediction Module使用“Teacher Forcing”技術(shù)，將Ground-Truth的動(dòng)作和軌跡作為額外的輸入提供給模型，以便在訓(xùn)練過(guò)程中獲得準(zhǔn)確的監(jiān)督信號(hào)。

Refinement Module是解碼器中的第三個(gè)子模塊，其主要作用是通過(guò)微調(diào)預(yù)測(cè)結(jié)果來(lái)提高預(yù)測(cè)精度。在實(shí)際駕駛中，駕駛員會(huì)根據(jù)周圍的車輛和行人的行為作出相應(yīng)的駕駛決策，并在行駛過(guò)程中不斷微調(diào)自己的決策，以適應(yīng)復(fù)雜的交通環(huán)境。為了實(shí)現(xiàn)這個(gè)目標(biāo)，Refinement Module引入了Look Feature和Prediction Feature，以及當(dāng)前時(shí)刻的預(yù)測(cè)動(dòng)作和軌跡，通過(guò)MLP網(wǎng)絡(luò)對(duì)預(yù)測(cè)結(jié)果進(jìn)行微調(diào)，得到更加精確的預(yù)測(cè)結(jié)果。同時(shí)，Refinement Module使用Ground-Truth數(shù)據(jù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行監(jiān)督，以便在訓(xùn)練過(guò)程中獲得準(zhǔn)確的監(jiān)督信號(hào)。最終，通過(guò)不斷的微調(diào)，預(yù)測(cè)結(jié)果的準(zhǔn)確度得到了提高。

因此，這三個(gè)子模塊共同構(gòu)成了解碼器模塊，通過(guò)引入駕駛員的先驗(yàn)知識(shí)、預(yù)測(cè)場(chǎng)景的未來(lái)發(fā)展，并通過(guò)微調(diào)預(yù)測(cè)結(jié)果來(lái)提高預(yù)測(cè)精度，實(shí)現(xiàn)了更加準(zhǔn)確的自動(dòng)駕駛預(yù)測(cè)。

4. 實(shí)驗(yàn)

該論文的作者使用了一個(gè)名為ThinkTwice的模仿學(xué)習(xí)框架來(lái)收集駕駛記錄，這是車輛狀態(tài)和傳感器數(shù)據(jù)的序列。他們使用了4個(gè)相機(jī)（前、左、右、后）、一個(gè)激光雷達(dá)、IMU、GPS和速度計(jì)，在town01、town03、town04和town06上以2 Hz的速度收集數(shù)據(jù)。他們總共收集了189K幀以進(jìn)行大多數(shù)實(shí)驗(yàn)和消融研究。如表格所示，不同模型在Town05 Long基準(zhǔn)測(cè)試中的表現(xiàn)。該表格包括各種列，如Modality、Extra Supervision、Expert、Seg and Depth和Box。Modality列表示使用的傳感器類型，其中C表示相機(jī)傳感器，L表示激光雷達(dá)傳感器。Extra Supervision列指訓(xùn)練學(xué)生模型所需的額外標(biāo)簽，除了自我車輛的行動(dòng)和狀態(tài)。Expert列表示來(lái)自特權(quán)代理輸出或特征的蒸餾。Seg和Depth列表示2D圖像的深度和語(yǔ)義分割標(biāo)簽。Box列表示周圍代理的邊界框。結(jié)果表明，顯式使用深度和分割預(yù)測(cè)來(lái)自圖像特征到BEV特征的投影過(guò)程（Model3）和使用兩幀作為輸入而不是一幀（Model4）的模型表現(xiàn)出了比其他模型更好的性能。然而，盡管引入了運(yùn)動(dòng)線索，Model4的改進(jìn)只是微小的。總的來(lái)說(shuō)，該表格提供了不同模型在Town05 Long基準(zhǔn)測(cè)試中的表現(xiàn)比較，各個(gè)列指示了使用的傳感器類型、訓(xùn)練所需的額外標(biāo)簽以及其他影響模型表現(xiàn)的因素。

本文在兩個(gè)閉環(huán)評(píng)估基準(zhǔn)測(cè)試中與現(xiàn)有的最先進(jìn)方法進(jìn)行了比較。在Town5Long基準(zhǔn)測(cè)試中，ThinkTwice在兩個(gè)協(xié)議下均取得了最佳的DS得分，而Roach和MILE可以運(yùn)行較長(zhǎng)時(shí)間（最高RC），但發(fā)生的碰撞或違反交通規(guī)則更多。另一方面，Transfuser的運(yùn)行最安全（最高IS），但過(guò)于謹(jǐn)慎而無(wú)法完成路線。至于Longest6基準(zhǔn)測(cè)試，Transfuser可以獲得非常高的路線完成得分，但我們的方法獲得了最佳的DS和IS得分，這表明我們的方法駕駛過(guò)程更加安全。

在編碼器方面，作者通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，單純采用幾何融合技術(shù)而沒(méi)有相關(guān)監(jiān)督會(huì)導(dǎo)致性能下降；加入深度和語(yǔ)義分割任務(wù)的模型略有提升，這可能是這兩個(gè)輔助任務(wù)對(duì)圖像特征的正則化效果；顯式地在投影過(guò)程中使用深度和分割預(yù)測(cè)可以顯著提高性能，這表明監(jiān)督幾何投影的重要性；使用兩幀作為輸入而不是一幀的模型性能提升不大，這可能與慣性/模仿問(wèn)題相關(guān)；在解碼器方面，作者通過(guò)組件分析發(fā)現(xiàn)，加入一個(gè)額外的解碼器層可以提高性能，而使用5個(gè)提出的解碼器層可以顯著提高性能，并證明了提出的解碼器范式的有效性和其強(qiáng)大的可擴(kuò)展性。最終，作者采用Model6作為ThinkTwice的最終模型，并通過(guò)消融實(shí)驗(yàn)驗(yàn)證了其解碼器設(shè)計(jì)的有效性，特別是通過(guò)密集監(jiān)督的堆疊解碼器層可以得到SOTA的性能。總的來(lái)說(shuō)，本文的實(shí)驗(yàn)結(jié)果證實(shí)了作者提出的思路和方法，在編碼器和解碼器中注入先驗(yàn)知識(shí)是非常重要的。

5. 討論

image-20230527130912709

在這篇論文中，作者提出了幾項(xiàng)未來(lái)的工作，包括研究所提出的方法在其他自動(dòng)駕駛?cè)蝿?wù)中的有效性，探索使用無(wú)監(jiān)督或半監(jiān)督學(xué)習(xí)減少所需訓(xùn)練數(shù)據(jù)量的可能性，并分析所提出方法的計(jì)算復(fù)雜度。他們還建議研究將其他傳感器模式（如雷達(dá)和音頻傳感器）納入到所提出方法中，以提高其性能的可能性。

本文旨在探討增加端到端自動(dòng)駕駛模型容量的不同方法，并在公平的環(huán)境中進(jìn)行比較。作者嘗試了多種方法，包括增加編碼器的大小以及MLP/GRU解碼器的寬度和深度等。結(jié)果顯示，簡(jiǎn)單地增加編碼器或解碼器的深度/寬度不會(huì)帶來(lái)性能提升。相反，ThinkTwice以密集的監(jiān)督和時(shí)空知識(shí)以粗到細(xì)的方式增加解碼器的容量，注入了強(qiáng)大的先驗(yàn)知識(shí)，并因此帶來(lái)了更好的性能。

本文也討論了在部署自動(dòng)駕駛模型時(shí)需要考慮計(jì)算需求和內(nèi)存占用的重要性，因?yàn)檫@些模型通常在計(jì)算能力和內(nèi)存有限的邊緣設(shè)備上運(yùn)行。作者運(yùn)行了一些現(xiàn)有模型的官方代碼來(lái)估計(jì)它們的計(jì)算需求和內(nèi)存占用，并列出了結(jié)果。其中，ThinkTwice模型由于采用了BEV中的幾何融合技術(shù)，需要大量的MAC和GPU內(nèi)存，但也因此在聯(lián)合感知規(guī)劃和傳感器融合方面具有優(yōu)勢(shì)。作者指出，學(xué)習(xí)BEV表示是當(dāng)前工業(yè)和學(xué)術(shù)界的熱點(diǎn)問(wèn)題，為了降低BEV模型的計(jì)算負(fù)擔(dān)，一些更高效的實(shí)現(xiàn)方法已經(jīng)被提出。同時(shí)，工業(yè)界也在積極探索專門設(shè)計(jì)的邊緣設(shè)備和芯片。

6. 結(jié)論

本文提出了一種可擴(kuò)展的解碼器范式，稱為ThinkTwice，用于端到端自動(dòng)駕駛。該范式強(qiáng)調(diào)通過(guò)提出具有密集監(jiān)督和空間-時(shí)間先驗(yàn)的可擴(kuò)展解碼器層來(lái)擴(kuò)大解碼器的容量。作者在兩個(gè)競(jìng)爭(zhēng)性的閉環(huán)自動(dòng)駕駛基準(zhǔn)測(cè)試上實(shí)現(xiàn)了最先進(jìn)的性能。本研究為社區(qū)中的這一研究領(lǐng)域提供了有用的信息。
責(zé)任編輯：彭菁