0. 這篇文章干了啥？

目前大多數(shù)NeRF研究集中在圖像的新視角合成上，而激光雷達(dá)則很少被探索。由于激光雷達(dá)點云的稀疏性、不連續(xù)性和遮擋性，動態(tài)場景同時結(jié)合了新的空間視角和時間視角合成，重建面臨著相當(dāng)大的挑戰(zhàn)。與此同時，動態(tài)物體的大幅運動使得對齊和重建變得困難。傳統(tǒng)的基于激光雷達(dá)的三維場景重建技術(shù)直接在世界坐標(biāo)系中聚合多個稀疏點云幀，并將它們進(jìn)一步轉(zhuǎn)換為三角形網(wǎng)格等顯式表面表示。隨后，通過執(zhí)行光線投射計算激光雷達(dá)束與網(wǎng)格表面的交點，從而渲染新視角的激光雷達(dá)點云。然而，對于復(fù)雜的大規(guī)模場景，高質(zhì)量的表面重建是具有挑戰(zhàn)性的，這可能導(dǎo)致重要的幾何誤差。此外，上述的顯式重建方法局限于靜態(tài)場景，并且難以準(zhǔn)確地模擬實際激光雷達(dá)點的強度或光線掉落特性。

NeRF-LiDAR將圖像和點云模態(tài)整合到激光雷達(dá)合成中，而諸如LiDAR-NeRF和NFL之類的僅激光雷達(dá)的方法探索了在沒有RGB圖像的情況下進(jìn)行激光雷達(dá)重建和生成的可能性。大多數(shù)先前的方法直接將圖像NVS流程應(yīng)用于激光雷達(dá)點云。然而，激光雷達(dá)點云與2D圖像本質(zhì)上是不同的，這對當(dāng)前的激光雷達(dá)NVS方法提出了挑戰(zhàn)，以實現(xiàn)高質(zhì)量的重建：

（1）先前的方法局限于靜態(tài)場景，忽視了自動駕駛場景的動態(tài)性；

（2）激光雷達(dá)點云的龐大規(guī)模和高稀疏性對表示提出了更高的要求；

（3）需要進(jìn)行強度和光線掉落特性建模以實現(xiàn)合成的真實感。

為了克服上述限制，這篇文章提出了LiDAR4D，揭示了提升當(dāng)前激光雷達(dá)NVS流程的三個關(guān)鍵見解。為了解決動態(tài)物體，引入了從點云導(dǎo)出的幾何約束，并聚合多幀動態(tài)特征以實現(xiàn)時間一致性。關(guān)于緊湊的大規(guī)模場景重建，設(shè)計了一個粗到細(xì)的混合表示，結(jié)合了多平面和網(wǎng)格特征，以重建平滑的幾何和高頻率的強度。此外，采用全局優(yōu)化來保持區(qū)域間的模式以進(jìn)行光線掉落概率的細(xì)化。因此，LiDAR4D能夠在大規(guī)模動態(tài)場景下實現(xiàn)幾何感知和時間一致的重建。

下面一起來閱讀一下這項工作~

1. 論文信息

標(biāo)題：LiDAR4D: Dynamic Neural Fields for Novel Space-time View LiDAR Synthesis

作者：Zehan Zheng, Fan Lu, Weiyi Xue, Guang Chen, Changjun Jiang

機構(gòu)：同濟大學(xué)

原文鏈接：https://arxiv.org/abs/2404.02742

代碼鏈接：https://github.com/ispc-lab/LiDAR4D

2. 摘要

盡管神經(jīng)輻射場（NeRFs）在圖像新視角合成（NVS）方面取得了勝利，但LiDAR NVS仍然很大程度上未被探索。之前的LiDAR NVS方法采用了一種簡單的從圖像NVS方法到LiDAR的轉(zhuǎn)換，同時忽略了LiDAR點云的動態(tài)特性和大規(guī)模重建問題?；诖?，我們提出了LiDAR4D，一個用于新穎時空LiDAR視角合成的可微分LiDAR-only框架?？紤]到稀疏性和大規(guī)模特性，我們設(shè)計了一個4D混合表示，結(jié)合多平面和網(wǎng)格特征，以粗到精的方式實現(xiàn)有效的重建。此外，我們引入了從點云中導(dǎo)出的幾何約束以提高時間一致性。為了實現(xiàn)LiDAR點云的逼真合成，我們將射線丟失概率的全局優(yōu)化納入其中，以保留跨區(qū)域模式。對KITTI-360和NuScenes數(shù)據(jù)集的大量實驗證明了我們的方法在完成幾何感知和時間一致的動態(tài)重建方面的優(yōu)越性。

3. 效果展示

自動駕駛中LiDAR點云的動態(tài)場景。 大規(guī)模的車輛運動對動態(tài)重構(gòu)和新穎的時空視圖合成提出了重大挑戰(zhàn)，白點表示自車的軌跡。

KITTI - 360數(shù)據(jù)集上定性新視角LiDAR點云合成結(jié)果。 LiDAR - NeRF無法重建動態(tài)車輛。相比之下，LiDAR4D為移動的汽車生成更精確的幾何形狀，即使在較遠(yuǎn)的稀疏點云中也是如此。

LiDAR深度重建與合成的定性比較。

4. 主要貢獻(xiàn)

（1）提出了LiDAR4D，一個用于新穎時空激光雷達(dá)視角合成的可微激光雷達(dá)框架，它可以重建動態(tài)駕駛場景并端到端生成逼真的激光雷達(dá)點云。

（2）引入了從點云導(dǎo)出的4D混合神經(jīng)表示和運動先驗，以實現(xiàn)幾何感知和時間一致的大規(guī)模場景重建。

（3）全面的實驗證明了LiDAR4D在具有挑戰(zhàn)性的動態(tài)場景重建和新視角合成方面的最先進(jìn)性能。

5. 基本原理是啥？

LiDAR4D概述。 針對大規(guī)模自動駕駛場景，利用4D混合表示，將低分辨率的多平面特征和高分辨率的哈希網(wǎng)格特征相結(jié)合，實現(xiàn)了有效的重建。然后，通過flow MLP聚合的多級時空特征被輸入到神經(jīng)激光雷達(dá)場中進(jìn)行密度、強度和射線掉落概率的預(yù)測。最后，通過可微分渲染合成新的時空視圖LiDAR點云。進(jìn)一步地，構(gòu)造了由點云導(dǎo)出的幾何約束以保證時間一致性，并構(gòu)造了用于生成真實感的光線下降全局優(yōu)化。

平面-網(wǎng)格混合表示的4D分解，利用流MLP可以進(jìn)一步聚合動態(tài)特征。

6. 實驗結(jié)果

作者在KITTI-360和NuScenes自動駕駛數(shù)據(jù)集的多樣化動態(tài)場景上評估了LiDAR4D。通過全面的實驗，LiDAR4D顯著優(yōu)于先前最先進(jìn)的基于NeRF的隱式方法和顯式重建方法。與LiDAR-NeRF相比，在KITTI-360數(shù)據(jù)集和NuScenes數(shù)據(jù)集上分別實現(xiàn)了24.3%和24.2%的CD誤差降低。在距離深度和強度的其他度量方面也存在類似的領(lǐng)先優(yōu)勢。

?

?

7. 限制性 & 總結(jié)

盡管 LiDAR4D 在大量實驗中表現(xiàn)出色，但點云的遠(yuǎn)距離車輛運動和遮擋問題仍然是開放性問題。與靜態(tài)對象相比，動態(tài)對象的重建仍存在顯著差距。此外，前景和背景可能難以分離。此外，基于真實世界數(shù)據(jù)集，NVS 的定量評估僅限于自車軌跡，并且不允許對新穎的空間和時間視圖合成進(jìn)行解耦。

總體來說，這篇文章重新審視了現(xiàn)有 LiDAR NVS 方法的局限性，并提出了一個新的框架來解決三個主要挑戰(zhàn)，即動態(tài)重建、大規(guī)模場景表征和逼真合成。LiDAR4D 在大量實驗中證明了其優(yōu)越性，實現(xiàn)了對大規(guī)模動態(tài)點云場景的幾何感知和時間一致重建，并生成了更接近真實分布的新穎時空視圖 LiDAR 點云。作者認(rèn)為，未來更多的工作將集中于將 LiDAR 點云與神經(jīng)輻射場相結(jié)合，并探索動態(tài)場景重建和合成的更多可能性。

對更多實驗結(jié)果和文章細(xì)節(jié)感興趣的讀者，可以閱讀一下論文原文~

審核編輯：黃飛