大家好,今天要介紹的論文是來自多倫多大學(xué)和谷歌研究室的NeRF2NeRF:神經(jīng)輻射場的配對配準(zhǔn)。
摘要 我們介紹了一種神經(jīng)場成對配準(zhǔn)的技術(shù),它擴展了基于優(yōu)化的經(jīng)典局部配準(zhǔn)(即ICP)以操作神經(jīng)輻射場(NeRF)。
NeRF不分解光照和顏色,因此為了使配準(zhǔn)不受光照影響,我們引入了 "表面場 "的概念(Surface Field)--從預(yù)先訓(xùn)練的NeRF模型中提煉出來的場,用于測量一個點在物體表面的概率。
然后,我們將nerf2nerf配準(zhǔn)作為一個穩(wěn)健的優(yōu)化,迭代地尋求一個剛性的變換,使兩個場景的表面場對齊。
我們通過引入預(yù)訓(xùn)練的NeRF場景數(shù)據(jù)集來評估我們技術(shù)的有效性--我們的合成場景能夠進行定量評估并與經(jīng)典的配準(zhǔn)技術(shù)進行比較,而我們的真實場景則證明了我們的技術(shù)在真實世界場景中的正確性。
主要貢獻
提出了一種對包含同一物體的兩個場景的NeRFs進行配準(zhǔn)的方法。
引入表面場作為一個點在物體表面的概率進行配準(zhǔn)。
在幾個相應(yīng)的點上對準(zhǔn)初始化后,使用NeRF場進行高精度優(yōu)化。
主要方法: 使用NeRF進行定位主要存在以下問題:
由于色彩信息在不同場景中不一致導(dǎo)致照明和顏色不能分開。
由于物體內(nèi)部的密度場是有噪聲的,沒有對閉塞區(qū)的密度進行監(jiān)測的方法。
本文使用的方法是通過使用響應(yīng)對象表面的場的概率來保持一致性,用以配準(zhǔn)兩個不同神經(jīng)場下的場景。
表面場:表面場的主要作用是對渲染過程中透明度變化較大的區(qū)域做出反應(yīng),假設(shè)相機的位置在物體之外,搜索來自每個相機的射線,計算每個參考相機的 "短間隔內(nèi)的透明度變化",并使用最大值作為"表面場"。
最大值被用作表面場。
設(shè)計了一個目標(biāo)函數(shù),使兩個場景之間的坐標(biāo)變換[R,t]得到優(yōu)化,這里使用場景之間對應(yīng)點的表面場值的殘差:
用高斯分布對表面場進行卷積,并對其進行平滑處理。
主要結(jié)果?
審核編輯:劉清
-
卷積網(wǎng)絡(luò)
+關(guān)注
關(guān)注
0文章
43瀏覽量
2538
原文標(biāo)題:NeRF2NeRF:神經(jīng)輻射場的配對配準(zhǔn)
文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
航天宏圖全棧式3DGS實景三維重建系統(tǒng)解決方案

一種適用于動態(tài)環(huán)境的3DGS-SLAM系統(tǒng)

康謀方案 | 高精LiDAR+神經(jīng)渲染3DGS的完美融合實踐

三維高斯?jié)姙R大規(guī)模視覺SLAM系統(tǒng)解析

VirtualLab:準(zhǔn)直系統(tǒng)中鬼像效應(yīng)的研究
技術(shù)分享 |多模態(tài)自動駕駛混合渲染HRMAD:將NeRF和3DGS進行感知驗證和端到端AD測試

真雙極和準(zhǔn)雙極,差動跟偽差動使用的性能有差別嗎?
FRED應(yīng)用: LED混合準(zhǔn)直透鏡模擬
人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法

MG-SLAM:融合結(jié)構(gòu)化線特征優(yōu)化高斯SLAM算法

評論