99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

點云配準任務中的點特征與一般點特征的區(qū)別在哪里?

3D視覺工坊 ? 來源:3D視覺工坊 ? 作者:3D視覺工坊 ? 2022-12-13 14:27 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

0.筆者個人體會:這個工作來自于華中科技大學,發(fā)表于ICCV 2021。這個工作聚焦于點云的點特征表示學習,但是,與一般的點特征學習方法并不一樣。我們知道,基于深度學習的三維點云處理已經(jīng)在近年來得到了廣發(fā)關(guān)注,從先驅(qū)性的工作例如PointNet到近期的Point Transformer等。這些工作都能有效的學習點特征表示。但是,這些方法學習點特征都是基于輸入的某一個點云而言的,所有的操作也都集中在一個點云上,并且追求特征的描述性,力求能準確表示三維點云的局部幾何結(jié)構(gòu)。但是,這篇論文針對點云配準工作提出了另一種點云設(shè)計方式。我們知道配準的目的是求解輸入的點云對之間的相對變換以使它們最好的對齊,在這個過程中,聚焦于用學到的點特征表示構(gòu)造可靠的匹配對。為此,對于點特征的魯棒性需求也很重要。為了實現(xiàn)這個目的,本工作提出從輸入的兩個點云出發(fā),利用這兩個點云之間的交互進一步調(diào)整點特征學習,使得到的點特征表示源于同時感知到當前點云和另一個需要配對的點云,從而追求正確的匹配點的可匹配性的提升。也就是說這是一個針對特定任務而設(shè)計的點特征學習方法,或許此方法學到的點特征難以應用到其他任務,例如分類、分割等,但對于匹配、配準而言應該更加適用。1、論文相關(guān)內(nèi)容介紹:論文標題:? ?Feature Interactive Representation for Point Cloud Registration作者列表:? ? ?Bingli Wu, Jie Ma, Gaojie Chen, Pei An摘要:點云配準是使用兩個點云中的共同結(jié)構(gòu)將它們拼接在一起。為了找出這些共同的結(jié)構(gòu)并使這些結(jié)構(gòu)更準確地匹配,源點云和目標點云的交互信息是必不可少的。然而,當前對顯式建模這種特征交互的關(guān)注有限。為此,我們提出了一個特征交互表示學習網(wǎng)絡(luò),它可以從不同層次探索源點云和目標點云之間的特征交互。具體來說,我們首先介紹了一種基于點云內(nèi)特征交互的組合特征編碼器(CFE)。CFE提取每個點云內(nèi)的交互特征并將它們組合起來以增強網(wǎng)絡(luò)描述局部幾何結(jié)構(gòu)的能力。然后,我們提出了一種點云間的特征交互機制,它包括一個局部交互單元(LIU)和一個全局交互單元(GIU)。前者用于跨兩個點云的點對之間的信息交互,從而使一個點云中的點特征與另一個點云中的相似點特征能夠相互感知。后者用于根據(jù)兩個點云的全局交互信息調(diào)整每個點特征,因此一個點云具有對另一個點云的全局感知。對部分重疊點云配準的大量實驗表明,我們的方法實現(xiàn)了最先進的性能。主要貢獻:1)我們提出了一種組合特征編碼器來提取局部區(qū)域的交互特征,其通過結(jié)合不同層的特征,增強網(wǎng)絡(luò)提取局部幾何和語義信息的能力。2)我們設(shè)計了一種新穎的點云間特征交互機制,使每個點云都具有另一個點云的上下文感知,從而為后續(xù)模塊提供更具辨別力的特征3)我們的端到端 FIRE-Net在多種實驗設(shè)置下于 ModelNet40 基準數(shù)據(jù)集上實現(xiàn)了最先進的性能,從而證明了其有效性和泛化能力。方法介紹:給定輸入點云

e8be80b2-7a84-11ed-8abf-dac502259ad0.png

,e8d16fe2-7a84-11ed-8abf-dac502259ad0.png,我們的目標是求解旋轉(zhuǎn)矩陣e8e4cb5a-7a84-11ed-8abf-dac502259ad0.png和平移向量e90409ac-7a84-11ed-8abf-dac502259ad0.png以實現(xiàn)輸入點云最好的對齊。Fig1展示了我們的FIRE-Net的整體流程。簡要地說,我們的網(wǎng)絡(luò)的輸入包括源和目標原始點云。組合特征編碼器(CFE)首先提取源和目標的初始特征,將所有點編碼到一個公共特征空間中。然后,設(shè)計了一個局部交互單元(LIU)和一個全局交互單元(GIU)來建模點云間的特征交互。最終的交互特征被送到關(guān)鍵點層以選擇兩個點云中的公共結(jié)構(gòu)。最后,我們使用剛性變換計算模塊以迭代的方式來獲得可靠的對應關(guān)系和計算剛性變換。每個模塊的詳細信息將在以下部分進行說明。

e91a7ef8-7a84-11ed-8abf-dac502259ad0.png

Fig1:(a)FIRE-Net的整體框架,(b)局部特征交互單元,(c)全局特征交互單元。一、組合特征編碼:CFE的主要目標是描述源點云和目標點云的局部結(jié)構(gòu)。同時,作為我們特征交互模型的第一級,CFE 實現(xiàn)了點云內(nèi)的特征交互。我們的 CFE 是一個基于 GNN 的網(wǎng)絡(luò),可以通過在3D坐標空間中構(gòu)建固定圖并應用串聯(lián)連接多層來分層的輸出來提取點的多級交互特征,其過程如圖2所示。

e93b64f6-7a84-11ed-8abf-dac502259ad0.png

Fig2.組合特征編碼坐標空間中的局部圖:為了表示給定點云的局部幾何結(jié)構(gòu),我們將每個點作為一個中心節(jié)點,分別構(gòu)造一個kNN圖。

e9620a16-7a84-11ed-8abf-dac502259ad0.png

其中e9908a76-7a84-11ed-8abf-dac502259ad0.png是用于中心點及其近鄰點的相對特征的共享MLP。A是最大池化。σ是線性層。初始特征:為了增強模塊捕獲幾何和語義信息的能力,我們通過串接每個傳播層的輸出向量來合并低階和高階交互特征。最后,我們在串接的向量上應用共享 MLP以獲得初始特征e9a5b81a-7a84-11ed-8abf-dac502259ad0.pngea0707b4-7a84-11ed-8abf-dac502259ad0.png 。這個過程可以表述為:

ea1dd12e-7a84-11ed-8abf-dac502259ad0.png

其中ea3f833c-7a84-11ed-8abf-dac502259ad0.png是一個共享的 MLP。ea56aed6-7a84-11ed-8abf-dac502259ad0.png表示ea6ceade-7a84-11ed-8abf-dac502259ad0.png層中的特征,L表示傳播層數(shù)。二、點云間的特征交互該模塊旨在對點云交互進行建模,它由兩個串行單元組成:LIU學習局部交互函數(shù)以獲得局部交互特征ea7cbe46-7a84-11ed-8abf-dac502259ad0.png。然后,GIU學習一個全局交互函數(shù)ea916cba-7a84-11ed-8abf-dac502259ad0.png得到全局特征交互

eaa4f83e-7a84-11ed-8abf-dac502259ad0.png

。請注意,我們將eac1fa74-7a84-11ed-8abf-dac502259ad0.png作為殘差項,為可學習尺度參數(shù)β和原始特征提供附加變化,即,

ead2e73a-7a84-11ed-8abf-dac502259ad0.png

其中eae2ec5c-7a84-11ed-8abf-dac502259ad0.pngeaf4d9e4-7a84-11ed-8abf-dac502259ad0.png是 LIU之后更新的特征、eb0abf5c-7a84-11ed-8abf-dac502259ad0.pngeb240ae8-7a84-11ed-8abf-dac502259ad0.png 是GIU之后更新的特征。1.局部特征交互單元:在CFE編碼了輸入點云到一個共同的特征空間的前提下,點云間的局部交互可以通過在特征空間上應用GNN 來實現(xiàn)。特征空間的局部圖:在公共特征空間中,我們有M個源點云特征和N個目標點云特征。我們首先構(gòu)造一個混合特征集eb3f9a88-7a84-11ed-8abf-dac502259ad0.png,然后將其中的每個特征eb56f3cc-7a84-11ed-8abf-dac502259ad0.png作為中心節(jié)點并應用KNN 構(gòu)造局部圖eb6dccbe-7a84-11ed-8abf-dac502259ad0.png,從而得到混合圖eb846ee2-7a84-11ed-8abf-dac502259ad0.png

eb9a06ee-7a84-11ed-8abf-dac502259ad0.png

。構(gòu)建局部圖eb6dccbe-7a84-11ed-8abf-dac502259ad0.png有兩種策略:(1) 如圖 3左側(cè)所示,無論鄰居特征屬于ebbeb4da-7a84-11ed-8abf-dac502259ad0.png還是ebd3dfc2-7a84-11ed-8abf-dac502259ad0.png,我們都連接中心節(jié)點與其鄰居節(jié)點之間的所有邊。(2) 如圖3右側(cè)所示,邊只在屬于不同點云的節(jié)點之間構(gòu)建。在局部圖中,我們將邊視為兩個節(jié)點間的關(guān)系,例如表示從ebea45f0-7a84-11ed-8abf-dac502259ad0.pngeb56f3cc-7a84-11ed-8abf-dac502259ad0.png的關(guān)系。因此在圖3中,類型 1 對特征空間中的關(guān)系進行了更全面的建模,而類型 2 比類型 1 更清楚地將消息從另一個點云傳遞到中心節(jié)點。

ec0da1e4-7a84-11ed-8abf-dac502259ad0.png

Fig3.特征空間的局部圖結(jié)構(gòu)節(jié)點關(guān)系挖掘:通過上面定義的局部圖,可以通過節(jié)點特征及其鄰居點特征的邊來挖掘節(jié)點關(guān)系,例如,使用ec4d5b0e-7a84-11ed-8abf-dac502259ad0.png獲得關(guān)系向量ec64fe80-7a84-11ed-8abf-dac502259ad0.png。為了找到更有效的關(guān)系函數(shù),我們研究了三種不同形式的關(guān)系函數(shù)。

ec7a6536-7a84-11ed-8abf-dac502259ad0.png

其中ec9bf4da-7a84-11ed-8abf-dac502259ad0.png表示中心點特征, ecae814a-7a84-11ed-8abf-dac502259ad0.png是其相鄰特征之一。ecc2f2ce-7a84-11ed-8abf-dac502259ad0.png是線性層。我們通過聚合關(guān)聯(lián)向量來更新中心的特征,即:

ecd93ac0-7a84-11ed-8abf-dac502259ad0.png

其中A是聚合函數(shù),例如最大池化。

ecf902f6-7a84-11ed-8abf-dac502259ad0.png

Fig4.局部特征交互單元的流程細節(jié)局部交互特征:更一般地,我們重復上述操作幾次,得到一個高級關(guān)聯(lián)表示ed13c56e-7a84-11ed-8abf-dac502259ad0.png及其相應的聚合輸出特征ed2e5a96-7a84-11ed-8abf-dac502259ad0.png。請注意,局部圖將隨著節(jié)點特征更新而動態(tài)重新計算,如圖4所示。這是與在固定輸入圖上工作的CFE的重要區(qū)別。最后,我們在聚合輸出特征上應用非線性層來得到調(diào)整后的特征ed47604a-7a84-11ed-8abf-dac502259ad0.png,即局部交互特征。這個過程可以描述為:

ed614a82-7a84-11ed-8abf-dac502259ad0.png

通過LIU,每個點的特征具有局部鄰域的特點。在LIU之后,源和目標的特征更新為ed794650-7a84-11ed-8abf-dac502259ad0.pnged91002e-7a84-11ed-8abf-dac502259ad0.png,然后后面緊接GIU。2.全局特征交互單元:為了共享全局信息并全面學習源和目標之間的交互,我們設(shè)計了一個 GIU。所提出的GIU獲得源和目標全局特征的交叉矩陣,然后通過將交叉矩陣投影到它們的潛在表示空間來更新點特征。全局信息聚合:我們首先聚合eda3b7b4-7a84-11ed-8abf-dac502259ad0.pngedbf5410-7a84-11ed-8abf-dac502259ad0.png以獲得全局特征。此聚合操作串聯(lián)池化后的特征,然后使用共享的 MLP對其進行進一步調(diào)整,其過程可以表示如下:

edd7f2ae-7a84-11ed-8abf-dac502259ad0.png

其中edee4f2c-7a84-11ed-8abf-dac502259ad0.png是共享的MLP操作。全局信息交叉:對于源點云全局特征

ee09fb3c-7a84-11ed-8abf-dac502259ad0.png

和目標點云全局特征

ee35098a-7a84-11ed-8abf-dac502259ad0.png

,我們構(gòu)建ee5399cc-7a84-11ed-8abf-dac502259ad0.png成對交互:

ee694948-7a84-11ed-8abf-dac502259ad0.png

其中ee8f1948-7a84-11ed-8abf-dac502259ad0.png是交叉特征矩陣,d是特征的維數(shù)。通過交叉操作,每個可能的特征交互在交叉特征矩陣中明確建模。全局交互特征:為了將交叉矩陣中包含的信息投影到每個點特征中,我們將源點云特征乘以交叉矩陣ee8f1948-7a84-11ed-8abf-dac502259ad0.png,同時目標點云特征乘以轉(zhuǎn)置交叉矩陣eeb26182-7a84-11ed-8abf-dac502259ad0.png。這個過程由下式表示,最終得到了源點云全局交互特征eec5fdb4-7a84-11ed-8abf-dac502259ad0.png和目標點云全局交互特征 eedd5478-7a84-11ed-8abf-dac502259ad0.png

eef03a52-7a84-11ed-8abf-dac502259ad0.png

通過 GIU,源點云和目標點云可以交互全局上下文信息。即源點云的特征不僅集成了源點云全局信息,還集成了目標點云全局信息,反之亦然。GIU之后,特征被更新為ef096036-7a84-11ed-8abf-dac502259ad0.pngef23dbc8-7a84-11ed-8abf-dac502259ad0.png。三、關(guān)鍵點層給定最終的交互特征ef096036-7a84-11ed-8abf-dac502259ad0.png我們通過一個簡單高效的關(guān)鍵點層來選擇源點云和目標點云公共的興趣點。我們的關(guān)鍵點層可以表示如下:

ef4dfd54-7a84-11ed-8abf-dac502259ad0.png

其中是共享的MLP,ef6b0db8-7a84-11ed-8abf-dac502259ad0.png輸出每個點的顯著性分數(shù)。這里,ef80bfbe-7a84-11ed-8abf-dac502259ad0.png提取給定輸入的K個最大元素的索引。ef9ed95e-7a84-11ed-8abf-dac502259ad0.png是從原始點云中選擇的關(guān)鍵點集。efb002b0-7a84-11ed-8abf-dac502259ad0.pngefc15524-7a84-11ed-8abf-dac502259ad0.png表示相應的關(guān)鍵點特征集。四、剛性變換計算給定點對的坐標和特征,剛性變換計算模塊采用IDAM中的相似矩陣卷積 (SMC) 來回歸每個點對的相似性得分。不同之處在于IDAM將點對的特征串聯(lián)起來作為 SMC輸入的一部分,而我們的模型使用點對的特征差異。最后,SMC獲得的對應關(guān)系被傳遞到SVD層以計算剛性變換。


審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 編碼器
    +關(guān)注

    關(guān)注

    45

    文章

    3793

    瀏覽量

    137980
  • 建模
    +關(guān)注

    關(guān)注

    1

    文章

    317

    瀏覽量

    61580
  • 點云
    +關(guān)注

    關(guān)注

    0

    文章

    58

    瀏覽量

    3959

原文標題:點云配準任務中的點特征與一般點特征的區(qū)別在哪里?

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    自動駕駛中常提的“”是個啥?

    [首發(fā)于智駕最前沿微信公眾號]在自動駕駛系統(tǒng),技術(shù)作為三維空間感知的核心手段,為車輛提供了精確的距離和形狀信息,從而實現(xiàn)目標檢測、環(huán)境建模、定位與地圖構(gòu)建等關(guān)鍵功能。那所謂的“
    的頭像 發(fā)表于 05-21 09:04 ?301次閱讀
    自動駕駛中常提的“<b class='flag-5'>點</b><b class='flag-5'>云</b>”是個啥?

    種基于、線和消失點特征的單目SLAM系統(tǒng)設(shè)計

    本文提出了種穩(wěn)健的單目視覺SLAM系統(tǒng),該系統(tǒng)同時利用、線和消失點特征來進行精確的相機位姿估計和地圖構(gòu)建,有效解決了傳統(tǒng)基于特征的SL
    的頭像 發(fā)表于 03-21 17:07 ?453次閱讀
    <b class='flag-5'>一</b>種基于<b class='flag-5'>點</b>、線和消失點<b class='flag-5'>特征</b>的單目SLAM系統(tǒng)設(shè)計

    mark點定位的一般原理與步驟

    的位置。一般將 Mark 放置在 PCB 的邊緣或者角落等相對穩(wěn)定的區(qū)域。這樣可以減少在后續(xù)工序受到其他元器件或操作影響的可能性。同時,要考慮 PCB 在制造設(shè)備和檢測設(shè)備
    的頭像 發(fā)表于 02-05 17:37 ?1362次閱讀

    SN74ALVC164245與SNALVC164245-EP區(qū)別在哪里呢?

    SN74ALVC164245與它的增強型器件SNALVC164245-EP區(qū)別在哪里呢?我對比了數(shù)據(jù)手冊發(fā)現(xiàn)兩種產(chǎn)品在電氣性能上并沒有什么差別,這個“增強”體現(xiàn)在哪里?
    發(fā)表于 12-12 08:31

    Kaggle知識:使用大模型進行特征篩選

    方法依賴于數(shù)據(jù)集中的樣本進行統(tǒng)計推斷,而基于文本的方法需要描述性的上下文以更好地在特征和目標變量之間建立語義關(guān)聯(lián)。這種方法利用了大型語言模型(LLMs)豐富的語
    的頭像 發(fā)表于 12-03 01:06 ?1716次閱讀
    Kaggle知識<b class='flag-5'>點</b>:使用大模型進行<b class='flag-5'>特征</b>篩選

    風電變流器是變頻器嗎 風電變流器和變頻器的區(qū)別在哪里

    變流器也有幾率對頻率進行更改。下面起來了解下風電變流器和變頻器的區(qū)別在哪里吧。 、風電變流器是變頻器嗎 風電變流器是應用于風力發(fā)電機組
    的頭像 發(fā)表于 12-02 01:08 ?1202次閱讀

    PGA2311P和PGA2311PA主要區(qū)別體現(xiàn)在哪里一般情況運用下能通用嗎?

    PGA2311P和PGA2311PA主要區(qū)別體現(xiàn)在哪里,一般情況運用下能通用嗎,感謝?。?!
    發(fā)表于 10-31 07:13

    什么是三維分割

    是世界的種非結(jié)構(gòu)化三維數(shù)據(jù)表示,通常由激光雷達傳感器、立體相機或深度傳感器采集。它由系列單個組成,每個
    的頭像 發(fā)表于 10-29 09:21 ?647次閱讀

    使用語義線索增強局部特征匹配

    視覺匹配是關(guān)鍵計算機視覺任務的關(guān)鍵步驟,包括攝像機定位、圖像和運動結(jié)構(gòu)。目前最有效的匹配關(guān)鍵的技術(shù)包括使用經(jīng)過學習的稀疏或密集匹配器
    的頭像 發(fā)表于 10-28 09:57 ?874次閱讀
    使用語義線索增強局部<b class='flag-5'>特征</b>匹配

    請問下LM4951A與LM4951的區(qū)別在哪里?

    請問下LM4951A與LM4951的區(qū)別在哪里? 我們有將LM4951替換LM4951A后,產(chǎn)品出現(xiàn)POP和CLICK音的問題。 LM4951的原理圖見附件。
    發(fā)表于 10-18 06:27

    LM3886尾綴T和TF之間主要區(qū)別在哪里?

    LM3886尾綴T和TF之間主要區(qū)別在哪里? 我直用LM3886TF,但最近缺貨改用LM3886T替代,但是發(fā)現(xiàn)LM3886T工作相對要熱
    發(fā)表于 10-09 08:30

    變壓器中性接地方式的安排一般如何考慮

    變壓器中性接地方式的安排是個復雜而關(guān)鍵的過程,需要考慮多個因素以確保電力系統(tǒng)的安全、穩(wěn)定和高效運行。以下是對變壓器中性接地方式安排的一般考慮:
    的頭像 發(fā)表于 10-08 14:49 ?2807次閱讀

    WXZ196微機消諧裝置的特征具體體現(xiàn)在哪里

    WXZ196微機消諧裝置的特征具體體現(xiàn)在哪里?微機消諧裝置(全稱:微機電力諧振診斷消除裝置)是放在放在PT的二次側(cè)(所以也叫二次消諧)消除鐵磁諧振的儀器。它與次消諧器的區(qū)別在于微機消
    的頭像 發(fā)表于 10-08 14:17 ?372次閱讀

    怎么判斷電容三式和電感三

    在電子電路,電容三式和電感三式振蕩電路是兩種常見的振蕩電路類型,它們的主要區(qū)別在于反饋元件(電容或電感)與晶體管三個極(基極、發(fā)射極、集電極)的連接方式。
    的頭像 發(fā)表于 08-21 15:57 ?3753次閱讀

    請問LM318和LM318-N的區(qū)別在哪里?

    請問LM318和LM318-N的區(qū)別在哪里
    發(fā)表于 08-20 07:31