18video性欧美19sex,欧美高清videosddfsexhd,性少妇videosexfreexxx片中国,激情五月激情综合五月看花,亚洲人成网77777色在线播放

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于深度學習的三維點云配準新方法

3D視覺工坊 ? 來源:3D視覺工坊 ? 2023-06-17 09:54 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一、摘要

本文介紹了一種基于深度學習的三維點云配準新方法。該架構(gòu)由三個部分組成:

(1)編碼器由基于卷積圖的描述符組成,該描述符對每個點的近鄰進行編碼,并采用注意機制對表面法線的變化進行編碼,突出同一集合的點之間以及兩個集合的點之間的注意力;

(2)使用Sinkhorn算法估計對應矩陣的匹配過程;

(3)通過對應矩陣中的最佳分數(shù)Kc,利用RANSAC計算兩個點云之間的剛性變換。

最后,在ModelNet40數(shù)據(jù)集上進行實驗,提出的架構(gòu)在大多數(shù)模擬配置中優(yōu)于最先進的方法,包括部分重疊和高斯噪聲的數(shù)據(jù)增強。

二、網(wǎng)絡結(jié)構(gòu)

提出的RoCNet網(wǎng)絡結(jié)構(gòu)如圖1所示,主要包含三個部分:1)由卷積圖網(wǎng)絡組成的描述符算子,進行編碼每個點的近鄰和一個編碼表面法線變化的注意機制;2) 使用Sinkhorn算法估計對應矩陣的匹配模塊;3) 利用RANSAC模塊中Kc來計算剛性變換,得到最佳匹配結(jié)果

0dd6b3e8-0c60-11ee-962d-dac502259ad0.png

圖1 網(wǎng)絡結(jié)構(gòu)

三、方法

3.1 點云描述子

定義點云X和點云Y,存在部分重疊,故至少存在K(K<=min(M,N))對匹配點。令X中匹配點集為?,Y中匹配點集為數(shù)?。由于點云配準的精度取決于編碼描述子的質(zhì)量。

因此,提出了一個新的描述符,通過將X和Y的初始集合投影到一個更高維度的新基中,比初始空間表示更具判別性且盡可能不受旋轉(zhuǎn)和平移的影響,主要結(jié)合了一個基于幾何的描述符、一個基于法向量的描述符和一個注意機制。

(1)基于幾何的描述符

這里選擇將DGCNN作為描述符的一部分,因為它可以更好地捕獲點云的局部幾何特征,同時保持排列不變性。DGCNN主要由EdgeConv卷積層組成,其中點代表以圓弧連接到編碼空間中最近的k個近鄰節(jié)點,以構(gòu)建表示每個點周圍的局部幾何結(jié)構(gòu)的圖,然后在更高級別(全局編碼)動態(tài)傳播信息。以fXi為點xi提取到的d維特征向量。

(2)基于法向量的描述符

描述符的主要思想是利用鄰近點的法線變化來編碼每個點周圍的表面信息,因為平坦表面上的法線不會變化,沿著脊的法線只在一個方向上變化,而頂點上的法線在所有方向上變化。因此,根據(jù)鄰域法線角度的變化可以得出曲面類型的信息。

利用主成分分析法來計算法線信息,每個點,定義為局部鄰域子集,令表示劃分集合點的大小,是以 為中心的球體的半徑,是 集合中包含的最大點數(shù)。協(xié)方差矩陣Cov(Si)的特征值分解允許將法向量定義為與最小特征值相關(guān)的向量,Cov(Si)表示為:

0e292272-0c60-11ee-962d-dac502259ad0.png

其中,表示為的點數(shù)。由于PCA可指向任一個方向的法向量,因此使用新的向量 ( 共線)來解決其模糊性。定義為

0e49dc4c-0c60-11ee-962d-dac502259ad0.png

由于PCA可指向任一個方向的法向量,因此使用新的向量 (與 共線)來解決其模糊性。定義 為

0e73c43a-0c60-11ee-962d-dac502259ad0.png

最后,使用不同頻率的正弦函數(shù)構(gòu)建最終編碼。已知兩點和 的法線夾角為,則編碼法線向量為:

0ea2f1ce-0c60-11ee-962d-dac502259ad0.png

其中,為 當前值指數(shù), 為歸一化系數(shù), 是描述符數(shù)學公式: 的維數(shù),將其固定為與基于幾何的描述符DGCNN相同的大小,然后對 用全連接層以獲得最終嵌入

0ece73e4-0c60-11ee-962d-dac502259ad0.png

其中,是學習投影矩陣

(3)注意力機制

本文方法采用在每個集合X和Y中使用四個具有幾何自我注意的注意頭,分別對相關(guān)的法線嵌入 和 進行積分,然后在兩組點之間進行交叉注意,交替執(zhí)行L次

(4)自注意力

自注意力層為點云的每個點預測一個基于注意力的特征。對點云X和Y中的所有點都使用相同的算法,即可得到每個query/key對應的注意力權(quán)重:

0efb2240-0c60-11ee-962d-dac502259ad0.png

其中,是學習投影矩陣

(3)注意力機制

本文方法采用在每個集合X和Y中使用四個具有幾何自我注意的注意頭,分別對相關(guān)的法線嵌入和進行積分,然后在兩組點之間進行交叉注意,交替執(zhí)行L次

(4)自注意力

自注意力層為點云的每個點預測一個基于注意力的特征。對點云X和Y中的所有點都使用相同的算法,即可得到每個query/key對應的注意力權(quán)重:

0f290958-0c60-11ee-962d-dac502259ad0.png

0f4d9336-0c60-11ee-962d-dac502259ad0.png是學習到的用于query、key和基于法向量的嵌入投影矩陣,d是特征的維數(shù)和 。權(quán)重用于評估注意的一些元素,并獲得最終的基于自注意的特征 :

0f60acfa-0c60-11ee-962d-dac502259ad0.png

0f7e6c4a-0c60-11ee-962d-dac502259ad0.png

0f9f29b2-0c60-11ee-962d-dac502259ad0.png

0fbe130e-0c60-11ee-962d-dac502259ad0.png是交叉注意層中學習到的query、key和value的投影矩陣。

3.2 點匹配

在每個點數(shù)學公式: 之間估計一個分數(shù)矩陣C:

0fd9e67e-0c60-11ee-962d-dac502259ad0.png

其中, 和是定義點和 的最終編碼。然后將C的維度分別增加到M+1和N+1,從而建立一個對應概率 的矩陣,再使用可微的Sinkhorn算法。

由于前面所有步驟都是可微的,因此可以通過引入損失函數(shù)來學習網(wǎng)絡的權(quán)重。為此,采用gap損失函數(shù),表示為

1000241a-0c60-11ee-962d-dac502259ad0.png

其中, 是一個值為0.5的正標量,和分別是點和的基本匹配分數(shù)。

3.3 位姿估計

在求值階段,通過以下算法構(gòu)建一個硬賦值二進制矩陣a:

1032956c-0c60-11ee-962d-dac502259ad0.png

10540440-0c60-11ee-962d-dac502259ad0.png

矩陣A分別用非零值的行向量和列向量重新索引原始點云X和Y,得到了兩個最終匹配點和的集合,匹配執(zhí)行如圖3所示。建立了匹配點集后,本文使用基于預測對應的RANSAC來減少計算成本。此外,不考慮所有K個匹配點,只使用個最相關(guān)的點,同時在第一次迭代之前過濾異常值。

107b47c6-0c60-11ee-962d-dac502259ad0.png

(a) (b) (c)

圖2 3D匹配示例((a)干凈數(shù)據(jù);(b)部分重疊;(c)噪聲數(shù)據(jù)和部分重疊)

四、實驗結(jié)果

以下所有的對比結(jié)果均基于VRNet論文中的結(jié)果。首先在干凈的數(shù)據(jù)上進行性能對比,如表1所示。

可以發(fā)現(xiàn),本文方法在RMSE和MAE方面的性能優(yōu)于其他方法。然而,VRNet在旋轉(zhuǎn)性方面仍然是最好的,盡管與RoCNet相比差異很小,特別是在MAE(t)中,RoCNet排名第二。

可視化實例如圖3所示,第一行顯示待對齊點云X和Y的初始位置,第二行顯示已執(zhí)行的配準,第三行顯示地面真值

表1 使用無噪聲和遮擋的所有網(wǎng)絡性能對比

10edc8d2-0c60-11ee-962d-dac502259ad0.png

111bc9d0-0c60-11ee-962d-dac502259ad0.png

圖3干凈且無遮擋的情況下,RoCNet配準實例

在帶有噪聲數(shù)據(jù)和部分遮擋的所有類別上訓練的模型結(jié)果如表2所示,RoCNet在所有指標上都優(yōu)于其他方法,包括旋轉(zhuǎn)和平移。RoCNet允許顯著增強的配準誤差,從三分之二到四分之一不等,與WsDesc、VRNet相比,擁有對部分遮擋或噪聲或兩者同時的魯棒性。

表2 使用噪聲和部分遮擋的所有網(wǎng)絡性能對比

11565c80-0c60-11ee-962d-dac502259ad0.png

此外,為了直觀地評估所提出方法的魯棒性,通過逐步降低(從95%到50%)X和Y之間共享點的比率來進行不同的配準,如圖4所示。

可以看到,RoCNet即使只使用50%的數(shù)據(jù)也可以很容易地配準點云。但另一方面,對于完全對稱的物體,當重疊度較低時,該方法顯示出其局限性。

119cf50a-0c60-11ee-962d-dac502259ad0.png

圖4 RoCNet魯棒性證明

五、結(jié)論

本文提出了一種基于深度學習的三維點云配準和姿態(tài)估計方法。所提出的體系結(jié)構(gòu)由三個主要部分組成:1)新設計的描述符編碼每個點的鄰域和編碼表面法線變化的注意機制;2)使用Sinkhorn算法估計對應矩陣的匹配方法;3)使用RANSAC應用于對應矩陣的K^c最佳匹配來估計剛性變換。使用ModelNet40數(shù)據(jù)集在不同的配置下對所提出的架構(gòu)進行了評估。

實驗證明,本文方法優(yōu)于相關(guān)的最先進的算法,特別是在噪聲的數(shù)據(jù)和部分遮擋的條件下。

未來,打算將這項工作擴展到一種新的方法,在這種方法中,描述符將在頻率范圍內(nèi)表示。這當然會提高我們架構(gòu)的準確性,但也提高了它對噪聲和部分遮擋的魯棒性。

六、感悟

這是一篇十分標準的基于深度學習的點云配準的論文,整體結(jié)構(gòu)可以作為借鑒學習,所提出的編碼算法的性能很好,最終也在ModelNet40數(shù)據(jù)集上進行測試所提算法的有效性。同時,該方法可以擴展接入其余點云配準的方法,希望源碼早日公開,進行學習。
責任編輯:彭菁

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 三維
    +關(guān)注

    關(guān)注

    1

    文章

    520

    瀏覽量

    29783
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1229

    瀏覽量

    25949
  • 深度學習
    +關(guān)注

    關(guān)注

    73

    文章

    5586

    瀏覽量

    123716

原文標題:RoCNet:一種利用深度學習的魯棒性3D點云配準

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    基于深度學習三維方法

    基于深度學習三維
    發(fā)表于 11-29 11:41 ?2299次閱讀

    一種快速的三維自動方法

    采用主成分分析方法(PCA)定義了簡單的數(shù)學模型和軸向確定方法等來實現(xiàn)。大量實驗證明,算法能夠快速實現(xiàn)任意形狀、大小及位置的兩片
    發(fā)表于 09-23 17:59 ?25次下載

    三維顱骨自動非剛性方法

    針對三維顱骨模型在初始姿態(tài)相差較大以及存在較多缺失情況下自動困難的問題,提出一種基于邊緣對應的三維顱骨非剛性自動
    發(fā)表于 12-09 10:23 ?0次下載

    圖瑪深發(fā)布四款智能診斷新品,均采用深度學習和AI領(lǐng)域的最新方法

    圖瑪深醫(yī)療科技有限公司(以下簡稱圖瑪深)發(fā)布了四款智能診斷新品——胸部X線智能診斷系統(tǒng)、乳腺鉬靶智能診斷系統(tǒng)、腦卒中CT智能診斷系統(tǒng)及肝臟CT智能診斷系統(tǒng)。據(jù)悉,這四款新品采用深度學習
    的頭像 發(fā)表于 11-16 15:54 ?3891次閱讀

    基于分層策略的三維非剛性模型算法

    三維非剛性模型分析中,通常需要對不同姿態(tài)下的模型進行。針對傳統(tǒng)配算法存在復雜度高、計算量大、精確度低等問題,提出一種新的基于分層策略的三維
    發(fā)表于 01-23 14:50 ?3次下載
    基于分層策略的<b class='flag-5'>三維</b>非剛性模型<b class='flag-5'>配</b><b class='flag-5'>準</b>算法

    基于深度學習三維語義分割研究分析

    近年來,深度傳感器和三維激光掃描儀的普及推動了三維處理方法的快速發(fā)展。
    發(fā)表于 04-01 14:48 ?16次下載
    基于<b class='flag-5'>深度</b><b class='flag-5'>學習</b>的<b class='flag-5'>三維</b><b class='flag-5'>點</b><b class='flag-5'>云</b>語義分割研究分析

    基于機械臂的車輛輪廓掃描定位及數(shù)據(jù)

    車輛輪廓的三維模型在汽車智能化制造及保過程中具有重要作用。為提高點
    發(fā)表于 05-26 15:56 ?6次下載

    的概念以及與三維圖像的關(guān)系

    概念 三維圖像的關(guān)系:三維圖像是一種特殊的信息表達形式,其特征是表達的空間中
    的頭像 發(fā)表于 08-17 09:18 ?8137次閱讀
    <b class='flag-5'>點</b><b class='flag-5'>云</b>的概念以及與<b class='flag-5'>三維</b>圖像的關(guān)系

    自動駕駛?cè)谠挘撼S玫?b class='flag-5'>點方法以及未來發(fā)展方向

    深度學習在自動駕駛領(lǐng)域可謂無往不利,領(lǐng)域也不例外?;?/div>
    發(fā)表于 11-11 14:18 ?2872次閱讀

    三維的相關(guān)知識學習技巧

    過程就是求一個兩個之間的旋轉(zhuǎn)平移矩陣(rigid transform or eucl
    的頭像 發(fā)表于 12-02 09:40 ?2343次閱讀

    自動駕駛領(lǐng)域的工作原理與技術(shù)方法

    RANSAC算法被引入三維領(lǐng)域,其本質(zhì)就是不斷的對源點進行隨機樣本采樣并求出對應的變換
    發(fā)表于 03-24 09:58 ?1266次閱讀

    三維過程詳解:算法原理及推導

    就是再兩個還差得十萬八千里、完全不清楚兩個的相對位置關(guān)系的情況下,找到一個這兩個
    的頭像 發(fā)表于 09-21 17:20 ?1931次閱讀

    三維算法原理及推導

    就是再兩個還差得十萬八千里、完全不清楚兩個的相對位置關(guān)系的情況下,找到一個這兩個
    的頭像 發(fā)表于 09-25 11:31 ?1604次閱讀

    基于深度學習三維分類方法

    近年來,云表示已成為計算機視覺領(lǐng)域的研究熱點之一,并廣泛應用于自動駕駛、虛擬現(xiàn)實、機器人等許多領(lǐng)域。雖然深度學習技術(shù)在處理常規(guī)結(jié)構(gòu)化的二網(wǎng)格圖像數(shù)據(jù)方面取得了巨大成功,但在處理不規(guī)
    的頭像 發(fā)表于 10-29 09:43 ?1887次閱讀
    基于<b class='flag-5'>深度</b><b class='flag-5'>學習</b>的<b class='flag-5'>三維</b><b class='flag-5'>點</b><b class='flag-5'>云</b>分類<b class='flag-5'>方法</b>

    AI 驅(qū)動三維逆向:降噪算法工具與機器學習建模能力的前沿應用

    三維逆向工程領(lǐng)域,傳統(tǒng)方法在處理復雜數(shù)據(jù)和構(gòu)建高精度模型時面臨諸多挑戰(zhàn)。隨著人工智能(AI)技術(shù)的發(fā)展,降噪算法工具與機器學習建模能力
    的頭像 發(fā)表于 08-20 10:00 ?344次閱讀
    AI 驅(qū)動<b class='flag-5'>三維</b>逆向:<b class='flag-5'>點</b><b class='flag-5'>云</b>降噪算法工具與機器<b class='flag-5'>學習</b>建模能力的前沿應用