用于點(diǎn)云分析的自組織網(wǎng)絡(luò)SO-Net是怎樣的

這篇文章給大家介紹用于點(diǎn)云分析的自組織網(wǎng)絡(luò)SO-Net是怎樣的，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

Abstract

下面提出SO-Net，一種用于無序點(diǎn)云深度學(xué)習(xí)的置換不變網(wǎng)絡(luò)結(jié)構(gòu)。 SO-Net通過構(gòu)建自組織映射（SOM）來模擬點(diǎn)云的空間分布?；赟OM，SO-Net對單個點(diǎn)和SOM節(jié)點(diǎn)進(jìn)行分層特征提取，最終用單個特征向量來表示輸入點(diǎn)云。網(wǎng)絡(luò)的感受野可以通過進(jìn)行點(diǎn)對節(jié)點(diǎn)的KNN(k近鄰搜索)系統(tǒng)地調(diào)整。在識別點(diǎn)云重建，分類，對象部分分割和形狀檢索等任務(wù)中，我們提出的網(wǎng)絡(luò)表現(xiàn)出的性能與最先進(jìn)的方法相似或更好。另外，由于所提出的架構(gòu)的并行性和簡單性，所以訓(xùn)練速度比現(xiàn)有的點(diǎn)云識別網(wǎng)絡(luò)快得多。

Introduction

經(jīng)過多年的深入研究，卷積神經(jīng)網(wǎng)絡(luò)（ConvNets）現(xiàn)在成為許多最先進(jìn)的計(jì)算機(jī)視覺算法的基礎(chǔ)，例如，圖像識別，對象分類和語義分割等。盡管ConvNets在二維圖像方面取得了巨大成功，但在3D數(shù)據(jù)上使用深度學(xué)習(xí)仍然是一個具有挑戰(zhàn)性的問題。雖然3D卷積網(wǎng)絡(luò)（3D ConvNets）可以應(yīng)用于光柵化為體素表示的3D數(shù)據(jù)，但由于大多數(shù)3D數(shù)據(jù)的稀疏性，大多數(shù)計(jì)算都是冗余的。此外，不成熟的3D ConvNets的性能很大程度上受到分辨率的損失和呈指數(shù)級增長的計(jì)算成本限制。同時，深度傳感器的加速發(fā)展以及自動駕駛汽車等應(yīng)用的巨大需求使得高效處理3D數(shù)據(jù)成為當(dāng)務(wù)之急。包括ModelNet [37]，ShapeNet [8]，2D-3D-S [2]在內(nèi)的3D數(shù)據(jù)集的最新可用性增加了3D數(shù)據(jù)研究的普及。

為了避免簡單體素化的缺點(diǎn)，一種選擇是明確利用體素網(wǎng)格的稀疏性[35,21,11]。雖然稀疏設(shè)計(jì)允許更高的網(wǎng)格分辨率，但其誘導(dǎo)的復(fù)雜性和局限性使其難以實(shí)現(xiàn)大規(guī)模或靈活的深度網(wǎng)絡(luò)[30]。另一種選擇是利用可伸縮索引結(jié)構(gòu)，包括kd-tree [4]，八叉樹[25]?；谶@些結(jié)構(gòu)的深度網(wǎng)絡(luò)顯示出令人鼓舞的結(jié)果。與基于樹的結(jié)構(gòu)相比，點(diǎn)云表示在數(shù)學(xué)上更簡潔和直接，因?yàn)槊總€點(diǎn)僅由3維向量表示。此外，借助運(yùn)動結(jié)構(gòu)（SfM）算法，可以使用流行的傳感器（如RGB-D相機(jī)，LiDAR或常規(guī)相機(jī)）輕松獲取點(diǎn)云。盡管點(diǎn)云被廣泛使用，也能夠輕松獲取，但點(diǎn)云識別任務(wù)仍然具有挑戰(zhàn)性。傳統(tǒng)的深度學(xué)習(xí)方法如ConvNets不適用，因?yàn)辄c(diǎn)云在空間上是不規(guī)則的，并且可以任意排列。由于這些困難，很少有人嘗試將深度學(xué)習(xí)技術(shù)直接應(yīng)用到點(diǎn)云，直到最近的PointNet [26]。

盡管作為將深度學(xué)習(xí)應(yīng)用于點(diǎn)云的先驅(qū)，PointNet仍無法充分處理局部特征提取。后來PointNet++[28]被提出來通過構(gòu)建一個類似金字塔的特征聚合方案來解決這個問題，但[28]中的點(diǎn)采樣和分組策略并沒有揭示輸入點(diǎn)云的空間分布。Kd-Net [18]從輸入點(diǎn)云構(gòu)建kd樹，然后進(jìn)行從樹葉到根節(jié)點(diǎn)的分層特征提取。Kd-Net明確地利用點(diǎn)云的空間分布，但是仍然存在諸如感受野不重疊等限制。

在本文中，我們提出SO-Net來解決現(xiàn)有基于點(diǎn)云的網(wǎng)絡(luò)中的問題。具體而言，建立SOM [19]來模擬輸入點(diǎn)云的空間分布，這使得在單獨(dú)的點(diǎn)和SOM節(jié)點(diǎn)上進(jìn)行分層特征提取成為可能。最終，輸入點(diǎn)云可以被壓縮成單個特征向量。在特征聚合過程中，通過在SOM上執(zhí)行點(diǎn)到節(jié)點(diǎn)的k-近鄰（KNN）搜索來控制感受野重疊。理論上，SO-Net通過特殊的網(wǎng)絡(luò)設(shè)計(jì)以及我們的置換不變SOM訓(xùn)練來保證對輸入點(diǎn)的順序保持不變。我們的SO-Net的應(yīng)用包括基于點(diǎn)云的分類，自動編碼器重建，零件分割和形狀檢索，如圖1所示。 

主要貢獻(xiàn)如下：

• 我們設(shè)計(jì)了置換不變網(wǎng)絡(luò) - 顯式利用點(diǎn)云空間分布的SO-Net。

• 通過在SOM上進(jìn)行點(diǎn)到節(jié)點(diǎn)的KNN搜索，可以系統(tǒng)地調(diào)整感受野重疊來執(zhí)行分層特征提取。

• 我們提出一種點(diǎn)云自動編碼器作為預(yù)訓(xùn)練，以改善各種任務(wù)中的網(wǎng)絡(luò)性能。

• 與最先進(jìn)的方法相比，在各種應(yīng)用中獲得相似或更好的性能，并且訓(xùn)練速度顯著加快。

關(guān)于用于點(diǎn)云分析的自組織網(wǎng)絡(luò)SO-Net是怎樣的就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。