溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Objectron數(shù)據(jù)集及3D目標(biāo)檢測(cè)解決方案

發(fā)布時(shí)間：2021-12-06 15:46:29 來源：億速云 閱讀：187 作者：柒染 欄目：大數(shù)據(jù)

這篇文章將為大家詳細(xì)講解有關(guān)Objectron數(shù)據(jù)集及3D目標(biāo)檢測(cè)解決方案，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

機(jī)器學(xué)習(xí)(ML)的最新技術(shù)已經(jīng)在許多計(jì)算機(jī)視覺任務(wù)上取得了SOTA的結(jié)果，但僅僅是通過在2D照片上訓(xùn)練模型而已。  

在這些成功的基礎(chǔ)上，提高模型對(duì) 3D 物體的理解力有很大的潛力來支持更廣泛的應(yīng)用場景，如增強(qiáng)現(xiàn)實(shí)、機(jī)器人、自動(dòng)化和圖像檢索。  

 
今年早些時(shí)候，谷歌發(fā)布了 MediaPipe Objectron，一套為移動(dòng)設(shè)備設(shè)計(jì)的實(shí)時(shí) 3D 目標(biāo)檢測(cè)模型，這個(gè)模型是基于一個(gè)已標(biāo)注的、真實(shí)世界的 3D 數(shù)據(jù)集，可以預(yù)測(cè)物體的 3D 邊界。  

 

Objectron數(shù)據(jù)集及3D目標(biāo)檢測(cè)解決方案


 
然而，理解3D 中的對(duì)象仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)榕c2D 任務(wù)(例如，ImageNet、 COCO 和 Open Images)相比，缺乏大型的真實(shí)世界數(shù)據(jù)集。  

 
為了使研究團(tuán)體能夠繼續(xù)推進(jìn)3D 對(duì)象理解，迫切需要發(fā)布以對(duì)象為中心的視頻數(shù)據(jù)集，這些數(shù)據(jù)集能夠捕獲更多的對(duì)象的3D 結(jié)構(gòu)，同時(shí)匹配用于許多視覺任務(wù)(例如，視頻或攝像機(jī)流)的數(shù)據(jù)格式，以幫助機(jī)器學(xué)習(xí)模型的訓(xùn)練和基準(zhǔn)測(cè)試。  

 
近期谷歌發(fā)布了 Objectron 數(shù)據(jù)集，這是一個(gè)以對(duì)象為中心的短視頻剪輯數(shù)據(jù)集，從不同的角度捕捉了一組更大的普通對(duì)象。  

 


 
每個(gè)視頻剪輯都伴隨著 AR 會(huì)話元數(shù)據(jù)，其中包括攝像機(jī)姿態(tài)和稀疏點(diǎn)云。數(shù)據(jù)還包含為每個(gè)對(duì)象手動(dòng)注釋的3D 邊界，這些 bounding box 描述了對(duì)象的位置、方向和尺寸。  

 
每個(gè)視頻剪輯都隨附有 AR 的元數(shù)據(jù)，其中包括相機(jī)姿勢(shì)和稀疏點(diǎn)云。數(shù)據(jù)還包含每個(gè)對(duì)象的手動(dòng)注釋的 3D 邊界框，用于描述對(duì)象的位置，方向和尺寸。  

 
該數(shù)據(jù)集包括15K 注釋視頻剪輯與超過4M 注釋圖像收集的地理多樣性樣本(涵蓋10個(gè)國家橫跨五大洲)。  
      Objectron數(shù)據(jù)集及3D目標(biāo)檢測(cè)解決方案  
 

 

3D 目標(biāo)檢測(cè)解決方案


 
除了這個(gè)數(shù)據(jù)集，谷歌還分享了一個(gè) 3D 目標(biāo)檢測(cè)解決方案，可以用于4類物體：鞋子、椅子、杯子和相機(jī)。  

 
這些模型是在 MediaPipe 中發(fā)布的，MediaPipe 是谷歌的開源框架，用于跨平臺(tái)可定制的流媒體機(jī)器學(xué)習(xí)解決方案，它同時(shí)也支持機(jī)器學(xué)習(xí)解決方案，比如設(shè)備上的實(shí)時(shí)手勢(shì)、虹膜和身體姿態(tài)跟蹤。  


         
Objectron數(shù)據(jù)集及3D目標(biāo)檢測(cè)解決方案  

 
與之前發(fā)布的 single-stage Objectron 模型相比，這些最新版本采用了兩級(jí)架構(gòu)。  

 
第一級(jí)使用 TensorFlow 目標(biāo)檢測(cè)模型來尋找物體的 2D 裁剪，第二級(jí)使用圖像裁剪來估計(jì)三維bounding box，同時(shí)計(jì)算下一幀對(duì)象的二維裁剪，使得目標(biāo)檢測(cè)器不需要運(yùn)行每一幀。第二階段的三維 bounding box 預(yù)測(cè)器是以83 FPS在 Adreno 650  GPU 上運(yùn)行。  
      
 

 

3D 目標(biāo)檢測(cè)的評(píng)估指標(biāo)


 
有了真實(shí)的注釋，我們就可以使用 3D IoU（intersection over union）相似性統(tǒng)計(jì)來評(píng)估 3D 目標(biāo)檢測(cè)模型的性能，這是計(jì)算機(jī)視覺任務(wù)常用的指標(biāo)，衡量bounding box與ground truth的接近程度。  

 
谷歌提出了一種計(jì)算一般的面向三維空間的精確 3D IoU 的算法。  

 
首先使用 Sutherland-Hodgman Polygon clipping 算法計(jì)算兩個(gè)盒子面之間的交點(diǎn)，這類似于計(jì)算機(jī)圖形學(xué)的剔除技術(shù)（frustum culling），利用所有截?cái)喽噙呅蔚耐拱?jì)算相交的體積。最后，通過交集的體積和兩個(gè)盒子的并集的體積計(jì)算 IoU。  

 
谷歌表示將隨數(shù)據(jù)集一起發(fā)布評(píng)估的源代碼。  
     Objectron數(shù)據(jù)集及3D目標(biāo)檢測(cè)解決方案  
 

 

數(shù)據(jù)格式


 
Objectron 數(shù)據(jù)集的技術(shù)細(xì)節(jié)，包括使用和教程，均可在數(shù)據(jù)集網(wǎng)站上獲得。這些數(shù)據(jù)集中的物體包括自行車、書籍、瓶子、相機(jī)、麥片盒、椅子、杯子、筆記本電腦和鞋子等，和數(shù)據(jù)集一起發(fā)布的具有以下內(nèi)容:  

 
1.視頻序列  

 
2.帶注釋的標(biāo)簽(目標(biāo)的3D 邊界框)  

 
3.AR 元數(shù)據(jù) (如照相機(jī)姿態(tài)、點(diǎn)云和平面表面)  

 
4.處理過的數(shù)據(jù)集: 混合版本的帶注釋的幀、tf.example 格式的圖像和 SequenceExample 格式的視頻  

 
5.支持基于上面描述的度量評(píng)估的腳本  

 
6.支持腳本將數(shù)據(jù)加載到 Tensorflow、Pytorch、Jax并且可視化數(shù)據(jù)集  

 
除了數(shù)據(jù)集，谷歌還開放了數(shù)據(jù)管道來解析 Tensorflow、 PyTorch 和 Jax 框架中的數(shù)據(jù)集。還提供了 colab notebook 的實(shí)例 。    
通過發(fā)布這個(gè) Objectron 數(shù)據(jù)集，谷歌希望能夠使研究團(tuán)體推進(jìn)三維物體幾何理解的極限。同時(shí)也希望促進(jìn)新的研究和應(yīng)用，如視圖合成，改進(jìn)的 3D 表示和非監(jiān)督式學(xué)習(xí)等。    

關(guān)于Objectron數(shù)據(jù)集及3D目標(biāo)檢測(cè)解決方案就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手