溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

Segmentation中anchor free方法怎么實(shí)現(xiàn)的

發(fā)布時(shí)間：2021-12-20 17:36:06 來(lái)源：億速云 閱讀：138 作者：小新 欄目：大數(shù)據(jù)

小編給大家分享一下Segmentation中anchor free方法怎么實(shí)現(xiàn)的，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！



 

3. 基于Segmentation的方法

  • FCOS

先來(lái)上一張F(tuán)COS的整體框架圖：

Segmentation中anchor free方法怎么實(shí)現(xiàn)的

按照FCOS的說(shuō)法，它是把每個(gè)location都當(dāng)做一個(gè)樣本，如下圖所示，可以看到，最左面的橙色點(diǎn)在棒球運(yùn)動(dòng)員的box內(nèi)，這個(gè)點(diǎn)的gt實(shí)際上是該點(diǎn)到box的四個(gè)邊緣的距離以及box的obj類(lèi)別，所以最后預(yù)測(cè)出來(lái)的output是HxWxC以及HxWx4，C和4分別代表每個(gè)特征圖的每個(gè)location要預(yù)測(cè)的該點(diǎn)所屬于的類(lèi)別和該點(diǎn)到box的邊界距離。在通過(guò)這種方式得到box后，F(xiàn)COS回合anchor based的方法一樣進(jìn)行NMS等：

Segmentation中anchor free方法怎么實(shí)現(xiàn)的

實(shí)際上如果不考慮Classification下面的Center-ness分支，怎么樣，會(huì)不會(huì)覺(jué)得非常熟悉？在這里貼一下retinanet的網(wǎng)絡(luò)圖：

Segmentation中anchor free方法怎么實(shí)現(xiàn)的

可以發(fā)現(xiàn)，兩者最大的差別是最后輸出的通道，Retinanet輸出的是KA和4A(A代表anchors數(shù)量，K代表類(lèi)別數(shù)量)，是對(duì)每個(gè)location位置的A個(gè)anchors預(yù)測(cè)它們的類(lèi)別和相對(duì)偏移量，而FCOS則直接對(duì)格子所在的類(lèi)別和產(chǎn)生box進(jìn)行預(yù)測(cè)了，完全沒(méi)有box的概念，整體上也非常接近語(yǔ)義分割的segmentation思想。這樣做的方法會(huì)有一個(gè)問(wèn)題，就是box里面，越接近中心的位置往往效果越好，但是越靠近Box邊緣，雖然理論上應(yīng)該仍然是正類(lèi)，但是因?yàn)橥湓趏bj外，預(yù)測(cè)效果不佳，對(duì)此，F(xiàn)COS的解決方法是引入一個(gè)新的分支centerness，它的gt計(jì)算如下：  
Segmentation中anchor free方法怎么實(shí)現(xiàn)的  
可以看到，如果location距離box的左邊界距離和右邊界距離相同，根號(hào)內(nèi)第一項(xiàng)應(yīng)該是1，同理，當(dāng)距離上下邊界距離一樣時(shí)候，根號(hào)內(nèi)第二項(xiàng)是1，此時(shí)，gt值為1，location恰好處于中心位置。而如果location非常接近邊緣，則gt會(huì)非常小。這個(gè)分支訓(xùn)練以后，在inference階段將會(huì)和classification預(yù)測(cè)的值相乘作為最終scores得分，從而抑制接近中心點(diǎn)的位置。此外，F(xiàn)COS還引入了多尺度的概念，如果在FPN的某個(gè)level上，t/b/l/r中的最大值大于某個(gè)閾值，則認(rèn)為這個(gè)box不適合當(dāng)前l(fā)evel的feature，從而進(jìn)行排除。

  • Foveabox

在了解了FCOS之后，認(rèn)識(shí)foveabox也比較簡(jiǎn)單了。foveabox的不同首先在于多尺度策略和encoding的方法。foveabox的多尺度策略是將不同大小的box根據(jù)面積分配到不同level的feature map上，且有重疊。FPN的P3~P7的每個(gè)leval的Pl分別有一個(gè)基數(shù)Sl，取l=3的時(shí)候，P3對(duì)應(yīng)的S3是3232，取l=4的時(shí)候，P4對(duì)應(yīng)的S4是6464，一直倍增。每個(gè)level負(fù)責(zé)的box的面積范圍為，其中n^2是可變化的參數(shù)，可以看到，不同leval預(yù)測(cè)的范圍會(huì)有重疊，這可以增加一定的魯棒性：

Segmentation中anchor free方法怎么實(shí)現(xiàn)的  
而考慮到不同level預(yù)測(cè)的box大小不同，預(yù)測(cè)的box位置坐標(biāo)也是經(jīng)過(guò)編碼的，編碼方式如下(z代表系數(shù)，具體計(jì)算方式見(jiàn)論文)：

Segmentation中anchor free方法怎么實(shí)現(xiàn)的
最后，也就是foveabox名稱(chēng)的由來(lái)，對(duì)于box內(nèi)部離中心點(diǎn)比較遠(yuǎn)的抑制方法，foveabox沒(méi)有centerness那樣的分支，而是用了另一個(gè)思路，那就是只有box內(nèi)部比較靠近中心的點(diǎn)才被視作正樣本(下圖帶黑色點(diǎn)的紅色區(qū)域)，如果該點(diǎn)在Box內(nèi)部但是離邊緣比較近，則往往被視作灰色區(qū)域，即不算正樣本，也不算負(fù)樣本，梯度回傳的時(shí)候不考慮(紅色box內(nèi)部白色區(qū)域)。正樣本所在的矩形框和灰色區(qū)域的矩形框大小是由兩個(gè)不同的伸縮系數(shù)控制的。
Segmentation中anchor free方法怎么實(shí)現(xiàn)的


  • FSAF

關(guān)于FSAF，就沒(méi)有太多需要介紹的內(nèi)容了，只需要知道以下三點(diǎn)：1. FSAF在每個(gè)location預(yù)測(cè)box的方式也是預(yù)測(cè)點(diǎn)到box四個(gè)邊界的距離，類(lèi)似FCOS 2. FSAF抑制box內(nèi)部遠(yuǎn)離中心點(diǎn)的干擾的方法類(lèi)似Foveabox，同樣把非常靠近中心的矩形區(qū)域視作正樣本，在box內(nèi)又離得比較遠(yuǎn)的不計(jì)入梯度計(jì)算 3. FSAF的多尺度策略比較特殊，它不會(huì)手動(dòng)分配level預(yù)測(cè)某個(gè)box(這一點(diǎn)和FCOS和Fovea不同，這兩本本質(zhì)上多尺度都用了手動(dòng)分配的方法)，而是在各個(gè)尺度上同時(shí)計(jì)算，看box在哪個(gè)level上得到的loss最小，就在這個(gè)level的特征上計(jì)算，由此實(shí)現(xiàn)針對(duì)不同obj的特征選擇自動(dòng)化。
Segmentation中anchor free方法怎么實(shí)現(xiàn)的

以上是“Segmentation中anchor free方法怎么實(shí)現(xiàn)的”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手