PANet的相關(guān)知識點有哪些

這篇文章主要介紹“PANet的相關(guān)知識點有哪些”，在日常操作中，相信很多人在PANet的相關(guān)知識點有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”PANet的相關(guān)知識點有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

一、PANet 整體描述

PANet 是基于Mask R-CNN進行改進后的網(wǎng)絡(luò)，改進的三個點分別為：

1. 原始 Mask R-CNN 沒有很好地利用低層信息。高層的 Feature maps 關(guān)注物體整體，低層的 Feature maps 關(guān)注物體的紋理圖案。使用低層的信息可以對物體進行更好地定位。對此 PANet 增加了 Bottom-up Path Augmentation（整體結(jié)構(gòu)圖中的b. ），將低層的信息又傳導(dǎo)到高層中去，同時減少了高層到低層的信息流通需要穿過的卷積層數(shù)。

2. 原 RoI Pooling 只在最后一層上提取信息，而 PANet 則使用Adaptive Feature Pooling（AFP，整體結(jié)構(gòu)圖中的 c.）同時對多個層級進行 RoI Pooling ，將多層級的信息整合后進行預(yù)測。

3. 最終的 Mask 預(yù)測分支融合了 FCN 式的預(yù)測和 fully-connected 式的預(yù)測，前者關(guān)注局部，后者關(guān)注整體Context信息，從而提升最終 Mask 的質(zhì)量。

下圖是PANet的整體結(jié)構(gòu)：

綠色的虛線表示PANet增加 b. 后，高層信息和輸入之間跨越的卷積層數(shù)更少了，對比紅色虛線可能要經(jīng)過上百個卷積層（參見ResNet Block1~4），信息流通更順暢。

二、各關(guān)鍵點詳細描述

1、Bottom-up Path Augmentation

整體結(jié)構(gòu)圖中 N2=P2，N3~N5 都是通過下面的卷積結(jié)構(gòu)計算得來。

2、Adaptive Feature Pooling

在 FPN 中，不同大小的物體被分給不同的層，比如最小的分給P2，最大的分給P5。這個處理方式很簡單有效，但不一定得到最佳的結(jié)果，例如大小相差10像素的物體可能就被分到不同的層上了。為了得到更優(yōu)的結(jié)果，PANet 索性將每個Proposal 在N2~N5對應(yīng)區(qū)域（結(jié)構(gòu)圖b. 灰色區(qū)域）的特征都用上，具體使用方法為：

1、使用 RoIAlign 對其進行提取得到 4 組相同shape的特征圖。

2、對4組特征進行融合，可以是sum、max、product。

3、使用融合后的特征圖進行分類、bbox預(yù)測、mask預(yù)測。

上述過程在bbox分支和mask分支上執(zhí)行時有所不同：

bbox分支

如下圖所示，bbox分支的具體AFP計算過程如下：

1、先RoIAlign得到等尺寸的4個Feature map

2、使用同一個全連接層對4個 Feature map 分別計算

3、將4組特征進行融合

4、再用一個全連接層計算得到分類和bbox回歸的結(jié)果。

mask分支

mask 分支有4個卷積層，特征融合操作在conv1后進行，具體計算過程如下：

1、先RoIAlign得到等尺寸的4個Feature map

2、使用conv1對4個 Feature map 分別計算

3、將4組特征進行融合

4、使用融合后的特征進行計算后得到最終的mask預(yù)測結(jié)果。

在AFP中還有個細節(jié)：

特征融合應(yīng)該使用哪一種操作？經(jīng)過試驗驗證，使用 max 進行特征融合效果較好。

AFP是否真的有效呢？論文中使用max作為融合函數(shù)后分析發(fā)現(xiàn)，對于原本應(yīng)該分別分配給N2~N5（對應(yīng)下圖level1~4）的 proposals，max函數(shù)提取到的特征其實大多數(shù)都不來自本層，例如level4（N5）只用到了來自level4 40%的特征，也就是說，通過AFP使得模型在預(yù)測時綜合利用了N2~N5的特征，而最后的實驗結(jié)果表明這的確帶來了不少提高。

3、Mask 分支 FCN+Fully-connected 的融合

在 FCN 和 Fully-connected 的融合上，需要確定 Fully-connected 層選擇哪一層進行輸入，以及如何將二者的結(jié)果進行融合。通過實驗發(fā)現(xiàn)，conv3作為 Fully-connected 層的輸入、sum作為融合函數(shù)效果較好。

4、其它細節(jié)

對于多尺度訓(xùn)練，設(shè)置長邊為1400，其他的在400-1400之間。

對于多GPU同步BN， 在一個batch前計算所有樣本的均值和方差，一起更新，而不是batch里面一張一張更新。

heavier head，與 RetinaNet 類似使用4個連續(xù)的 3×3 卷積而不是使用fc層，不同的是box分類和box回歸參數(shù)共享。

Multi-scale Training & Multi-GPU Sync. BN 這兩個技術(shù)幫助網(wǎng)絡(luò)收斂的更好，泛化能力更強。

Bottom-up Path Augmentation 無論是否使用自適應(yīng)池化卷積。自下而上增強路徑提高了預(yù)測mask的表現(xiàn)。這驗證了低層特征信息的有效性。

Adaptive Feature Pooling 無論是否使用自下而上的增強路徑。自適應(yīng)池化濾波都不斷提升性能。其他層的特征對最終預(yù)測是有用的。

Fully-connected Fusion：全連接融合目的是提高mask預(yù)測的質(zhì)量。這對于所有尺度都適用。

Heavier Head：對于bbox訓(xùn)練非常有效，對于mask預(yù)測效果一般。

三、PANet 結(jié)果展示

到此，關(guān)于“PANet的相關(guān)知識點有哪些”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>