如何理解SENet

如何理解SENet，相信很多沒有經(jīng)驗(yàn)的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

SENet是ImageNet 2017（ImageNet收官賽）的冠軍模型，和ResNet的出現(xiàn)類似，都在很大程度上減小了之前模型的錯(cuò)誤率（具體見附錄），并且復(fù)雜度低，新增參數(shù)和計(jì)算量小。下面就來具體介紹一些SENet的神奇之處。

SENet的全稱是Squeeze-and-ExcitationNetworks，中文可以翻譯為壓縮和激勵(lì)網(wǎng)絡(luò)。主要由兩部分組成：

1. Squeeze部分。即為壓縮部分，原始feature map的維度為H*W*C，其中H是高度（Height），W是寬度（width），C是通道數(shù)（channel）。Squeeze做的事情是把H*W*C壓縮為1*1*C，相當(dāng)于把H*W壓縮成一維了，實(shí)際中一般是用global average pooling實(shí)現(xiàn)的。H*W壓縮成一維后，相當(dāng)于這一維參數(shù)獲得了之前H*W全局的視野，感受區(qū)域更廣。

2. Excitation部分。得到Squeeze的1*1*C的表示后，加入一個(gè)FC全連接層（Fully Connected），對每個(gè)通道的重要性進(jìn)行預(yù)測，得到不同channel的重要性大小后再作用（激勵(lì)）到之前的feature map的對應(yīng)channel上，再進(jìn)行后續(xù)操作。

可以看出，SENet和ResNet很相似，但比ResNet做得更多。ResNet只是增加了一個(gè)skip connection，而SENet在相鄰兩層之間加入了處理，使得channel之間的信息交互成為可能，進(jìn)一步提高了網(wǎng)絡(luò)的準(zhǔn)確率。

SENet可以隨意插入到任何網(wǎng)絡(luò)中，提升效果也是比較顯著的，論文中給的結(jié)果是有0.4%~1.8%范圍的error減小。

訓(xùn)練的曲線也很漂亮，最下面橙色的即為SENet的結(jié)果：

附錄：

ImageNet分類Top5錯(cuò)誤率：

2014 GoogLeNet  6.67%

2015 ResNet         3.57%

2016 ~~~             2.99%

2017 SENet           2.25%

看完上述內(nèi)容，你們掌握如何理解SENet的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！