EfficientNet是什么意思

這篇文章主要為大家展示了“EfficientNet是什么意思”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“EfficientNet是什么意思”這篇文章吧。

簡(jiǎn)介

EfficientNet源自Google Brain的論文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. 從標(biāo)題也可以看出，這篇論文最主要的創(chuàng)新點(diǎn)是Model Scaling. 論文提出了compound scaling，混合縮放，把網(wǎng)絡(luò)縮放的三種方式：深度、寬度、分辨率，組合起來(lái)按照一定規(guī)則縮放，從而提高網(wǎng)絡(luò)的效果。EfficientNet在網(wǎng)絡(luò)變大時(shí)效果提升明顯，把精度上限進(jìn)一步提升，成為了當(dāng)前最強(qiáng)網(wǎng)絡(luò)。EfficientNet-B7在ImageNet上獲得了最先進(jìn)的 84.4%的top-1精度 和 97.1%的top-5精度，比之前最好的卷積網(wǎng)絡(luò)（GPipe, Top-1: 84.3%, Top-5: 97.0%）大小縮小8.4倍、速度提升6.1倍。

EfficientNet的主要?jiǎng)?chuàng)新點(diǎn)并不是結(jié)構(gòu)，不像ResNet、SENet發(fā)明了shortcut或attention機(jī)制，EfficientNet的base結(jié)構(gòu)是利用結(jié)構(gòu)搜索搜出來(lái)的，然后使用compound scaling規(guī)則放縮，得到一系列表現(xiàn)優(yōu)異的網(wǎng)絡(luò)：B0~B7. 下面兩幅圖分別是ImageNet的Top-1 Accuracy隨參數(shù)量和flops變化關(guān)系圖，可以看到EfficientNet飽和值高，并且到達(dá)速度快。

原理

增加網(wǎng)絡(luò)參數(shù)可以獲得更好的精度（有足夠的數(shù)據(jù)，不過(guò)擬合的條件下），例如ResNet可以加深從ResNet-18到ResNet-200，GPipe將baseline模型放大四倍在ImageNet數(shù)據(jù)集上獲得了84.3%的top-1精度。增加網(wǎng)絡(luò)參數(shù)的方式有三種：深度、寬度和分辨率。

深度是指網(wǎng)絡(luò)的層數(shù)，寬度指網(wǎng)絡(luò)中卷積的channel數(shù)（例如wide resnet中通過(guò)增加channel數(shù)獲得精度收益），分辨率是指通過(guò)網(wǎng)絡(luò)輸入大?。ɡ鐝?12x112到224x224）

直觀上來(lái)講，這三種縮放方式并不不獨(dú)立。對(duì)于分辨率高的圖像，應(yīng)該用更深的網(wǎng)絡(luò)，因?yàn)樾枰蟮母惺芤?，同時(shí)也應(yīng)該增加網(wǎng)絡(luò)寬度來(lái)獲得更細(xì)粒度的特征。

之前增加網(wǎng)絡(luò)參數(shù)都是單獨(dú)放大這三種方式中的一種，并沒(méi)有同時(shí)調(diào)整，也沒(méi)有調(diào)整方式的研究。EfficientNet使用了compound scaling方法，統(tǒng)一縮放網(wǎng)絡(luò)深度、寬度和分辨率。

如下圖所示，(a)為baseline網(wǎng)絡(luò)，(b)、(c)、(d)為單獨(dú)通過(guò)增加width，depth以及resolution使得網(wǎng)絡(luò)變大的方式，(e)為compound scaling的方式。

EfficientNet中的base網(wǎng)絡(luò)是和MNAS采用類似的方法（唯一區(qū)別在于目標(biāo)從硬件延時(shí)改為了FLOPS），使用了compound scaling后，效果非常顯著，在不同參數(shù)量和計(jì)算量都取得了多倍的提升。

此外，作者為了驗(yàn)證單獨(dú)compound scaling的收益，base網(wǎng)絡(luò)不使用MNAS網(wǎng)絡(luò)結(jié)構(gòu)搜索的結(jié)果，直接使用MobileNets和ResNet作為base進(jìn)行scaling，結(jié)果顯示在FLOPS接近的情況下，Top-1 Acc有0.6~1.4%的提升。

最后，EfficientNet的延時(shí)相對(duì)于ResNet/GPipe也有5~6倍的提升。

以上是“EfficientNet是什么意思”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！