GoogleNet的Inception從v1到v4的演變是怎樣的

0 概述

GoogleNet和VGG是ImageNet挑戰(zhàn)賽中的第一名和第二名。共同特點就是兩個網(wǎng)絡的層次都更深了。但是：

• VGG繼承了LeNet和AlexNet的一些框架結(jié)構(gòu)
• 而GoogleNet則做了更大膽的嘗試，雖然深度有22層，但是參數(shù)卻是Alexnet的1/12.而VGG都是Alexnet的三倍，由此可見，在內(nèi)存和計算資源有限的時候，GoogleNet是好的結(jié)構(gòu)，而且這個的性能更加優(yōu)越，碾壓VGG。

1 Inception v1

總之，Inception是GoogLeNet的核心，GoogLeNet優(yōu)秀，一方面是運算速度快，而這就是Inception的功勞。設計一個稀疏網(wǎng)絡結(jié)構(gòu)，但是怎么產(chǎn)生稠密的數(shù)據(jù)呢。就用這個!CNN中常見的三種卷積核，和池化操作堆疊在一起，一方面增加了網(wǎng)絡的寬度，另一方面也加強了網(wǎng)絡對尺度的是影響。但是這個原始的版本思路是好的，但是計算量太大了，因此作者對3x3和5x5的卷積層之前用了1x1的縮小圖片的channel數(shù)量，因此V1是這個樣子：

【1x1的卷積核有什么用呢？】

1x1卷積的主要目的是為了減少維度，還用于修正線性激活（ReLU）。比如，上一層的輸出為100x100x128，經(jīng)過具有256個通道的5x5卷積層之后(stride=1，pad=2)，輸出數(shù)據(jù)為100x100x256，其中，卷積層的參數(shù)為128x5x5x256= 819200。而假如上一層輸出先經(jīng)過具有32個通道的1x1卷積層，再經(jīng)過具有256個輸出的5x5卷積層，那么輸出數(shù)據(jù)仍為為100x100x256，但卷積參數(shù)量已經(jīng)減少為128x1x1x32 + 32x5x5x256= 204800，大約減少了4倍。

【為什么會有池化層在其中呢？】

一般來說，想讓圖像縮小，有以下兩種方式：但是左邊的方法先池化層后inception，這樣會導致特征的缺失，而右邊的方法，會導致運算量很大。為了同時保持特征并且降低運算發(fā)，將網(wǎng)絡改成下圖，使用兩個并行化的模塊來降低計算量，也就是池化，卷積并行，然后再合并

2 inception V2

設計人員想，如果只是單純的堆疊網(wǎng)絡，雖然可以提高準確率，但是會導致計算效率的下降，如何在不增加過多額計算量的同時提高網(wǎng)絡的表達能力呢？

【卷積分解（Fatorizing Convolutions）】

大尺寸的卷積核可以帶來更大的感受野，但是也意味著更多的參數(shù)，比如size=5的卷積核有25個參數(shù)，size=3的有9個參數(shù)。GoogLeNet團隊提出可以用2個連續(xù)的3x3的卷積核組成小網(wǎng)絡來代替單個size=5的卷積層：通過大量的實驗證明，這樣的方案并不會導致表達的缺失。更進一步，團隊考慮了nx1的卷積核，如下圖：因此，任意的nxn的卷積都可以通過nx1后接上1xn來代替。但是團隊發(fā)現(xiàn)在網(wǎng)絡的前期使用這樣分解的效果并不好，在中部使用效果才會好。

         

團隊更新了網(wǎng)絡中的Inception的結(jié)構(gòu)，如下圖：

figure5是原來的v1版本，然后figure6是改成兩個3x3的版本，然后figure7是改成了1xn和nx1的版本。

3 inception v3

最重要的改進就是分解Factorization，把7x7分解成兩個一維的卷積（1x7和7x1），3x3的也是一樣，這樣的好處是，既可以加速運算，又可以將一個卷積拆成兩個卷積，這樣使得網(wǎng)絡的深度進一步加深，并且增加了網(wǎng)絡的非線性。（每增加一層都要用ReLU），此時網(wǎng)絡的輸入也從224x224變成299x299。

4 Inception v4

研究了Inception模塊與殘差連接的結(jié)合，ResNet結(jié)構(gòu)大大加深了網(wǎng)絡的深度，而且極大的提高了訓練速度?？傊琁nception v4就是利用殘差連接（Residual Connection)來改進v3，得到Inception-ResNet-v1, Inception-ResNet-v2, Inception-v4網(wǎng)絡 我們先簡單的看一下什么是殘差結(jié)構(gòu)：

結(jié)合起來就是：

然后通過二十個類似的模塊，得到：