CNN中網(wǎng)絡(luò)GoogLeNet的相關(guān)知識(shí)有哪些

本文小編為大家詳細(xì)介紹“CNN中網(wǎng)絡(luò)GoogLeNet的相關(guān)知識(shí)有哪些”，內(nèi)容詳細(xì)，步驟清晰，細(xì)節(jié)處理妥當(dāng)，希望這篇“CNN中網(wǎng)絡(luò)GoogLeNet的相關(guān)知識(shí)有哪些”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來學(xué)習(xí)新知識(shí)吧。

GoogLeNet網(wǎng)絡(luò)是由Christian Szegedy在Google Research中發(fā)展起來的，該網(wǎng)絡(luò)贏得2014年ILSVRC的冠軍，成功的把top-5的錯(cuò)誤率降到了7%，很大一個(gè)原因就是因?yàn)檫@個(gè)網(wǎng)絡(luò)比之前介紹的CNN有更深的層。雖然層數(shù)更深，但是權(quán)重參數(shù)卻是更少，比前面學(xué)的AlexNet網(wǎng)絡(luò)要少上10倍。為什么呢？

一. Inception Module

那是因?yàn)樵摼W(wǎng)絡(luò)中有很大一部分的子網(wǎng)絡(luò)是由如下圖的Inception Module組成，我們來看一下下面的這個(gè)Inception Module：

其中表示“3x3+1(S)”表示該層的卷積核大小為3x3，stride為1，S means SAME padding。從上面的網(wǎng)絡(luò)可以看出，首先輸入信號(hào)被copy并輸入到四個(gè)不同的層中，所有的卷積層都用ReLU激活函數(shù)。注意到上面的卷積層用的分別用1x1, 3x3, 5x5的卷積核，這樣有助于捕捉到不同尺度的pattern。還有每個(gè)層都用了SAME padding，這就意味著，輸入圖像的寬高和輸出的寬高是一致的，這就能夠使得最終的Depth Concat能夠?qū)崿F(xiàn)（不同size的圖像無法疊加）。在TensorFlow中，Depth Concat的實(shí)現(xiàn)是由concat()函數(shù)實(shí)現(xiàn)的，將其中的參數(shù)axis設(shè)為3.

我們可能已經(jīng)發(fā)現(xiàn)，為什么會(huì)有一些卷積核的size是1x1呢？由于只有一顆像素，所以這些卷積層其實(shí)是無法獲取任何特征的。事實(shí)上，這種層有兩個(gè)目的：

• 首先就是降維，這些層的作用是使得輸出的深度比輸入的低，所以又稱為瓶頸層，這樣就達(dá)到一個(gè)降維的目的。這個(gè)效果在3x3和5x5的卷積層之前就特別有效，大大降低了訓(xùn)練權(quán)重的數(shù)量。

• 還有就是每一對(duì)([1x1,3x3]和[1x1,5x5])的卷積層，像一個(gè)強(qiáng)大的卷積層，能夠捕獲更為復(fù)雜的pattern.事實(shí)上確實(shí)如此，一個(gè)單層的卷積層就像是一個(gè)簡單的線性分類器滑過圖像，而該組合相當(dāng)于是兩層神經(jīng)網(wǎng)絡(luò)滑過圖像。

每一個(gè)卷積層中卷積核的數(shù)量都是一個(gè)超參數(shù)，這就意味著一個(gè)Inception Module就有6個(gè)超參數(shù)需要調(diào)節(jié)。

二. GoogLeNet 構(gòu)成

來我們一起看下GoogLeNet的構(gòu)成，如下圖。圖中包含有9個(gè)inception module（圖中帶有螺旋形的標(biāo)識(shí)）。inception module上的6個(gè)數(shù)字分別對(duì)應(yīng)上圖中每一個(gè)卷積層的輸出個(gè)數(shù)。并且圖中所有的卷積層都使用ReLU激活函數(shù)。

我們來一起看下這個(gè)網(wǎng)絡(luò)：

• 為了降低計(jì)算負(fù)載，前兩層的stride=2，意味著將圖像的寬高分別除以4，面積縮小到之前的1/16。

• 為了使前面的層能夠?qū)W到更多的特征，接著用了局部響應(yīng)正則化（上期一起學(xué)過的）。

• 再接下來就是兩個(gè)卷積層，類似一個(gè)瓶頸層，可以看做是一個(gè)智能卷積層。

• 下面又是一個(gè)局部響應(yīng)正則化的層，來保證能夠?qū)W到更多的特征。

• 接著用一個(gè)stride為2的最大值池化層來降低計(jì)算負(fù)載。

• 接著就是9個(gè)inception module，中間插了兩個(gè)最大值池化層，來降維加速 。

• 接下來用了一個(gè)均值池化層，并且VALID padding。輸出圖像的size為1x1，這種策略稱為全局均值池化。該策略能夠很好的強(qiáng)迫之前的層輸出更為有效的特征，因?yàn)槠渌卣鲗?huì)被均值被過濾掉。這樣就使得后面的全連接層比較少，沒有必要像AlexNet那樣有好幾個(gè)全連接層。

• 最后就不說了，一個(gè)Dropout正則化，一個(gè)全連接層和softmax激活函數(shù)來獲取輸出結(jié)果。

上面的這個(gè)圖相對(duì)來說更簡單一些，原始的GoogLeNet在第三個(gè)和第六個(gè)inception module頂端還包含了兩個(gè)輔助的分類器，他們都是由一個(gè)均值池化層，一個(gè)卷積層，兩個(gè)全連接層和一個(gè)softmax激活層組成。在訓(xùn)練期間，他們損失的70%被加到網(wǎng)絡(luò)整體損失中，這樣做是為了防止梯度消失，并且正則化網(wǎng)絡(luò)。然而，效果卻相對(duì)較小。

讀到這里，這篇“CNN中網(wǎng)絡(luò)GoogLeNet的相關(guān)知識(shí)有哪些”文章已經(jīng)介紹完畢，想要掌握這篇文章的知識(shí)點(diǎn)還需要大家自己動(dòng)手實(shí)踐使用過才能領(lǐng)會(huì)，如果想了解更多相關(guān)內(nèi)容的文章，歡迎關(guān)注億速云行業(yè)資訊頻道。