大數(shù)據(jù)中正則化方法、dropout、數(shù)據(jù)集擴(kuò)增的示例分析

這篇文章主要介紹大數(shù)據(jù)中正則化方法、dropout、數(shù)據(jù)集擴(kuò)增的示例分析，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

正則化方法：防止過擬合，提高泛化能力

在訓(xùn)練數(shù)據(jù)不夠多時(shí)，或者overtraining時(shí)，常常會(huì)導(dǎo)致overfitting（過擬合）。其直觀的表現(xiàn)如下圖所示，隨著訓(xùn)練過程的進(jìn)行，模型復(fù)雜度增加，在training data上的error漸漸減小，但是在驗(yàn)證集上的error卻反而漸漸增大——因?yàn)橛?xùn)練出來的網(wǎng)絡(luò)過擬合了訓(xùn)練集，對(duì)訓(xùn)練集外的數(shù)據(jù)卻不work。

為了防止overfitting，可以用的方法有很多，下文就將以此展開。有一個(gè)概念需要先說明，在機(jī)器學(xué)習(xí)算法中，我們常常將原始數(shù)據(jù)集分為三部分：training data、validation data，testing data。這個(gè)validation data是什么？它其實(shí)就是用來避免過擬合的，在訓(xùn)練過程中，我們通常用它來確定一些超參數(shù)（比如根據(jù)validation data上的accuracy來確定early stopping的epoch大小、根據(jù)validation data確定learning rate等等）。那為啥不直接在testing data上做這些呢？因?yàn)槿绻趖esting data做這些，那么隨著訓(xùn)練的進(jìn)行，我們的網(wǎng)絡(luò)實(shí)際上就是在一點(diǎn)一點(diǎn)地overfitting我們的testing data，導(dǎo)致最后得到的testing accuracy沒有任何參考意義。因此，training data的作用是計(jì)算梯度更新權(quán)重，validation data如上所述，testing data則給出一個(gè)accuracy以判斷網(wǎng)絡(luò)的好壞。

避免過擬合的方法有很多：early stopping、數(shù)據(jù)集擴(kuò)增（Data augmentation）、正則化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。

L2 regularization（權(quán)重衰減）

L2正則化就是在代價(jià)函數(shù)后面再加上一個(gè)正則化項(xiàng)：

C0代表原始的代價(jià)函數(shù)，后面那一項(xiàng)就是L2正則化項(xiàng)，它是這樣來的：所有參數(shù)w的平方的和，除以訓(xùn)練集的樣本大小n。λ就是正則項(xiàng)系數(shù)，權(quán)衡正則項(xiàng)與C0項(xiàng)的比重。另外還有一個(gè)系數(shù)1/2，1/2經(jīng)常會(huì)看到，主要是為了后面求導(dǎo)的結(jié)果方便，后面那一項(xiàng)求導(dǎo)會(huì)產(chǎn)生一個(gè)2，與1/2相乘剛好湊整。

L2正則化項(xiàng)是怎么避免overfitting的呢？我們推導(dǎo)一下看看，先求導(dǎo)：

可以發(fā)現(xiàn)L2正則化項(xiàng)對(duì)b的更新沒有影響，但是對(duì)于w的更新有影響:

在不使用L2正則化時(shí)，求導(dǎo)結(jié)果中w前系數(shù)為1，現(xiàn)在w前面系數(shù)為 1?ηλ/n ，因?yàn)棣?、λ、n都是正的，所以 1?ηλ/n小于1，它的效果是減小w，這也就是權(quán)重衰減（weight decay）的由來。當(dāng)然考慮到后面的導(dǎo)數(shù)項(xiàng)，w最終的值可能增大也可能減小。

另外，需要提一下，對(duì)于基于mini-batch的隨機(jī)梯度下降，w和b更新的公式跟上面給出的有點(diǎn)不同：

對(duì)比上面w的更新公式，可以發(fā)現(xiàn)后面那一項(xiàng)變了，變成所有導(dǎo)數(shù)加和，乘以η再除以m，m是一個(gè)mini-batch中樣本的個(gè)數(shù)。

到目前為止，我們只是解釋了L2正則化項(xiàng)有讓w“變小”的效果，但是還沒解釋為什么w“變小”可以防止overfitting？一個(gè)所謂“顯而易見”的解釋就是：更小的權(quán)值w，從某種意義上說，表示網(wǎng)絡(luò)的復(fù)雜度更低，對(duì)數(shù)據(jù)的擬合剛剛好（這個(gè)法則也叫做奧卡姆剃刀），而在實(shí)際應(yīng)用中，也驗(yàn)證了這一點(diǎn)，L2正則化的效果往往好于未經(jīng)正則化的效果。當(dāng)然，對(duì)于很多人（包括我）來說，這個(gè)解釋似乎不那么顯而易見，所以這里添加一個(gè)稍微數(shù)學(xué)一點(diǎn)的解釋（引自知乎）：

過擬合的時(shí)候，擬合函數(shù)的系數(shù)往往非常大，為什么？如下圖所示，過擬合，就是擬合函數(shù)需要顧忌每一個(gè)點(diǎn)，最終形成的擬合函數(shù)波動(dòng)很大。在某些很小的區(qū)間里，函數(shù)值的變化很劇烈。這就意味著函數(shù)在某些小區(qū)間里的導(dǎo)數(shù)值（絕對(duì)值）非常大，由于自變量值可大可小，所以只有系數(shù)足夠大，才能保證導(dǎo)數(shù)值很大。

而正則化是通過約束參數(shù)的范數(shù)使其不要太大，所以可以在一定程度上減少過擬合情況。

L1 regularization

在原始的代價(jià)函數(shù)后面加上一個(gè)L1正則化項(xiàng)，即所有權(quán)重w的絕對(duì)值的和，乘以λ/n（這里不像L2正則化項(xiàng)那樣，需要再乘以1/2，具體原因上面已經(jīng)說過。）

同樣先計(jì)算導(dǎo)數(shù)：

上式中sgn(w)表示w的符號(hào)。那么權(quán)重w的更新規(guī)則為：

比原始的更新規(guī)則多出了η * λ * sgn(w)/n這一項(xiàng)。當(dāng)w為正時(shí)，更新后的w變小。當(dāng)w為負(fù)時(shí)，更新后的w變大——因此它的效果就是讓w往0靠，使網(wǎng)絡(luò)中的權(quán)重盡可能為0，也就相當(dāng)于減小了網(wǎng)絡(luò)復(fù)雜度，防止過擬合。

另外，上面沒有提到一個(gè)問題，當(dāng)w為0時(shí)怎么辦？當(dāng)w等于0時(shí)，|W|是不可導(dǎo)的，所以我們只能按照原始的未經(jīng)正則化的方法去更新w，這就相當(dāng)于去掉η*λ*sgn(w)/n這一項(xiàng)，所以我們可以規(guī)定sgn(0)=0，這樣就把w=0的情況也統(tǒng)一進(jìn)來了。（在編程的時(shí)候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）

Dropout

L1、L2正則化是通過修改代價(jià)函數(shù)來實(shí)現(xiàn)的，而Dropout則是通過修改神經(jīng)網(wǎng)絡(luò)本身來實(shí)現(xiàn)的，它是在訓(xùn)練網(wǎng)絡(luò)時(shí)用的一種技巧（trike）。它的流程如下：

假設(shè)我們要訓(xùn)練上圖這個(gè)網(wǎng)絡(luò)，在訓(xùn)練開始時(shí)，我們隨機(jī)地“刪除”一半的隱層單元，視它們?yōu)椴淮嬖?，得到如下的網(wǎng)絡(luò)：

保持輸入輸出層不變，按照BP算法更新上圖神經(jīng)網(wǎng)絡(luò)中的權(quán)值（虛線連接的單元不更新，因?yàn)樗鼈儽弧芭R時(shí)刪除”了）。

以上就是一次迭代的過程，在第二次迭代中，也用同樣的方法，只不過這次刪除的那一半隱層單元，跟上一次刪除掉的肯定是不一樣的，因?yàn)槲覀兠恳淮蔚际恰半S機(jī)”地去刪掉一半。第三次、第四次……都是這樣，直至訓(xùn)練結(jié)束。

以上就是Dropout，它為什么有助于防止過擬合呢？可以簡(jiǎn)單地這樣解釋，運(yùn)用了dropout的訓(xùn)練過程，相當(dāng)于訓(xùn)練了很多個(gè)只有半數(shù)隱層單元的神經(jīng)網(wǎng)絡(luò)（后面簡(jiǎn)稱為“半數(shù)網(wǎng)絡(luò)”），每一個(gè)這樣的半數(shù)網(wǎng)絡(luò)，都可以給出一個(gè)分類結(jié)果，這些結(jié)果有的是正確的，有的是錯(cuò)誤的。隨著訓(xùn)練的進(jìn)行，大部分半數(shù)網(wǎng)絡(luò)都可以給出正確的分類結(jié)果，那么少數(shù)的錯(cuò)誤分類結(jié)果就不會(huì)對(duì)最終結(jié)果造成大的影響。

更加深入地理解，可以看看Hinton和Alex兩牛2012的論文《ImageNet Classification with Deep Convolutional Neural Networks》

數(shù)據(jù)集擴(kuò)增（data augmentation）

“有時(shí)候不是因?yàn)樗惴ê泌A了，而是因?yàn)閾碛懈嗟臄?shù)據(jù)才贏了?！?/p>

不記得原話是哪位大牛說的了，hinton？從中可見訓(xùn)練數(shù)據(jù)有多么重要，特別是在深度學(xué)習(xí)方法中，更多的訓(xùn)練數(shù)據(jù)，意味著可以用更深的網(wǎng)絡(luò)，訓(xùn)練出更好的模型。

既然這樣，收集更多的數(shù)據(jù)不就行啦？如果能夠收集更多可以用的數(shù)據(jù)，當(dāng)然好。但是很多時(shí)候，收集更多的數(shù)據(jù)意味著需要耗費(fèi)更多的人力物力，有弄過人工標(biāo)注的同學(xué)就知道，效率特別低，簡(jiǎn)直是粗活。

所以，可以在原始數(shù)據(jù)上做些改動(dòng)，得到更多的數(shù)據(jù)，以圖片數(shù)據(jù)集舉例，可以做各種變換，如：

• 將原始圖片旋轉(zhuǎn)一個(gè)小角度

• 添加隨機(jī)噪聲

• 一些有彈性的畸變（elastic distortions），論文《Best practices for convolutional neural networks applied to visual document analysis》對(duì)MNIST做了各種變種擴(kuò)增。

• 截取（crop）原始圖片的一部分。比如DeepID中，從一副人臉圖中，截取出了100個(gè)小patch作為訓(xùn)練數(shù)據(jù)，極大地增加了數(shù)據(jù)集。

以上是“大數(shù)據(jù)中正則化方法、dropout、數(shù)據(jù)集擴(kuò)增的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！