大數(shù)據(jù)中梯度消失與梯度膨脹以及6種解決措施分別是什么

1.梯度消失

根據(jù)鏈?zhǔn)椒▌t，如果每一層神經(jīng)元對上一層的輸出的偏導(dǎo)乘上權(quán)重結(jié)果都小于1的話，那么即使這個結(jié)果是0.99，在經(jīng)過足夠多層傳播之后，誤差對輸入層的偏導(dǎo)會趨于0。

這種情況會導(dǎo)致靠近輸入層的隱含層神經(jīng)元調(diào)整極小。

2.梯度膨脹

根據(jù)鏈?zhǔn)椒▌t，如果每一層神經(jīng)元對上一層的輸出的偏導(dǎo)乘上權(quán)重結(jié)果都大于1的話，在經(jīng)過足夠多層傳播之后，誤差對輸入層的偏導(dǎo)會趨于無窮大。

這種情況又會導(dǎo)致靠近輸入層的隱含層神經(jīng)元調(diào)整變動極大。

3. 梯度消失和梯度膨脹的解決方案

本文提供6種常見的解決梯度消失和膨脹的方法，歡迎閱讀學(xué)習(xí)。

3.1 預(yù)訓(xùn)練加微調(diào)

此方法來自Hinton在2006年發(fā)表的一篇論文，Hinton為了解決梯度的問題，提出采取無監(jiān)督逐層訓(xùn)練方法，其基本思想是每次訓(xùn)練一層隱節(jié)點(diǎn)，訓(xùn)練時將上一層隱節(jié)點(diǎn)的輸出作為輸入，而本層隱節(jié)點(diǎn)的輸出作為下一層隱節(jié)點(diǎn)的輸入，此過程就是逐層“預(yù)訓(xùn)練”（pre-training）；在預(yù)訓(xùn)練完成后，再對整個網(wǎng)絡(luò)進(jìn)行“微調(diào)”（fine-tunning）。

Hinton在訓(xùn)練深度信念網(wǎng)絡(luò)（Deep Belief Networks）中，使用了這個方法，在各層預(yù)訓(xùn)練完成后，再利用BP算法對整個網(wǎng)絡(luò)進(jìn)行訓(xùn)練。此思想相當(dāng)于是先尋找局部最優(yōu)，然后整合起來尋找全局最優(yōu)，此方法有一定的好處，但是目前應(yīng)用的不是很多了。

3.2 梯度剪切、正則

梯度剪切這個方案主要是針對梯度爆炸提出的，其思想是設(shè)置一個梯度剪切閾值，然后更新梯度的時候，如果梯度超過這個閾值，那么就將其強(qiáng)制限制在這個范圍之內(nèi)，通過這種直接的方法就可以防止梯度爆炸。

注：在WGAN中也有梯度剪切限制操作，但是和這個是不一樣的，WGAN限制梯度更新信息是為了保證lipchitz條件。

另外一種解決梯度爆炸的手段是采用權(quán)重正則化（weithts regularization）比較常見的是l1正則，和l2正則，在各個深度框架中都有相應(yīng)的API可以使用正則化，比如在tensorflow中，搭建網(wǎng)絡(luò)的時候已經(jīng)設(shè)置了正則化參數(shù)，則調(diào)用以下代碼可以直接計算出正則損失：

regularization_loss = tf.add_n(tf.losses.get_regularization_losses(scope='my_resnet_50'))

如果沒有設(shè)置初始化參數(shù)，也可以使用以下代碼計算l2 正則損失：

l2_loss = tf.add_n([tf.nn.l2_loss(var) for var in tf.trainable_variables() if 'weights' in var.name])

正則化是通過對網(wǎng)絡(luò)權(quán)重做正則限制過擬合，仔細(xì)看正則項(xiàng)在損失函數(shù)的形式：

其中，α 是指正則項(xiàng)系數(shù)，因此，如果發(fā)生梯度爆炸，權(quán)值的范數(shù)就會變的非常大，通過正則化項(xiàng)，可以部分限制梯度爆炸的發(fā)生。

注：事實(shí)上，在深度神經(jīng)網(wǎng)絡(luò)中，往往是梯度消失出現(xiàn)的更多一些。

3.3 relu、leakrelu、elu等激活函數(shù)

Relu:思想也很簡單，如果激活函數(shù)的導(dǎo)數(shù)為1，那么就不存在梯度消失爆炸的問題了，每層的網(wǎng)絡(luò)都可以得到相同的更新速度，relu就這樣應(yīng)運(yùn)而生。