clip gradient如何解決梯度爆炸的問題

發(fā)布時(shí)間：2021-06-21 14:41:09 來源：億速云閱讀：196 作者：小新欄目：開發(fā)技術(shù)

這篇文章將為大家詳細(xì)講解有關(guān)clip gradient如何解決梯度爆炸的問題，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

1. 梯度爆炸的影響

在一個(gè)只有一個(gè)隱藏節(jié)點(diǎn)的網(wǎng)絡(luò)中，損失函數(shù)和權(quán)值w偏置b構(gòu)成error surface，其中有一堵墻，如下所示

損失函數(shù)每次迭代都是每次一小步，但是當(dāng)遇到這堵墻時(shí)，在墻上的某點(diǎn)計(jì)算梯度，梯度會(huì)瞬間增大，指向某處不理想的位置。如果我們使用縮放，可以把誤導(dǎo)控制在可接受范圍內(nèi)，如虛線箭頭所示

2. 解決梯度爆炸問題的方法

通常會(huì)使用一種叫”clip gradients “的方法. 它能有效地權(quán)重控制在一定范圍之內(nèi).

算法步驟如下。

首先設(shè)置一個(gè)梯度閾值：clip_gradient

在后向傳播中求出各參數(shù)的梯度，這里我們不直接使用梯度進(jìn)去參數(shù)更新，我們求這些梯度的l2范數(shù)

然后比較梯度的l2范數(shù)||g||與clip_gradient的大小

如果前者大，求縮放因子clip_gradient/||g||,　由縮放因子可以看出梯度越大，則縮放因子越小，這樣便很好地控制了梯度的范圍

最后將梯度乘上縮放因子便得到最后所需的梯度

clip gradient如何解決梯度爆炸的問題

3. 有無clip_gradient在GRU模型中的結(jié)果比較

無clip_gradient

可以很清楚地發(fā)現(xiàn)在2000次迭代出發(fā)生了梯度爆炸，最終影響了訓(xùn)練的效果。　

clip gradient如何解決梯度爆炸的問題

有clip_gradient

可以發(fā)現(xiàn)clip_gradient在前期有效了控制了梯度爆炸的影響，使得最終的loss能下降到滿意的結(jié)果

clip gradient如何解決梯度爆炸的問題

關(guān)于“clip gradient如何解決梯度爆炸的問題”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

猜你喜歡