溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

tensorflow如何查看梯度方式

發(fā)布時(shí)間：2021-05-08 10:01:44 來源：億速云 閱讀：251 作者：小新 欄目：開發(fā)技術(shù)

這篇文章主要介紹tensorflow如何查看梯度方式，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

1. 為什么要查看梯度

對(duì)于初學(xué)者來說網(wǎng)絡(luò)經(jīng)常不收斂，loss很奇怪（就是不收斂），所以懷疑是反向傳播中梯度的問題

（1）求導(dǎo)之后的數(shù)（的絕對(duì)值）越來越?。ㄚ吔?），這就是梯度消失

（2）求導(dǎo)之后的數(shù)（的絕對(duì)值）越來越大（特別大，發(fā)散），這就是梯度爆炸

所以說呢，當(dāng)loss不正常時(shí)，可以看看梯度是否處于爆炸，或者是消失了，梯度爆炸的話，網(wǎng)絡(luò)中的W也會(huì)很大，人工控制一下（初始化的時(shí)候弄小點(diǎn)等等肯定還有其它方法，只是我不知道，知道的大神也可以稍微告訴我一下~~），要是梯度消失，可以試著用用resnet,densenet之類的

2. tensorflow中如何查看梯度

tf.gradients(y,x)這里的就是y對(duì)于x的導(dǎo)數(shù)（dy/dx）,x和y一定要有關(guān)聯(lián)哦~

直接tf.gradients(y_, weight1)就可以了~

以上是“tensorflow如何查看梯度方式”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手