溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了tensorflow如何實現(xiàn)自定義梯度反向傳播，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
以sign函數(shù)為例：
sign函數(shù)可以對數(shù)值進行二值化，但在梯度反向傳播是不好處理，一般采用一個近似函數(shù)的梯度作為代替，如上圖的Htanh。在[-1,1]直接梯度為1，其他為0。
#使用修飾器，建立梯度反向傳播函數(shù)。其中op.input包含輸入值、輸出值，grad包含上層傳來的梯度
@tf.RegisterGradient("QuantizeGrad")
def sign_grad(op, grad):
input = op.inputs[0]
cond = (input>=-1)&(input<=1)
zeros = tf.zeros_like(grad)
return tf.where(cond, grad, zeros)
#使用with上下文管理器覆蓋原始的sign梯度函數(shù)
def binary(input):
x = input
with tf.get_default_graph().gradient_override_map({"Sign":'QuantizeGrad'}):
x = tf.sign(x)
return x
#使用
x = binary(x)感謝你能夠認真閱讀完這篇文章，希望小編分享的“tensorflow如何實現(xiàn)自定義梯度反向傳播”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業(yè)資訊頻道，更多相關知識等著你來學習!
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。
