tf.GradientTape梯度求解利器的示例分析

Tape在英文中是膠帶，磁帶的含義，用在這里是由于eager模式帶來的影響。在TensorFlow 1.x靜態(tài)圖時代，我們知道每個靜態(tài)圖都有兩部分，一部分是前向圖，另一部分是反向圖。反向圖就是用來計算梯度的，用在整個訓(xùn)練過程中。而TensorFlow 2.0默認是eager模式，每行代碼順序執(zhí)行，沒有了構(gòu)建圖的過程（也取消了control_dependency的用法）。但也不能每行都計算一下梯度吧？計算量太大，也沒必要。因此，需要一個上下文管理器（context manager）來連接需要計算梯度的函數(shù)和變量，方便求解同時也提升效率。

舉個例子：計算y=x^2在x = 3時的導(dǎo)數(shù)：

x = tf.constant(3.0)
with tf.GradientTape() as g:
  g.watch(x)
  y = x * x

# y’ = 2*x = 2*3 = 6

dy_dx = g.gradient(y, x) 

例子中的watch函數(shù)把需要計算梯度的變量x加進來了。GradientTape默認只監(jiān)控由tf.Variable創(chuàng)建的traiable=True屬性（默認）的變量。上面例子中的x是constant，因此計算梯度需要增加g.watch(x)函數(shù)。當(dāng)然，也可以設(shè)置不自動監(jiān)控可訓(xùn)練變量，完全由自己指定，設(shè)置watch_accessed_variables=False就行了（一般用不到）。

GradientTape也可以嵌套多層用來計算高階導(dǎo)數(shù)，例如：

x = tf.constant(3.0)
with tf.GradientTape() as g:
  g.watch(x)
  with tf.GradientTape() as gg:
    gg.watch(x)
    y = x * x

  # y’ = 2*x = 2*3 =6   

  dy_dx = gg.gradient(y, x)

# y’’ = 2    
d2y_dx2 = g.gradient(dy_dx, x) 

另外，默認情況下GradientTape的資源在調(diào)用gradient函數(shù)后就被釋放，再次調(diào)用就無法計算了。所以如果需要多次計算梯度，需要開啟persistent=True屬性，例如：

x = tf.constant(3.0)
with tf.GradientTape(persistent=True) as g:
  g.watch(x)
  y = x * x
  z = y * y

# z = y^2 = x^4, z’ = 4*x^3 = 4*3^3

dz_dx = g.gradient(z, x)  

# y’ = 2*x = 2*3 = 6

dy_dx = g.gradient(y, x)  

del g  # 刪除這個上下文膠帶

最后，一般在網(wǎng)絡(luò)中使用時，不需要顯式調(diào)用watch函數(shù)，使用默認設(shè)置，GradientTape會監(jiān)控可訓(xùn)練變量，例如：

with tf.GradientTape() as tape:
    predictions = model(images)
    loss = loss_object(labels, predictions)
gradients = tape.gradient(loss, model.trainable_variables)

這樣即可計算出所有可訓(xùn)練變量的梯度，然后進行下一步的更新。對于TensorFlow 2.0，推薦大家使用這種方式計算梯度，并且可以在eager模式下查看具體的梯度值。