TensorFlow中如何實現(xiàn)權(quán)重的隨機初始化

這篇文章主要介紹了TensorFlow中如何實現(xiàn)權(quán)重的隨機初始化，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

一開始沒看懂stddev是什么參數(shù)，找了一下，在tensorflow/python/ops里有random_ops，其中是這么寫的：

def random_normal(shape, mean=0.0, stddev=1.0, dtype=types.float32,
         seed=None, name=None):
 """Outputs random values from a normal distribution.

 Args:
  shape: A 1-D integer Tensor or Python array. The shape of the output tensor.
  mean: A 0-D Tensor or Python value of type `dtype`. The mean of the normal
   distribution.
  stddev: A 0-D Tensor or Python value of type `dtype`. The standard deviation
   of the normal distribution.
  dtype: The type of the output.
  seed: A Python integer. Used to create a random seed for the distribution.
   See
   [`set_random_seed`](../../api_docs/python/constant_op.md#set_random_seed)
   for behavior.
  name: A name for the operation (optional).

 Returns:
  A tensor of the specified shape filled with random normal values.
 """

也就是按照正態(tài)分布初始化權(quán)重，mean是正態(tài)分布的平均值，stddev是正態(tài)分布的標(biāo)準(zhǔn)差（standard deviation），seed是作為分布的random seed（隨機種子，我百度了一下，跟什么偽隨機數(shù)發(fā)生器還有關(guān)，就是產(chǎn)生隨機數(shù)的），在mnist/concolutional中seed賦值為66478，挺有意思，不知道是什么原理。

后面還有truncated_normal的定義：

def truncated_normal(shape, mean=0.0, stddev=1.0, dtype=types.float32,
           seed=None, name=None):
 """Outputs random values from a truncated normal distribution.

 The generated values follow a normal distribution with specified mean and
 standard deviation, except that values whose magnitude is more than 2 standard
 deviations from the mean are dropped and re-picked.

 Args:
  shape: A 1-D integer Tensor or Python array. The shape of the output tensor.
  mean: A 0-D Tensor or Python value of type `dtype`. The mean of the
   truncated normal distribution.
  stddev: A 0-D Tensor or Python value of type `dtype`. The standard deviation
   of the truncated normal distribution.
  dtype: The type of the output.
  seed: A Python integer. Used to create a random seed for the distribution.
   See
   [`set_random_seed`](../../api_docs/python/constant_op.md#set_random_seed)
   for behavior.
  name: A name for the operation (optional).

 Returns:
  A tensor of the specified shape filled with random truncated normal values.
 """

截斷正態(tài)分布，以前都沒聽說過。

TensorFlow還提供了平均分布等。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“TensorFlow中如何實現(xiàn)權(quán)重的隨機初始化”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!