TensorFlow中怎么實(shí)現(xiàn)批量歸一化

小億
124
2024-05-10 15:18:54

在TensorFlow中實(shí)現(xiàn)批量歸一化可以使用tf.keras.layers.BatchNormalization()函數(shù)來添加批量歸一化層。以下是一個(gè)示例代碼：

import tensorflow as tf

model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(128, input_shape=(784,)),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation('relu'),
    tf.keras.layers.Dense(10),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation('softmax')
])

在上面的代碼中，我們首先創(chuàng)建了一個(gè)Sequential模型，然后通過添加tf.keras.layers.BatchNormalization()層來實(shí)現(xiàn)批量歸一化。在訓(xùn)練過程中，模型將自動(dòng)計(jì)算每個(gè)批次的均值和方差，并將其用于規(guī)范化輸入數(shù)據(jù)。

0 踩