如何在python中使用Tensorflow訓練BP神經網絡

如何在python中使用Tensorflow訓練BP神經網絡？針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

使用軟件

Python 3.8，Tensorflow2.0

問題描述

鳶尾花主要分為狗尾草鳶尾(0)、雜色鳶尾(1)、弗吉尼亞鳶尾(2)。
人們發(fā)現(xiàn)通過計算鳶尾花的花萼長、花萼寬、花瓣長、花瓣寬可以將鳶尾花分類。
所以只要給出足夠多的鳶尾花花萼、花瓣數(shù)據，以及對應種類，使用合適的神經網絡訓練，就可以實現(xiàn)鳶尾花分類。

搭建神經網絡

輸入數(shù)據是花萼長、花萼寬、花瓣長、花瓣寬，是n行四列的矩陣。
而輸出的是每個種類的概率，是n行三列的矩陣。
我們采用BP神經網絡，設X為輸入數(shù)據，Y為輸出數(shù)據，W為權重，B偏置。有

y=x?w+b

因為x為n行四列的矩陣，y為n行三列的矩陣，所以w必須為四行三列的矩陣，每個神經元對應一個b，所以b為一行三列的的矩陣。
神經網絡如下圖。

所以，只要找到合適的w和b，就能準確判斷鳶尾花的種類。
下面就開始對這兩個參數(shù)進行訓練。

訓練參數(shù)

損失函數(shù)

損失函數(shù)表達的是預測值(y*)和真實值(y)的差距，我們采用均方誤差公式作為損失函數(shù)。

損失函數(shù)值越小，說明預測值和真實值越接近，w和b就越合適。
如果人來一組一組試，那肯定是不行的。所以我們采用梯度下降算法來找到損失函數(shù)最小值。
梯度：對函數(shù)求偏導的向量。梯度下降的方向就是函數(shù)減少的方向。

其中a為學習率，即梯度下降的步長，如果a太大，就可能錯過最優(yōu)值，如果a太小，則就需要更多步才能找到最優(yōu)值。所以選擇合適的學習率很關鍵。

參數(shù)優(yōu)化

通過反向傳播來優(yōu)化參數(shù)。
反向傳播：從后向前，逐層求損失函數(shù)對每層神經元參數(shù)的偏導數(shù)，迭代更新所有參數(shù)。
比如

可以看到w會逐漸趨向于loss的最小值0。
以上就是我們訓練的全部關鍵點。

代碼

數(shù)據集

我們使用sklearn包提供的鳶尾花數(shù)據集。共150組數(shù)據。
打亂保證數(shù)據的隨機性，取前120個為訓練集，后30個為測試集。

# 導入數(shù)據，分別為輸入特征和標簽
x_data = datasets.load_iris().data ## 存花萼、花瓣特征數(shù)據
y_data = datasets.load_iris().target # 存對應種類
# 隨機打亂數(shù)據（因為原始數(shù)據是順序的，順序不打亂會影響準確率）
# seed: 隨機數(shù)種子，是一個整數(shù)，當設置之后，每次生成的隨機數(shù)都一樣（為方便教學，以保每位同學結果一致）
np.random.seed(116)  # 使用相同的seed，保證輸入特征和標簽一一對應
np.random.shuffle(x_data)
np.random.seed(116)
np.random.shuffle(y_data)
tf.random.set_seed(116)
# 將打亂后的數(shù)據集分割為訓練集和測試集，訓練集為前120行，測試集為后30行
x_train = x_data[:-30]
y_train = y_data[:-30]
x_test = x_data[-30:]
y_test = y_data[-30:]
# 轉換x的數(shù)據類型，否則后面矩陣相乘時會因數(shù)據類型不一致報錯
x_train = tf.cast(x_train, tf.float32)
x_test = tf.cast(x_test, tf.float32)
# from_tensor_slices函數(shù)使輸入特征和標簽值一一對應。（把數(shù)據集分批次，每個批次batch組數(shù)據）
train_db = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32)
test_db = tf.data.Dataset.from_tensor_slices((x_test, y_test)).batch(32)

參數(shù)

# 生成神經網絡的參數(shù)，4個輸入特征故，輸入層為4個輸入節(jié)點；因為3分類，故輸出層為3個神經元
# 用tf.Variable()標記參數(shù)可訓練
w1 = tf.Variable(tf.random.truncated_normal([4, 3], stddev=0.1)) # 四行三列,方差為0.1
b1 = tf.Variable(tf.random.truncated_normal([3], stddev=0.1)) # 一行三列,方差為0.1

訓練

a = 0.1  # 學習率為0.1
epoch = 500  # 循環(huán)500輪
# 訓練部分
for epoch in range(epoch):  # 數(shù)據集級別的循環(huán)，每個epoch循環(huán)一次數(shù)據集
    for step, (x_train, y_train) in enumerate(train_db):  # batch級別的循環(huán) ，每個step循環(huán)一個batch
        with tf.GradientTape() as tape:  # with結構記錄梯度信息
            y = tf.matmul(x_train, w1) + b1  # 神經網絡乘加運算
            y = tf.nn.softmax(y)  # 使輸出y符合概率分布
            y_ = tf.one_hot(y_train, depth=3)  # 將標簽值轉換為獨熱碼格式，方便計算loss
            loss = tf.reduce_mean(tf.square(y_ - y))  # 采用均方誤差損失函數(shù)mse = mean(sum(y-y*)^2)
        # 計算loss對w, b的梯度
        grads = tape.gradient(loss, [w1, b1])
        # 實現(xiàn)梯度更新 w1 = w1 - lr * w1_grad    b = b - lr * b_grad
        w1.assign_sub(a * grads[0])  # 參數(shù)w1自更新
        b1.assign_sub(a * grads[1])  # 參數(shù)b自更新

測試

# 測試部分
total_correct, total_number = 0, 0
for x_test, y_test in test_db:
    # 前向傳播求概率
    y = tf.matmul(x_test, w1) + b1
    y = tf.nn.softmax(y)
    predict = tf.argmax(y, axis=1)  # 返回y中最大值的索引，即預測的分類
    # 將predict轉換為y_test的數(shù)據類型
    predict = tf.cast(predict, dtype=y_test.dtype)
    # 若分類正確，則correct=1，否則為0，將bool型的結果轉換為int型
    correct = tf.cast(tf.equal(predict, y_test), dtype=tf.int32)
    # 將每個batch的correct數(shù)加起來
    correct = tf.reduce_sum(correct)
    # 將所有batch中的correct數(shù)加起來
    total_correct += int(correct)
    # total_number為測試的總樣本數(shù)，也就是x_test的行數(shù)，shape[0]返回變量的行數(shù)
    total_number += x_test.shape[0]
# 總的準確率等于total_correct/total_number
acc = total_correct / total_number
print("測試準確率 = %.2f %%" % (acc * 100.0))
my_test = np.array([[5.9, 3.0, 5.1, 1.8]])
print("輸入 5.9  3.0  5.1  1.8")
my_test = tf.convert_to_tensor(my_test)
my_test = tf.cast(my_test, tf.float32)
y = tf.matmul(my_test, w1) + b1
y = tf.nn.softmax(y)
species = {0: "狗尾鳶尾", 1: "雜色鳶尾", 2: "弗吉尼亞鳶尾"}
predict = np.array(tf.argmax(y, axis=1))[0]  # 返回y中最大值的索引，即預測的分類
print("該鳶尾花為：" + species.get(predict))

結果：

Python的優(yōu)點有哪些

1、簡單易用，與C/C++、Java、C# 等傳統(tǒng)語言相比，Python對代碼格式的要求沒有那么嚴格；2、Python屬于開源的，所有人都可以看到源代碼，并且可以被移植在許多平臺上使用；3、Python面向對象，能夠支持面向過程編程,也支持面向對象編程；4、Python是一種解釋性語言，Python寫的程序不需要編譯成二進制代碼，可以直接從源代碼運行程序；5、Python功能強大，擁有的模塊眾多，基本能夠實現(xiàn)所有的常見功能。

關于如何在python中使用Tensorflow訓練BP神經網絡問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業(yè)資訊頻道了解更多相關知識。