tensorflow實現(xiàn)讀取網(wǎng)絡(luò)weight和bias的方法

發(fā)布時間：2020-06-26 12:46:51 來源：億速云閱讀：964 作者：Leah 欄目：開發(fā)技術(shù)

本篇文章為大家展示了tensorflow實現(xiàn)讀取網(wǎng)絡(luò)weight和bias的方法，代碼簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

(1) 獲取參數(shù)的變量名?？梢允褂靡幌潞瘮?shù)獲取變量名：

def vars_generate1(self,scope_name_var): return [var for var in tf.global_variables() if scope_name_var in var.name ]

輸入你想要讀取的變量的一部分的名稱(scope_name_var)，然后通過這個函數(shù)返回一個List，里面是所有含有這個名稱的變量。

(2) 利用session讀取變量的值：

def get_weight(self):
 full_connect_variable = self.vars_generate1("pred_network/full_connect/l5_conv")
 with tf.Session() as sess:
  sess.run(tf.global_variables_initializer()) ##一定要先初始化變量
  print(sess.run(full_connect_variable[0]))

之后如果想要看參數(shù)隨著訓(xùn)練的變化，你可以將這些參數(shù)保存到一個txt文件里面查看。

補(bǔ)充知識：如何在 PyTorch 中設(shè)定學(xué)習(xí)率衰減（learning rate decay）

tensorflow實現(xiàn)讀取網(wǎng)絡(luò)weight和bias的方法

很多時候我們要對學(xué)習(xí)率（learning rate）進(jìn)行衰減，下面的代碼示范了如何每30個epoch按10%的速率衰減：

def adjust_learning_rate(optimizer, epoch):
 """Sets the learning rate to the initial LR decayed by 10 every 30 epochs"""
 lr = args.lr * (0.1 ** (epoch // 30))
 for param_group in optimizer.param_groups:
  param_group['lr'] = lr

什么是param_groups?

optimizer通過param_group來管理參數(shù)組.param_group中保存了參數(shù)組及其對應(yīng)的學(xué)習(xí)率,動量等等.所以我們可以通過更改param_group[‘lr']的值來更改對應(yīng)參數(shù)組的學(xué)習(xí)率。

# 有兩個`param_group`即,len(optim.param_groups)==2
optim.SGD([
    {'params': model.base.parameters()},
    {'params': model.classifier.parameters(), 'lr': 1e-3}
   ], lr=1e-2, momentum=0.9)
 
#一個參數(shù)組
optim.SGD(model.parameters(), lr=1e-2, momentum=.9)

上述內(nèi)容就是tensorflow實現(xiàn)讀取網(wǎng)絡(luò)weight和bias的方法，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

tensorflow實現(xiàn)讀取網(wǎng)絡(luò)weight和bias的方法

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽