解決tensorflow模型參數(shù)保存和加載的問題

發(fā)布時間：2020-09-26 17:00:34 來源：腳本之家閱讀：264 作者：fresh七天欄目：開發(fā)技術(shù)

終于找到bug原因！記一下；還是不熟悉平臺的原因造成的！

Q：為什么會出現(xiàn)兩個模型對象在同一個文件中一起運行，當直接讀取他們分開運行時訓(xùn)練出來的模型會出錯，而且總是有一個正確，一個讀取錯誤？而直接在同一個文件又訓(xùn)練又重新加載模型預(yù)測不出錯，而且更詭異的是此時用分文件里的對象加載模型不會出錯？

model.py,里面含有 ModelV 和 ModelP，另外還有 modelP.py 和 modelV.py 分別只含有 ModelP 和 ModeV 這兩個對象，先使用 modelP.py 和 modelV.py 分別訓(xùn)練好模型，然后再在 model.py 里加載進來：

# -*- coding: utf8 -*-

import tensorflow as tf

class ModelV():

 def __init__(self):

  self.v1 = tf.Variable(66, name="v1")
  self.v2 = tf.Variable(77, name="v2")
  self.save_path = "model_v/model.ckpt"
  self.init = tf.global_variables_initializer()
  self.saver = tf.train.Saver()
  self.sess = tf.Session()

 def train(self):
  self.sess.run(self.init)
  print 'v2', self.v2.eval(self.sess)

  self.saver.save(self.sess, self.save_path)
  print "ModelV saved."

 def predict(self):

  all_vars = tf.trainable_variables()
  for v in all_vars:
   print(v.name)
  self.saver.restore(self.sess, self.save_path)
  print "ModelV restored."
  print 'v2', self.v2.eval(self.sess)
  print '------------------------------------------------------------------'

class ModelP():

 def __init__(self):

  self.p1 = tf.Variable(88, name="p1")
  self.p2 = tf.Variable(99, name="p2")
  self.save_path = "model_p/model.ckpt"
  self.init = tf.global_variables_initializer()
  self.saver = tf.train.Saver()
  self.sess = tf.Session()

 def train(self):
  self.sess.run(self.init)
  print 'p2', self.p2.eval(self.sess)

  self.saver.save(self.sess, self.save_path)
  print "ModelP saved."

 def predict(self):

  all_vars = tf.trainable_variables()
  for v in all_vars:
   print v.name
  self.saver.restore(self.sess, self.save_path)
  print "ModelP restored."
  print 'p2', self.p2.eval(self.sess)
  print '---------------------------------------------------------------------'


if __name__ == '__main__':
 v = ModelV()
 p = ModelP()
 v.predict()
 #v.train()
 p.predict() 
 #p.train()

這里 tf.global_variables_initializer() 很關(guān)鍵！盡管你是分別在對象 ModelP 和 ModelV 內(nèi)部分配和定義的 tf.Variable()，即 v1 v2 和 p1 p2，但是對 tf 這個模塊而言，這些都是全局變量，可以通過以下代碼查看所有的變量，你就會發(fā)現(xiàn)同一個文件中同時運行 ModelP 和 ModelV 在初始化之后都打印出了一樣的變量，這個是問題的關(guān)鍵所在：

all_vars = tf.trainable_variables()
for v in all_vars:
 print(v.name)

錯誤。你可以交換 modelP 和 modelV 初始化的順序，看看錯誤信息的變化

v1:0
v2:0
p1:0
p2:0
ModelV restored.
v2 77
v1:0
v2:0
p1:0
p2:0
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key v2 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key v1 not found in checkpoint

實際上，分開運行時，模型保存的參數(shù)是正確的，因為在一個模型里的Variable就只有 v1 v2 或者 p1 p2; 但是在一個文件同時運行的時候，模型參數(shù)實際上保存的是 v1 v2 p1 p2四個，因為在默認情況下，創(chuàng)建的Saver，會直接保存所有的參數(shù)。而 Saver.restore() 又是默認（無Variable參數(shù)列表時）按照已經(jīng)定義好的全局模型變量來加載對應(yīng)的參數(shù)值，在進行 ModelV.predict時，按照順序（從debug可以看出，應(yīng)該是按照參數(shù)順序一次檢測）在模型文件中查找相應(yīng)的 key，此時能夠找到對應(yīng)的v1 v2，加載成功，但是在 ModelP.predict時，在model_p的模型文件中找不到 v1 和 v2，只有 p1 和 p2，此時就會報錯；不過這里的第一次加載還有 p1 p2 找不到?jīng)]有報錯，解釋不通，未完待續(xù)

Saver.save() 和 Saver.restore() 是一對，分別只保存和加載模型的參數(shù)，但是模型的結(jié)構(gòu)怎么知道呢? 必須是你定義好了，而且要和保存的模型匹配才能加載；

如果想要在不定義模型的情況下直接加載出模型結(jié)構(gòu)和模型參數(shù)值，使用

# 加載 結(jié)構(gòu)，即 模型參數(shù) 變量等
new_saver = tf.train.import_meta_graph("model_v/model.ckpt.meta")
print "ModelV construct"
all_vars = tf.trainable_variables()
for v in all_vars:
 print v.name
 #print v.name,v.eval(self.sess) # v 都還未初始化，不能求值
# 加載模型 參數(shù)變量 的 值
new_saver.restore(self.sess, tf.train.latest_checkpoint('model_v/'))
print "ModelV restored."
all_vars = tf.trainable_variables()
for v in all_vars:
 print v.name,v.eval(self.sess)

加載結(jié)構(gòu)，即模型參數(shù) 變量等完成后，就會有變量了，但是不能訪問他的值，因為還未賦值，然后再restore一次即可得到值了

那么上述錯誤的解決方法就是這個改進版本的model.py；其實 tf.train.Saver 是可以帶參數(shù)的，他可以保存你想要保存的模型參數(shù)，如果不帶參數(shù)，很可能就會保存 tf.trainable_variables() 所有的variable，而 tf.trainable_variables()又是從 tf 全局得到的，因此只要在模型保存和加載時，構(gòu)造對應(yīng)的帶參數(shù)的tf.train.Saver即可，這樣就會保存和加載正確的模型了

# -*- coding: utf8 -*-

import tensorflow as tf

class ModelV():

 def __init__(self):

  self.v1 = tf.Variable(66, name="v1")
  self.v2 = tf.Variable(77, name="v2")
  self.save_path = "model_v/model.ckpt"
  self.init = tf.global_variables_initializer()

  self.sess = tf.Session()

 def train(self):
  saver = tf.train.Saver([self.v1, self.v2])
  self.sess.run(self.init)
  print 'v2', self.v2.eval(self.sess)

  saver.save(self.sess, self.save_path)
  print "ModelV saved."

 def predict(self):
  saver = tf.train.Saver([self.v1, self.v2])
  all_vars = tf.trainable_variables()
  for v in all_vars:
   print v.name

  v_vars = [v for v in all_vars if v.name == 'v1:0' or v.name == 'v2:0']
  print "ModelV restored."
  saver.restore(self.sess, self.save_path)
  for v in v_vars:
   print v.name,v.eval(self.sess) 
  print 'v2', self.v2.eval(self.sess)
  print '------------------------------------------------------------------'

class ModelP():

 def __init__(self):

  self.p1 = tf.Variable(88, name="p1")
  self.p2 = tf.Variable(99, name="p2")
  self.save_path = "model_p/model.ckpt"
  self.init = tf.global_variables_initializer()
  self.sess = tf.Session()

 def train(self):
  saver = tf.train.Saver([self.p1, self.p2])
  self.sess.run(self.init)
  print 'p2', self.p2.eval(self.sess)

  saver.save(self.sess, self.save_path)
  print "ModelP saved."

 def predict(self):
  saver = tf.train.Saver([self.p1, self.p2])
  all_vars = tf.trainable_variables()
  p_vars = [v for v in all_vars if v.name == 'p1:0' or v.name == 'p2:0']
  for v in all_vars:
   print v.name
   #print v.name,v.eval(self.sess)
  saver.restore(self.sess, self.save_path)
  print "ModelP restored."
  for p in p_vars:
   print p.name,p.eval(self.sess)
  print 'p2', self.p2.eval(self.sess)
  print '----------------------------------------------------------'


if __name__ == '__main__':
 v = ModelV()
 p = ModelP()
 v.predict()
 #v.train()
 p.predict() 
 #p.train()

小結(jié)： 構(gòu)造的Saver 最好帶Variable參數(shù)，這樣保證保存和加載能夠正確執(zhí)行

以上這篇解決tensorflow模型參數(shù)保存和加載的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持億速云。

向AI問一下細節(jié)

解決tensorflow模型參數(shù)保存和加載的問題

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標簽