如何解決tensorflow訓(xùn)練時(shí)內(nèi)存持續(xù)增加并占滿的問題

這篇文章將為大家詳細(xì)講解有關(guān)如何解決tensorflow訓(xùn)練時(shí)內(nèi)存持續(xù)增加并占滿的問題，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

先說我出錯(cuò)和解決的過程。在做風(fēng)格遷移實(shí)驗(yàn)時(shí)，使用預(yù)加載權(quán)重的VGG19網(wǎng)絡(luò)正向提取中間層結(jié)果，結(jié)果因?yàn)榇a不當(dāng)，在遍歷圖片提取時(shí)內(nèi)存持續(xù)增長，導(dǎo)致提取幾十個(gè)圖片的特征內(nèi)存就滿了。

原因是在對每一張圖片正向傳播結(jié)束后，都會在留下中間信息。具體地說是在我將正向傳播的代碼與模型的代碼分離了，在每次遍歷圖片時(shí)都會正向傳播，在tensorflow中新增加了很多的計(jì)算節(jié)點(diǎn)（如tf.matmul等等），導(dǎo)致內(nèi)存中遺留了大量的過期信息。

糾正的做法就是一個(gè)前提：避免在循環(huán)訓(xùn)練圖片時(shí)額外使用tf計(jì)算資源。

使用placeholder作為輸入數(shù)據(jù)的入口，在模型中定義需要使用的函數(shù)，包括正向傳播。不要在遍歷圖片時(shí)額外使用tf計(jì)算。

遇到這種問題一定要回頭檢查代碼，尤其是在別人寫的代碼基礎(chǔ)上改時(shí)。 多學(xué)習(xí)公開的源碼。

錯(cuò)誤示例：

def build_model(model_path):
  model_input = tf.placeholder('float32', [1, IMAGE_HEIGHT, IMAGE_WIDTH, COLOR_CHANNELS])
  vec1 = ...
  ...... 
  return model_input,vec1
  
def get_style_represent(vec):
  # 一些tf計(jì)算操作
  return new_vec

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  img_input,vec1 = build_model(VGG19_MODEL)    # 加載模型
  for cur_img_path in imgs_path_list:   # 遍歷圖片
    cur_img = load_image(cur_img_path)
    vec1_out = sess.run(vec1, feed_dict = {img_input:cur_img})   # 正向傳播輸出模型中的vec1
    # 對vec1進(jìn)行一些處理，此處在遍歷圖片時(shí)額外使用了tensorflow的計(jì)算節(jié)點(diǎn)，導(dǎo)致在內(nèi)存中遺留信息
    new_vec = get_style_represent(vec1_out)

正確示例：

def build_model(model_path):
  model_input = tf.placeholder('float32', [1, IMAGE_HEIGHT, IMAGE_WIDTH, COLOR_CHANNELS])
  vec1 = ...
  ...... 
  new_vec = ...    # 將get_style_represent計(jì)算操作定義在模型中
  return model_input,vec1,new_vec

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  img_input,vec1,new_vec = build_model(VGG19_MODEL)
  for cur_img_path in imgs_path_list:
    cur_img = load_image(cur_img_path)
    # 一次正向傳播將處理后的vec1也得到了，避免在每次圖片正向傳播時(shí)留下額外信息
    vec1_out,new_vec_out = sess.run([vec1,new_vec], feed_dict = {img_input:cur_img})

所以，如果你也遇到了同樣的問題，不妨看一下你是不是在迭代過程中額外使用了新的tf計(jì)算節(jié)點(diǎn)吧。

關(guān)于“如何解決tensorflow訓(xùn)練時(shí)內(nèi)存持續(xù)增加并占滿的問題”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。