如何解決Pytorch在測(cè)試與訓(xùn)練過程中的驗(yàn)證結(jié)果不一致問題

小編給大家分享一下如何解決Pytorch在測(cè)試與訓(xùn)練過程中的驗(yàn)證結(jié)果不一致問題，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

引言

今天在使用Pytorch導(dǎo)入此前保存的模型進(jìn)行測(cè)試，在過程中發(fā)現(xiàn)輸出的結(jié)果與驗(yàn)證結(jié)果差距甚大，經(jīng)過排查后發(fā)現(xiàn)是forward與eval()順序問題。

現(xiàn)象

此前的錯(cuò)誤代碼是

input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    model.eval()
    model.forward()

應(yīng)該改為

input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    # 先forward再eval
    model.forward()
    model.eval()

當(dāng)時(shí)有個(gè)疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問題。

當(dāng)使用eval()時(shí)，模型會(huì)自動(dòng)固定BN層以及Dropout，選取訓(xùn)練好的值，否則則會(huì)取平均，可能導(dǎo)致生成的圖片顏色失真。

PyTorch進(jìn)行訓(xùn)練和測(cè)試時(shí)一定注意要把實(shí)例化的model指定train/eval

使用PyTorch進(jìn)行訓(xùn)練和測(cè)試時(shí)一定注意要把實(shí)例化的model指定train/eval，eval（）時(shí)，框架會(huì)自動(dòng)把BN和DropOut固定住，不會(huì)取平均，而是用訓(xùn)練好的值，不然的話，一旦test的batch_size過小，很容易就會(huì)被BN層導(dǎo)致生成圖片顏色失真極大?。。。。?！

eg：

Class Inpaint_Network()
......
Model = Inpaint_Nerwoek()

#train:
Model.train(mode=True)
.....

#test:
Model.eval()

看完了這篇文章，相信你對(duì)“如何解決Pytorch在測(cè)試與訓(xùn)練過程中的驗(yàn)證結(jié)果不一致問題”有了一定的了解，如果想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！