您好,登錄后才能下訂單哦!
這篇文章主要介紹了Pytorch中model.eval()的作用是什么的相關(guān)知識,內(nèi)容詳細(xì)易懂,操作簡單快捷,具有一定借鑒價值,相信大家閱讀完這篇Pytorch中model.eval()的作用是什么文章都會有所收獲,下面我們一起來看看吧。
model.eval()
作用等同于 self.train(False)
簡而言之,就是評估模式。而非訓(xùn)練模式。
在評估模式下,batchNorm層,dropout層等用于優(yōu)化訓(xùn)練而添加的網(wǎng)絡(luò)層會被關(guān)閉,從而使得評估時不會發(fā)生偏移。
在對模型進(jìn)行評估時,應(yīng)該配合使用with torch.no_grad() 與 model.eval():
loop: model.train() # 切換至訓(xùn)練模式 train…… model.eval() with torch.no_grad(): Evaluation end loop
最近在寫代碼時遇到一個問題,原本訓(xùn)練好的模型,加載進(jìn)來進(jìn)行inference準(zhǔn)確率直接掉了5個點(diǎn),這簡直不能忍啊~下意識地感知到我肯定又在哪里寫了bug了~~~于是開始到處排查,從model load到data load,最終在一個被我封裝好的module的犄角旮旯里找到了問題,于是順便就在這里總結(jié)一下,避免以后再犯。
對于訓(xùn)練好的模型加載進(jìn)來準(zhǔn)確率和原先的不符,
data
model.state_dict()
數(shù)據(jù)方面,檢查前后兩次加載的data有沒有發(fā)生變化。首先檢查 transforms.Normalize 使用的均值和方差是否和訓(xùn)練時相同;另外檢查在這個過程中數(shù)據(jù)是否經(jīng)過了存儲形式的改變,這有可能會帶來數(shù)據(jù)精度的變化導(dǎo)致一定的信息丟失。比如我過用的其中一個數(shù)據(jù)集,原先將圖片存儲成向量形式,但其對應(yīng)的是“png”格式的數(shù)據(jù)(后來在原始文件中發(fā)現(xiàn)了相應(yīng)的描述。),而我進(jìn)行了一次data-to-img操作,將向量轉(zhuǎn)換成了“jpg”形式,這時加載進(jìn)來便造成了掉點(diǎn)。
第一方面造成的掉點(diǎn)一般不會太嚴(yán)重,第二方面造成的掉點(diǎn)就比較嚴(yán)重了,一旦模型的參數(shù)加載錯了,那就誤差大了。
如果是參數(shù)沒有正確加載進(jìn)來則比較容易發(fā)現(xiàn),這時準(zhǔn)確率非常低,幾乎等于瞎猜。
而我這次遇到的情況是,準(zhǔn)確率并不是特別低,只掉了幾個點(diǎn),檢查了多次,均顯示模型參數(shù)已經(jīng)成功加載了。后來仔細(xì)查看后發(fā)現(xiàn)在其中一次調(diào)用模型進(jìn)行inference時,忘了寫 ‘model.eval()’,造成了模型的參數(shù)發(fā)生變化,再次調(diào)用則出現(xiàn)了掉點(diǎn)。于是又回顧了一下model.eval()和model.train()的具體作用。如下:
model.train() 和 model.eval() 一般在模型訓(xùn)練和評價的時候會加上這兩句,主要是針對由于model 在訓(xùn)練時和評價時 Batch Normalization 和 Dropout 方法模式不同:
a) model.eval(),不啟用 BatchNormalization 和 Dropout。此時pytorch會自動把BN和DropOut固定住,不會取平均,而是用訓(xùn)練好的值。不然的話,一旦test的batch_size過小,很容易就會因BN層導(dǎo)致模型performance損失較大;
b) model.train() :啟用 BatchNormalization 和 Dropout。 在模型測試階段使用model.train() 讓model變成訓(xùn)練模式,此時 dropout和batch normalization的操作在訓(xùn)練q起到防止網(wǎng)絡(luò)過擬合的問題。
因此,在使用PyTorch進(jìn)行訓(xùn)練和測試時一定要記得把實(shí)例化的model指定train/eval。
雖然二者都是eval的時候使用,但其作用并不相同:
model.eval() 負(fù)責(zé)改變batchnorm、dropout的工作方式,如在eval()模式下,dropout是不工作的。
見下方代碼:
import torch import torch.nn as nn drop = nn.Dropout() x = torch.ones(10) # Train mode drop.train() print(drop(x)) # tensor([2., 2., 0., 2., 2., 2., 2., 0., 0., 2.]) # Eval mode drop.eval() print(drop(x)) # tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])
torch.no_grad() 負(fù)責(zé)關(guān)掉梯度計算,節(jié)省eval的時間。
只進(jìn)行inference時,model.eval()是必須使用的,否則會影響結(jié)果準(zhǔn)確性。 而torch.no_grad()并不是強(qiáng)制的,只影響運(yùn)行效率。
關(guān)于“Pytorch中model.eval()的作用是什么”這篇文章的內(nèi)容就介紹到這里,感謝各位的閱讀!相信大家對“Pytorch中model.eval()的作用是什么”知識都有一定的了解,大家如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。