您好,登錄后才能下訂單哦!
本篇文章為大家展示了怎么在pytorch中使用MSELoss計算平均,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
給定損失函數的輸入y,pred,shape均為bxc。
若設定loss_fn = torch.nn.MSELoss(reduction='mean'),最終的輸出值其實是(y - pred)每個元素數字的平方之和除以(bxc),也就是在batch和特征維度上都取了平均。
loss_fn = torch.nn.MSELoss(reduction='sum') loss = loss_fn(pred, y) / pred.size(0)
補充:PyTorch中MSELoss的使用
torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')
size_average和reduce在當前版本的pytorch已經不建議使用了,只設置reduction就行了。
reduction的可選參數有:'none' 、'mean' 、'sum'
reduction='none'
:求所有對應位置的差的平方,返回的仍然是一個和原來形狀一樣的矩陣。
reduction='mean'
:求所有對應位置差的平方的均值,返回的是一個標量。
reduction='sum'
:求所有對應位置差的平方的和,返回的是一個標量。
更多可查看官方文檔
首先假設有三個數據樣本分別經過神經網絡運算,得到三個輸出與其標簽分別是:
y_pre = torch.Tensor([[1, 2, 3], [2, 1, 3], [3, 1, 2]]) y_label = torch.Tensor([[1, 0, 0], [0, 1, 0], [0, 0, 1]])
如果reduction='none':
criterion1 = nn.MSELoss(reduction='none') loss1 = criterion1(x, y) print(loss1)
則輸出:
tensor([[0., 4., 9.],
[4., 0., 9.],
[9., 1., 1.]])
如果reduction='mean':
criterion2 = nn.MSELoss(reduction='mean') loss2 = criterion2(x, y) print(loss2)
則輸出:
tensor(4.1111)
如果reduction='sum':
criterion3 = nn.MSELoss(reduction='sum') loss3 = criterion3(x, y) print(loss3)
則輸出:
tensor(37.)
一般在反向傳播時,都是先求loss,再使用loss.backward()求loss對每個參數 w_ij和b的偏導數(也可以理解為梯度)。
這里要注意的是,只有標量才能執(zhí)行backward()函數,因此在反向傳播中reduction不能設為'none'。
但具體設置為'sum'還是'mean'都是可以的。
若設置為'sum',則有Loss=loss_1+loss_2+loss_3,表示總的Loss由每個實例的loss_i構成,在通過Loss求梯度時,將每個loss_i的梯度也都考慮進去了。
若設置為'mean',則相比'sum'相當于Loss變成了Loss*(1/i),這在參數更新時影響不大,因為有學習率a的存在。
1.PyTorch是相當簡潔且高效快速的框架;2.設計追求最少的封裝;3.設計符合人類思維,它讓用戶盡可能地專注于實現自己的想法;4.與google的Tensorflow類似,FAIR的支持足以確保PyTorch獲得持續(xù)的開發(fā)更新;5.PyTorch作者親自維護的論壇 供用戶交流和求教問題6.入門簡單
上述內容就是怎么在pytorch中使用MSELoss計算平均,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注億速云行業(yè)資訊頻道。
免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。