溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

pytorch如何實(shí)現(xiàn)梯度剪裁

發(fā)布時(shí)間：2021-08-19 14:59:53 來源：億速云 閱讀：184 作者：小新 欄目：開發(fā)技術(shù)

這篇文章主要介紹了pytorch如何實(shí)現(xiàn)梯度剪裁，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

例子

import torch.nn as nn

outputs = model(data)
loss= loss_fn(outputs, target)
optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)
optimizer.step()

nn.utils.clip_grad_norm_ 的參數(shù)：

parameters – 一個(gè)基于變量的迭代器，會(huì)進(jìn)行梯度歸一化

max_norm – 梯度的最大范數(shù)

norm_type – 規(guī)定范數(shù)的類型，默認(rèn)為L(zhǎng)2

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“pytorch如何實(shí)現(xiàn)梯度剪裁”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手