溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

淺談pytorch grad_fn以及權(quán)重梯度不更新的問題

發(fā)布時間：2020-08-22 09:41:29 來源：腳本之家 閱讀：583 作者：端木亽 欄目：開發(fā)技術(shù)

前提：我訓(xùn)練的是二分類網(wǎng)絡(luò)，使用語言為pytorch

Varibale包含三個屬性：

data：存儲了Tensor，是本體的數(shù)據(jù)

grad：保存了data的梯度，本事是個Variable而非Tensor，與data形狀一致

grad_fn：指向Function對象，用于反向傳播的梯度計算之用

在構(gòu)建網(wǎng)絡(luò)時，剛開始的錯誤為：沒有可以grad_fn屬性的變量。

百度后得知要對需要進行迭代更新的變量設(shè)置requires_grad=True ，操作如下：

train_pred = Variable(train_pred.float(), requires_grad=True)`

這樣設(shè)置之后網(wǎng)絡(luò)是跑起來了，但是準(zhǔn)確率一直沒有提升，很明顯可以看出網(wǎng)絡(luò)什么都沒學(xué)到。

我輸出 model.parameters() (網(wǎng)絡(luò)內(nèi)部的權(quán)重和偏置)查看，發(fā)現(xiàn)它的權(quán)重并沒有更新，一直是同一個值，至此可以肯定網(wǎng)絡(luò)什么都沒學(xué)到，還是迭代那里出了問題。

詢問同門后發(fā)現(xiàn)問題不在這里。

計算loss時，target與train_pred的size不匹配，我以以下操作修改了train_pred，使兩者尺寸一致，才導(dǎo)致了上述問題。

  train_pred = model(data)
  train_pred = torch.max(train_pred, 1)[1].data.squeeze()
  train_pred = Variable(train_pred.float(), requires_grad=False)
  train_loss = F.binary_cross_entropy(validation_pred.float(), target)
  train_loss.backward()

對train_pred多次處理后，它已無法正確地反向傳播，實際上應(yīng)該更改target，使其與train_pred size一致。

重點?。。∫雔oss正確反向傳播，應(yīng)直接將model(data)傳入loss函數(shù)。

最終修改代碼如下：

 for batch_idx, (data, target) in enumerate(train_loader):
  # Get Samples
  label = target.view(target.size(0), 1).long()
  target_onehot = torch.zeros(data.shape[0], args.num_classes).scatter_(1, label, 1)
  data, target_onehot = Variable(data.cuda()), Variable(target_onehot.cuda().float())
  
  model.zero_grad()

  # Predict
  train_pred = model(data)
  train_loss = F.binary_cross_entropy(train_pred, target_onehot)
  train_loss.backward()
  optimizer.step()

以上這篇淺談pytorch grad_fn以及權(quán)重梯度不更新的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持億速云。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手