pytorch對梯度進(jìn)行可視化進(jìn)行梯度檢查的示例分析

這篇文章主要介紹了pytorch對梯度進(jìn)行可視化進(jìn)行梯度檢查的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

目的： 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時候，有時候需要自己寫操作，比如faster_rcnn中的roi_pooling，我們可以可視化前向傳播的圖像和反向傳播的梯度圖像，前向傳播可以檢查流程和計(jì)算的正確性，而反向傳播則可以大概檢查流程的正確性。

實(shí)驗(yàn)

可視化rroi_align的梯度

1.pytorch 0.4.1及之前，需要聲明需要參數(shù)，這里將圖片數(shù)據(jù)聲明為variable

im_data = Variable(im_data, requires_grad=True)

2.進(jìn)行前向傳播，最后的loss映射為一個一維的張量

pooled_feat = roipool(im_data, rois.view(-1, 6))
res = pooled_feat.pow(2).sum()
res.backward()

3.注意求loss的時候采用更加復(fù)雜，或者更多的運(yùn)算（這樣在梯度可視化的時候效果才更加明顯）

可視化效果

原始圖片

梯度可視化圖片

原圖+梯度圖

小結(jié)：

可以看到誤差梯度的位置是正確的，誤差是否正確，需要其他方式驗(yàn)證（暫時沒有思路）

可以看到上面在求loss的時候?yàn)椋簂oss = sum(x2)，但是如果換成：loss = mean(x)，效果就沒有上面明顯。

實(shí)驗(yàn)二的效果

loss = mean(x)

可以看到根本無法看到誤差梯度的位置信息

實(shí)驗(yàn)三：loss = sum(x)

小結(jié)： 可以看到位置信息有差別，比如國徽部分，這會讓人以為，國徽部分只利用了左部分的信息，或者自己手寫的操作誤差索引不對。

可以通過兩種方式進(jìn)行驗(yàn)證

1.用更多，更復(fù)雜的運(yùn)算求loss，比如pow，等

2.用matplotlib顯示圖片后，用鼠標(biāo)可以指示每個點(diǎn)的具體的值，可以檢測有誤差梯度區(qū)域是否和無誤差梯度區(qū)域有差別。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“pytorch對梯度進(jìn)行可視化進(jìn)行梯度檢查的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!