您好,登錄后才能下訂單哦!
本篇內(nèi)容介紹了“怎么用pytorch中backward()方法自動(dòng)求梯度”的有關(guān)知識(shí),在實(shí)際案例的操作過程中,不少人都會(huì)遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
x = torch.arange(-8.0, 8.0, 0.1, requires_grad= True) y = x.relu()
x為源張量,基于源張量x得到的張量y為結(jié)果張量。
一個(gè)標(biāo)量調(diào)用它的backward()方法后,會(huì)根據(jù)鏈?zhǔn)椒▌t自動(dòng)計(jì)算出源張量的梯度值。
2.1、結(jié)果張量是一維張量
基于以上例子,就是將一維張量y變成標(biāo)量后,然后通過調(diào)用backward()方法,就能自動(dòng)計(jì)算出x的梯度值。
那么,如何將一維張量y變成標(biāo)量呢?
一般通過對(duì)一維張量y進(jìn)行求和來實(shí)現(xiàn),即y.sum()。
一個(gè)一維張量就是一個(gè)向量,對(duì)一維張量求和等同于這個(gè)向量點(diǎn)乘一個(gè)等維的單位向量,使用求和得到的標(biāo)量y.sum()對(duì)源張量x求導(dǎo)與y的每個(gè)元素對(duì)x的每個(gè)元素求導(dǎo)結(jié)果是一樣的,最終對(duì)源張量x的梯度求解沒有影響。
因此,代碼如下:
y.sum().backward() x.grad
2.2、結(jié)果張量是二維張量或更高維張量
撇開上面例子,結(jié)果變量y可能是二維張量或者更高維的張量,這時(shí)可以理解為一般點(diǎn)乘一個(gè)等維的單位張量(點(diǎn)乘,是向量中的概念,這樣描述只是方便理解)
代碼如下:
y.backward(torch.ones_like(y))#grad_tensors=torch.ones_like(y) x.grad
在一元函數(shù)中,某點(diǎn)的梯度標(biāo)的就說某點(diǎn)的導(dǎo)數(shù). 在多元函數(shù)中某點(diǎn)的梯度表示的是由每個(gè)自變量所對(duì)應(yīng)的偏導(dǎo)數(shù)所組成的向量
在前面的線性回歸中 就像y = wx + b方程中求出w參數(shù)最優(yōu)的解,就需要對(duì)w參數(shù)進(jìn)行偏導(dǎo)數(shù)的求取,然后通過偏導(dǎo)數(shù)的值來調(diào)整w參數(shù)以便找到最優(yōu)解。
在PyTorch中可以使用torch.autograd.backward()方法來自動(dòng)計(jì)算梯度
在定義張量時(shí),可以指定requires_grad=True表示這個(gè)張量可以求偏導(dǎo)數(shù)
import torch # 隨機(jī)出張量x 指定可以計(jì)算偏導(dǎo)數(shù) x = torch.randn(1,requires_grad=True) # y和z張量不可以求偏導(dǎo) y = torch.randn(1) z = torch.randn(1) # f1中有張量允許求偏導(dǎo) f1 = 2*x + y # f2中沒有張量可以允許求偏導(dǎo) f2 = y + z # 打印兩個(gè)方程的梯度 print(f1.grad_fn) print(f2.grad_fn)
得出結(jié)論:
f1中有允許可以求偏導(dǎo)的張量存在才可以求梯度
grad_fn為梯度
1. 求x的偏導(dǎo)數(shù)
# 可以求梯度的變量先使用backward()反向傳播 f1.backward() # 使用張量的grad屬性拿到偏導(dǎo)數(shù)的值 x.grad
2. 停止梯度的計(jì)算
張量.requires_grad_(False)
# 創(chuàng)建張量 指定可以求偏導(dǎo) a = torch.randn(2,2,requires_grad=True) # a對(duì)應(yīng)的b變量 b = ((a * 3)/(a - 1)) # 查看梯度 print(b.grad_fn) # 停止a張量可以求偏導(dǎo) a.requires_grad_(False) # 再次指定b對(duì)應(yīng)變量 b = ((a * 3) / (a - 1)) # 為None了 print(b.grad_fn)
3. 獲取到可以求偏導(dǎo)數(shù)的張量相同的內(nèi)容,但是新變量不可以求偏導(dǎo)
張量.detach()方法
a = torch.randn(2,2,requires_grad=True) # 可以求偏導(dǎo)的張量返回一個(gè)相同的張量但是不可以求偏導(dǎo)數(shù) b = a.detach() print(a.requires_grad) print(b.requires_grad)
4. 在作用域中張量不可計(jì)算偏導(dǎo)數(shù)
with torch.no_grad(): 內(nèi)的整個(gè)作用域
a = torch.randn(2, 2, requires_grad=True) print((a ** 2).requires_grad) with torch.no_grad(): print((a ** 2).requires_grad)
在PyTorch中,如果我們利用torch.autograd.backward()方法
求解張量的梯度, 在多次運(yùn)行該函數(shù)的情況下, 該函數(shù)會(huì)將計(jì)算得到的梯度累加起來。
所以在函數(shù)中計(jì)算張量的偏導(dǎo)數(shù),每次計(jì)算完修改完參數(shù)要清空梯度的計(jì)算。
不清空梯度計(jì)算:
x = torch.ones(4, requires_grad=True) y = (2*x + 1).sum() z = (2*x).sum() y.backward() print("第一次偏導(dǎo):",x.grad) z.backward() print("第二次偏導(dǎo):",x.grad)
會(huì)累加
使用張量.grad.zero_()方法清空梯度的計(jì)算:
x = torch.ones(4, requires_grad=True) y = (2*x + 1).sum() z = (2*x).sum() y.backward() x.grad.zero_() print("第一次偏導(dǎo):",x.grad) z.backward() print("第二次偏導(dǎo):",x.grad)
“怎么用pytorch中backward()方法自動(dòng)求梯度”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。