您好,登錄后才能下訂單哦!
這篇文章主要介紹Pytorch中自動(dòng)求梯度機(jī)制和Variable類的示例分析,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
自動(dòng)求導(dǎo)機(jī)制是每一個(gè)深度學(xué)習(xí)框架中重要的性質(zhì),免去了手動(dòng)計(jì)算導(dǎo)數(shù),下面用代碼介紹并舉例說(shuō)明Pytorch的自動(dòng)求導(dǎo)機(jī)制。
首先介紹Variable,Variable是對(duì)Tensor的一個(gè)封裝,操作和Tensor是一樣的,但是每個(gè)Variable都有三個(gè)屬性:Varibale的Tensor本身的.data,對(duì)應(yīng)Tensor的梯度.grad,以及這個(gè)Variable是通過(guò)什么方式得到的.grad_fn,根據(jù)最新消息,在pytorch0.4更新后,torch和torch.autograd.Variable現(xiàn)在是同一類。torch.Tensor能像Variable那樣追蹤歷史和反向傳播。Variable仍能正確工作,但是返回的是Tensor。
我們擁抱這些新特性,看看Pytorch怎么進(jìn)行自動(dòng)求梯度。
#encoding:utf-8 import torch x = torch.tensor([2.],requires_grad=True) #新建一個(gè)tensor,允許自動(dòng)求梯度,這一項(xiàng)默認(rèn)是false. y = (x+2)**2 + 3 #y的表達(dá)式中包含x,因此y能進(jìn)行自動(dòng)求梯度 y.backward() print(x.grad)
輸出結(jié)果是:
tensor([8.])
這里添加一個(gè)小知識(shí)點(diǎn),即torch.Tensor和torch.tensor的不同。二者均可以生成新的張量,但torch.Tensor()是python類,是默認(rèn)張量類型torch.FloatTensor()的別名,使用torch.Tensor()會(huì)調(diào)用構(gòu)造函數(shù),生成單精度浮點(diǎn)類型的張量。
而torch.tensor()是函數(shù),其中data可以是list,tuple,numpy,ndarray,scalar和其他類型,但只有浮點(diǎn)類型的張量能夠自動(dòng)求梯度。
torch.tensor(data, dtype=None, device=None, requires_grad=False)
言歸正傳,上一個(gè)例子的變量本質(zhì)上是標(biāo)量。下面一個(gè)例子對(duì)矩陣求導(dǎo)。
#encoding:utf-8 import torch x = torch.ones((2,4),requires_grad=True) y = torch.ones((2,1),requires_grad=True) W = torch.ones((4,1),requires_grad=True) J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示對(duì)矩陣作乘法 J.backward() print(x.grad) print(y.grad) print(W.grad)
輸出結(jié)果是:
tensor([[-1., -1., -1., -1.], [-1., -1., -1., -1.]]) tensor([[1.], [1.]]) tensor([[-2.], [-2.], [-2.], [-2.]])
以上是“Pytorch中自動(dòng)求梯度機(jī)制和Variable類的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。