PyTorch 導(dǎo)數(shù)應(yīng)用的使用教程

發(fā)布時(shí)間：2020-10-17 08:34:24 來源：腳本之家閱讀：238 作者：YXHPY 欄目：開發(fā)技術(shù)

前言

由于機(jī)器學(xué)習(xí)的基本思想就是找到一個(gè)函數(shù)去擬合樣本數(shù)據(jù)分布,因此就涉及到了梯度去求最小值,在超平面我們又很難直接得到全局最優(yōu)值,更沒有通用性,因此我們就想辦法讓梯度沿著負(fù)方向下降,那么我們就能得到一個(gè)局部或全局的最優(yōu)值了,因此導(dǎo)數(shù)就在機(jī)器學(xué)習(xí)中顯得非常重要了

基本使用

tensor.backward()可以及自動(dòng)將梯度累加積到tensor.grad上

x = torch.ones(3,3)
print(x.requires_grad)
x.requires_grad_(True)
print(x.requires_grad)
y = x**2/(x-2)
out = y.mean()
print(x.grad)
out.backward()
print(x.grad)

False
True
None
tensor([[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333]])

requires_grad 可以獲取到tensor是否可導(dǎo)
requires_grad_() 可以設(shè)置tensor是否可導(dǎo)
grad 查看當(dāng)前tensor導(dǎo)數(shù)

上面的公式很簡單,程序含義

1/4 * (x**2) / (x-2)

求x的導(dǎo)數(shù),基本公式在下方

PyTorch 導(dǎo)數(shù)應(yīng)用的使用教程

注意點(diǎn)

我們使用.mean后得到的是標(biāo)量,如果不是標(biāo)量會(huì)報(bào)錯(cuò)

x = torch.ones(3, requires_grad=True)
y = x * 2
y = y * 2
print(y)

tensor([4., 4., 4.], grad_fn=<MulBackward0>)

y.backward()
print(x.grad)

報(bào)錯(cuò)

RuntimeError: grad can be implicitly created only for scalar outputs

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward()
print(x.grad)

tensor([4.0000e-01, 4.0000e+00, 4.0000e-04])

no_grad()作用域

如果想要某部分程序不可導(dǎo)那么我們可以使用這個(gè)

x = torch.ones(3, requires_grad=True)
y = x * 2
print(y.requires_grad)
with torch.no_grad():
 y = y * 2 
 print(y.requires_grad)

True
False

總結(jié)

這一章我們使用pytorch里面的backward,自動(dòng)實(shí)現(xiàn)了函數(shù)的求導(dǎo),幫助我們在后面面對很多超大參數(shù)量的函數(shù)的時(shí)候,求導(dǎo)就變得游刃有余

上節(jié)

PyTorch使用教程-安裝與基本使用

到此這篇關(guān)于PyTorch 導(dǎo)數(shù)應(yīng)用的使用教程的文章就介紹到這了,更多相關(guān)PyTorch 導(dǎo)數(shù)應(yīng)用內(nèi)容請搜索億速云以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持億速云！

向AI問一下細(xì)節(jié)

PyTorch 導(dǎo)數(shù)應(yīng)用的使用教程

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽