溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
不懂PyTorch中in-place operation的含義是什么？其實想解決這個問題也不難，下面讓小編帶著大家一起學習怎么去解決，希望大家閱讀完這篇文章后大所收獲。
in-place operation在pytorch中是指改變一個tensor的值的時候，不經(jīng)過復制操作，而是直接在原來的內(nèi)存上改變它的值?？梢园阉蔀樵夭僮鞣?/p>
在pytorch中經(jīng)常加后綴“_”來代表原地in-place operation，比如說.add_() 或者.scatter()。python里面的+=，*=也是in-place operation。
下面是正常的加操作,執(zhí)行結(jié)束加操作之后x的值沒有發(fā)生變化：
import torch x=torch.rand(2) #tensor([0.8284, 0.5539]) print(x) y=torch.rand(2) print(x+y) #tensor([1.0250, 0.7891]) print(x) #tensor([0.8284, 0.5539])
下面是原地操作，執(zhí)行之后改變了原來變量的值：
import torch x=torch.rand(2) #tensor([0.8284, 0.5539]) print(x) y=torch.rand(2) x.add_(y) print(x) #tensor([1.1610, 1.3789])
在官方問文檔中由這一段話：
如果你使用了in-place operation而沒有報錯的話，那么你可以確定你的梯度計算是正確的。
補充知識：PyTorch中nn.ReLU(inplace=True)中inplace的作用
我們用PyTorch搭建神經(jīng)網(wǎng)絡(luò)時，會遇到nn.ReLU(inplace=True),inplace=True是什么意思呢？
nn.Conv2d(64,192,kernel_size=3,stride=1,padding=1),
nn.ReLu(inpalce=True),# inplace為True，默認為False
意思是：是否將計算得到的值直接覆蓋之前的值
例如：x = x+1
即對原值x進行+1操作后得到的值，直接賦值給x
而不是如下找一個中間變量y：
y=x+1
x=y
先將x進行+1操作后賦值給中間變量y，然后將y值賦給x
這樣就需要內(nèi)存存儲變量y
因此當inplace=True時：
就是對從上層網(wǎng)絡(luò)nn.Conv2d中傳遞下來的tensor直接進行修改，這樣能夠節(jié)省運算內(nèi)存，不用多存儲其他變量。
感謝你能夠認真閱讀完這篇文章，希望小編分享PyTorch中in-place operation的含義是什么內(nèi)容對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼
