pytorch cuda對tensor的定義以及減少cpu的方法

發(fā)布時間：2020-06-23 14:00:11 來源：億速云閱讀：164 作者：清晨欄目：開發(fā)技術(shù)

不懂pytorch cuda對tensor的定義以及減少cpu的方法？其實想解決這個問題也不難，下面讓小編帶著大家一起學(xué)習(xí)怎么去解決，希望大家閱讀完這篇文章后大所收獲。

cuda上tensor的定義

a = torch.ones(1000,1000,3).cuda()

某一gpu上定義

cuda1 = torch.device('cuda:1')
b = torch.randn((1000,1000,1000),device=cuda1)

刪除某一變量

del a

在cpu定義tensor然后轉(zhuǎn)到gpu

torch.zeros().cuda()

直接在gpu上定義，這樣就減少了cpu的損耗

torch.cuda.FloatTensor(batch_size, self.hidden_dim, self.height, self.width).fill_(0)

補(bǔ)充知識：pytorch cuda.FloatTensor->FloatTensor

錯誤類型：

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor）

定義殘差塊時定義在model的外面，在使用gpu進(jìn)行訓(xùn)練的時候，殘差塊的參數(shù)是torch.FloatTensor類型，

雖然使用了model.cuda(),但是只對model里面的參數(shù)在gpu部分，所以把殘差塊對應(yīng)的操作都在model的__init__(），

重新定義，即可解決問題

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享pytorch cuda對tensor的定義以及減少cpu的方法內(nèi)容對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問題就找億速云，詳細(xì)的解決方法等著你來學(xué)習(xí)!

向AI問一下細(xì)節(jié)

猜你喜歡