您好,登錄后才能下訂單哦!
這篇文章主要介紹了pytorch中Tensor.to(device)和model.to(device)的區(qū)別是什么的相關(guān)知識(shí),內(nèi)容詳細(xì)易懂,操作簡(jiǎn)單快捷,具有一定借鑒價(jià)值,相信大家閱讀完這篇pytorch中Tensor.to(device)和model.to(device)的區(qū)別是什么文章都會(huì)有所收獲,下面我們一起來(lái)看看吧。
使用GPU訓(xùn)練的時(shí)候,需要將Module對(duì)象和Tensor類型的數(shù)據(jù)送入到device。通常會(huì)使用 to.(device)。但是需要注意的是:
對(duì)于Tensor類型的數(shù)據(jù),使用to.(device) 之后,需要接收返回值,返回值才是正確設(shè)置了device的Tensor。
對(duì)于Module對(duì)象,只用調(diào)用to.(device) 就可以將模型設(shè)置為指定的device。不必接收返回值。
來(lái)自pytorch官方文檔的說(shuō)明:
Tensor.to(device)
Module.to(device)
# Module對(duì)象設(shè)置device的寫法 model.to(device) # Tensor類型的數(shù)據(jù)設(shè)置 device 的寫法。 samples = samples.to(device)
在學(xué)習(xí)深度學(xué)習(xí)的時(shí)候,我們寫代碼經(jīng)常會(huì)見到類似的代碼:
img = img.to(device=torch.device("cuda" if torch.cuda.is_available() else "cpu")) model = models.vgg16_bn(pretrained=True).to(device=torch.device("cuda" if torch.cuda.is_available() else "cpu"))
也可以先定義device:
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model = model.to(device) img = img.to(device)
這段代碼的意思就是將所有最開始讀取數(shù)據(jù)時(shí)的tensor變量copy一份到device所指定的GPU上去,之后的運(yùn)算都在GPU上進(jìn)行。
首先,在做高維特征運(yùn)算的時(shí)候,采用GPU無(wú)疑是比用CPU效率更高,如果兩個(gè)數(shù)據(jù)中一個(gè)加了.cuda()或者.to(device),而另外一個(gè)沒有加,就會(huì)造成類型不匹配而報(bào)錯(cuò)。
tensor和numpy都是矩陣,前者能在GPU上運(yùn)行,后者只能在CPU運(yùn)行,所以要注意數(shù)據(jù)類型的轉(zhuǎn)換。
兩個(gè)方法都可以達(dá)到同樣的效果,在pytorch中,即使是有GPU的機(jī)器,它也不會(huì)自動(dòng)使用GPU,而是需要在程序中顯示指定。調(diào)用model.cuda(),可以將模型加載到GPU上去。這種方法不被提倡,而建議使用model.to(device)的方式,這樣可以顯示指定需要使用的計(jì)算資源,特別是有多個(gè)GPU的情況下。
那么可以參考以下代碼:
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model = Model() if torch.cuda.device_count() > 1: model = nn.DataParallel(model,device_ids=[0,1,2]) model.to(device)
關(guān)于“pytorch中Tensor.to(device)和model.to(device)的區(qū)別是什么”這篇文章的內(nèi)容就介紹到這里,感謝各位的閱讀!相信大家對(duì)“pytorch中Tensor.to(device)和model.to(device)的區(qū)別是什么”知識(shí)都有一定的了解,大家如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。