溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Pytorch to(device)用法

發(fā)布時間：2020-09-24 11:31:43 來源：腳本之家 閱讀：243 作者：shaopeng568 欄目：開發(fā)技術(shù)

如下所示：

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model.to(device)

這兩行代碼放在讀取數(shù)據(jù)之前。

mytensor = my_tensor.to(device)

這行代碼的意思是將所有最開始讀取數(shù)據(jù)時的tensor變量copy一份到device所指定的GPU上去，之后的運(yùn)算都在GPU上進(jìn)行。

這句話需要寫的次數(shù)等于需要保存GPU上的tensor變量的個數(shù)；一般情況下這些tensor變量都是最開始讀數(shù)據(jù)時的tensor變量，后面衍生的變量自然也都在GPU上

如果是多個GPU

在代碼中的使用方法為：

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

model = Model()

if torch.cuda.device_count() > 1:

 model = nn.DataParallel(model，device_ids=[0,1,2])

 

model.to(device)

Tensor總結(jié)

（1）Tensor 和 Numpy都是矩陣，區(qū)別是前者可以在GPU上運(yùn)行，后者只能在CPU上；

（2）Tensor和Numpy互相轉(zhuǎn)化很方便，類型也比較兼容

（3）Tensor可以直接通過print顯示數(shù)據(jù)類型，而Numpy不可以

把Tensor放到GPU上運(yùn)行

if torch.cuda.is_available():
 h = g.cuda()
 print(h)

torch.nn.functional
Convolution函數(shù)
torch.nn.functional.vonv1d(input,weight,bias=None,stride=1,padding=0,dilation=1,groups=1)
 
 
 
torch.nn.functional.conv2d(input,weight,bias=None,stride=1,padding=0,dilation=1,group=1)
 
parameter:
 input --輸入張量（minibatch * in_channels * iH * iW）-weights-– 過濾器張量 (out_channels, in_channels/groups, kH, kW) - bias – 可選偏置張量 (out_channels) - stride – 卷積核的步長，可以是單個數(shù)字或一個元組 (sh x sw)。默認(rèn)為1 - padding – 輸入上隱含零填充。可以是單個數(shù)字或元組。 默認(rèn)值：0 - groups – 將輸入分成組，in_channels應(yīng)該被組數(shù)除盡
 
 
>>> # With square kernels and equal stride
>>> filters = autograd.Variable(torch.randn(8,4,3,3))
>>> inputs = autograd.Variable(torch.randn(1,4,5,5))
>>> F.conv2d(inputs, filters, padding=1)

Pytorch中使用指定的GPU

（1）直接終端中設(shè)定

CUDA_VISIBLE_DEVICES=1

（2）python代碼中設(shè)定：

import os

os.environ['CUDA_VISIBLE_DEVICE']='1'

（3）使用函數(shù)set_device

import torch

torch.cuda.set_device(id)

Pytoch中的in-place

in-place operation 在 pytorch中是指改變一個tensor的值的時候，不經(jīng)過復(fù)制操作，而是在運(yùn)來的內(nèi)存上改變它的值。可以把它稱為原地操作符。

在pytorch中經(jīng)常加后綴 “_” 來代表原地in-place operation, 比如 .add_() 或者.scatter()

python 中里面的 += *= 也是in-place operation。

下面是正常的加操作,執(zhí)行結(jié)束加操作之后x的值沒有發(fā)生變化：

import torch
x=torch.rand(2) #tensor([0.8284, 0.5539])
print(x)
y=torch.rand(2)
print(x+y)  #tensor([1.0250, 0.7891])
print(x)  #tensor([0.8284, 0.5539])

下面是原地操作，執(zhí)行之后改變了原來變量的值：

import torch
x=torch.rand(2) #tensor([0.8284, 0.5539])
print(x)
y=torch.rand(2)
x.add_(y)
print(x)  #tensor([1.1610, 1.3789])

以上這篇Pytorch to(device)用法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持億速云。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手