在PyTorch中,可以使用torchvision.datasets
模塊來(lái)加載常用的數(shù)據(jù)集。該模塊提供了對(duì)以下常用數(shù)據(jù)集的支持:
加載數(shù)據(jù)集的一般步驟如下:
from torchvision import datasets
from torchvision import transforms
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
這里的變換是將圖像轉(zhuǎn)換為張量,并進(jìn)行歸一化處理。
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform, download=True)
這里的root
參數(shù)指定數(shù)據(jù)集的下載和存儲(chǔ)路徑,train
參數(shù)表示加載訓(xùn)練集還是測(cè)試集,transform
參數(shù)指定對(duì)數(shù)據(jù)集進(jìn)行的變換,download
參數(shù)表示是否下載數(shù)據(jù)集(僅在第一次運(yùn)行時(shí)需要下載)。
from torch.utils.data import DataLoader
train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(dataset=test_dataset, batch_size=64, shuffle=False)
這里的batch_size
參數(shù)指定每個(gè)批次的樣本數(shù),shuffle
參數(shù)表示是否對(duì)數(shù)據(jù)進(jìn)行隨機(jī)打亂。
通過(guò)上述步驟,就能夠加載和使用PyTorch中的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。