pytorch的dataset和dataloader實例分析

這篇“pytorch的dataset和dataloader實例分析”文章的知識點大部分人都不太理解，所以小編給大家總結(jié)了以下內(nèi)容，內(nèi)容詳細，步驟清晰，具有一定的借鑒價值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“pytorch的dataset和dataloader實例分析”文章吧。

dataset,dataloder分析

1. 本來自己創(chuàng)建的cifar_data_test文件夾下只存放從網(wǎng)上下載的數(shù)據(jù)集
   cifar-10-python.tar.gz

2. 由于download=True的存在：多了一個cifar-10-batches-py

dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',download=True)

print(dataset)可以看出數(shù)據(jù)集默認train=True

3. train=False用來選擇是訓練集還是測試集

dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',train=False,download=True)print(dataset)print(dataset.classes)print(dataset.data.shape,"\n",dataset.data)

4. transform
   一：因為CIFAR10本來就是tensor，所以對其沒用
   二：dataset中加的transform并不會讓數(shù)據(jù)集歸一化，只有在dataloader時才歸一化

import torchvision.datasetsimport torchvision.transforms as transformsfrom torch.utils.data import DataLoader#transform有兩個操作，一是變成pythonj易于處理的tensor形式，二是將tensor歸一化transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307,),(0.3081,))])dataset = torchvision.datasets.CIFAR10(root='./cifar_data_test',train=True,download=True,transform=transform)print(dataset.data)#未歸一化train_loader = DataLoader(dataset,shuffle=False,batch_size=32)#dataloader無transform參數(shù)for img,target in train_loader:print(img)#數(shù)據(jù)歸一化

以上就是關(guān)于“pytorch的dataset和dataloader實例分析”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對大家有幫助，若想了解更多相關(guān)的知識內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道。