Pytorch如何使用shuffle打亂數(shù)據(jù)的操作

這篇文章主要介紹Pytorch如何使用shuffle打亂數(shù)據(jù)的操作，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

首先我得告訴你一件事，那就是pytorch中的tensor，如果直接使用random.shuffle打亂數(shù)據(jù)，或者使用下面的方式，自己定義直接寫。

 def Shuffle(self, x, y,random=None, int=int):
         if random is None:
            random = self.random
                 for i in range(len(x)):
            j = int(random() * (i + 1))
            if j<=len(x)-1:
                x[i],x[j]=x[j],x[i]
                y[i],y[j]=y[j],y[i]
          retrun x,y

那你就會(huì)收獲一堆的混亂數(shù)據(jù)，因?yàn)槭褂眠@種交換的方式對(duì)tensor類型的數(shù)據(jù)進(jìn)行操作，會(huì)導(dǎo)致里面的數(shù)據(jù)出現(xiàn)重復(fù)復(fù)制的問題。

比如我y中的數(shù)據(jù)為【0,1,0，1,0，1】

在經(jīng)過幾次shuffle,其中的數(shù)據(jù)就變成了【1,1,1,1,1,1】。

數(shù)據(jù)頓時(shí)出現(xiàn)混亂。

正確的方式是先轉(zhuǎn)成numpy，再進(jìn)行交換數(shù)據(jù)

比如：

 def Shuffle(self, x, y,random=None, int=int):
        """x, random=random.random -> shuffle list x in place; return None.
        Optional arg random is a 0-argument function returning a random
        float in [0.0, 1.0); by default, the standard random.random.
        """
        if random is None:
            random = self.random #random=random.random
        #轉(zhuǎn)成numpy
        if torch.is_tensor(x)==True:
            if self.use_cuda==True:
               x=x.cpu().numpy()
            else:
               x=x.numpy()
        if torch.is_tensor(y) == True:
            if self.use_cuda==True:
               y=y.cpu().numpy()
            else:
               y=y.numpy()
        #開始隨機(jī)置換
        for i in range(len(x)):
            j = int(random() * (i + 1))
            if j<=len(x)-1:#交換
                x[i],x[j]=x[j],x[i]
                y[i],y[j]=y[j],y[i]
        #轉(zhuǎn)回tensor
        if self.use_cuda == True:
            x=torch.from_numpy(x).cuda()
            y=torch.from_numpy(y).cuda()
        else:
            x = torch.from_numpy(x)
            y = torch.from_numpy(y)
        return x,y

補(bǔ)充：python對(duì)訓(xùn)練數(shù)據(jù)集shuffle(打亂)的一些方式

1.通過數(shù)組來shuffle

image_list=[]           # list of images
label_list=[]           # list of labels
 
temp = np.array([image_list, label_list])
temp = temp.transpose()
np.random.shuffle(temp)
 
images = temp[:, 0]     # array of images   (N,)
labels = temp[:, 1]

2.通過索引 Index 來 shuffle

image_list=[]           # list of images
label_list=[]           # list of labels
 
##如果image_list存的是讀取的特征數(shù)據(jù)，而不是圖片路徑，不要注釋后面兩句（list無法索引內(nèi)部list）
#[list indices must be integers or slices, not list]
#image_list = np.array(image_list)
#label_list = np.array(label_list)
 
index = [i for i in range(len(image_list))]
np.random.shuffle(index)
images = image_list[index]
labels = label_list[index]

pytorch的優(yōu)點(diǎn)

1.PyTorch是相當(dāng)簡(jiǎn)潔且高效快速的框架；2.設(shè)計(jì)追求最少的封裝；3.設(shè)計(jì)符合人類思維，它讓用戶盡可能地專注于實(shí)現(xiàn)自己的想法；4.與google的Tensorflow類似，F(xiàn)AIR的支持足以確保PyTorch獲得持續(xù)的開發(fā)更新；5.PyTorch作者親自維護(hù)的論壇 供用戶交流和求教問題6.入門簡(jiǎn)單

以上是“Pytorch如何使用shuffle打亂數(shù)據(jù)的操作”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！