您好,登錄后才能下訂單哦!
這篇文章主要介紹pytorch DataLoader的num_workers參數(shù)與設(shè)置大小的示例分析,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
Q:在給Dataloader設(shè)置worker數(shù)量(num_worker)時(shí),到底設(shè)置多少合適?這個(gè)worker到底怎么工作的?
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4)
1、每次dataloader加載數(shù)據(jù)時(shí):dataloader一次性創(chuàng)建num_worker個(gè)worker,(也可以說dataloader一次性創(chuàng)建num_worker個(gè)工作進(jìn)程,worker也是普通的工作進(jìn)程),并用batch_sampler將指定batch分配給指定worker,worker將它負(fù)責(zé)的batch加載進(jìn)RAM。
然后,dataloader從RAM中找本輪迭代要用的batch,如果找到了,就使用。如果沒找到,就要num_worker個(gè)worker繼續(xù)加載batch到內(nèi)存,直到dataloader在RAM中找到目標(biāo)batch。一般情況下都是能找到的,因?yàn)閎atch_sampler指定batch時(shí)當(dāng)然優(yōu)先指定本輪要用的batch。
2、num_worker設(shè)置得大,好處是尋batch速度快,因?yàn)橄乱惠喌腷atch很可能在上一輪/上上一輪...迭代時(shí)已經(jīng)加載好了。壞處是內(nèi)存開銷大,也加重了CPU負(fù)擔(dān)(worker加載數(shù)據(jù)到RAM的進(jìn)程是CPU復(fù)制的嘛)。num_workers的經(jīng)驗(yàn)設(shè)置值是自己電腦/服務(wù)器的CPU核心數(shù),如果CPU很強(qiáng)、RAM也很充足,就可以設(shè)置得更大些。
3、如果num_worker設(shè)為0,意味著每一輪迭代時(shí),dataloader不再有自主加載數(shù)據(jù)到RAM這一步驟(因?yàn)闆]有worker了),而是在RAM中找batch,找不到時(shí)再加載相應(yīng)的batch。缺點(diǎn)當(dāng)然是速度更慢。
1、Dataloader的num_worker設(shè)置多少才合適,這個(gè)問題是很難有一個(gè)推薦的值。有以下幾個(gè)建議:
2、num_workers=0表示只有主進(jìn)程去加載batch數(shù)據(jù),這個(gè)可能會(huì)是一個(gè)瓶頸。
3、num_workers = 1表示只有一個(gè)worker進(jìn)程用來加載batch數(shù)據(jù),而主進(jìn)程是不參與數(shù)據(jù)加載的。這樣速度也會(huì)很慢。
num_workers>0 表示只有指定數(shù)量的worker進(jìn)程去加載數(shù)據(jù),主進(jìn)程不參與。增加num_works也同時(shí)會(huì)增加cpu內(nèi)存的消耗。所以num_workers的值依賴于 batch size和機(jī)器性能。
4、一般開始是將num_workers設(shè)置為等于計(jì)算機(jī)上的CPU數(shù)量
5、最好的辦法是緩慢增加num_workers,直到訓(xùn)練速度不再提高,就停止增加num_workers的值。
補(bǔ)充:pytorch中Dataloader()中的num_workers設(shè)置問題
如果num_workers的值大于0,要在運(yùn)行的部分放進(jìn)__main__()函數(shù)里,才不會(huì)有錯(cuò):
import numpy as np import torch from torch.autograd import Variable import torch.nn.functional import matplotlib.pyplot as plt import torch.utils.data as Data BATCH_SIZE=5 x=torch.linspace(1,10,10) y=torch.linspace(10,1,10) torch_dataset=Data.TensorDataset(x,y) loader=Data.DataLoader( dataset=torch_dataset, batch_size=BATCH_SIZE, shuffle=True, num_workers=2, ) def main(): for epoch in range(3): for step,(batch_x,batch_y) in enumerate(loader): # training.... print('Epoch:',epoch,'| step:',step,'| batch x:',batch_x.numpy(), '| batch y:',batch_y.numpy()) if __name__=="__main__": main() ''' # 下面這樣直接運(yùn)行會(huì)報(bào)錯(cuò): for epoch in range(3): for step,(batch_x,batch_y) in enumerate(loader): # training.... print('Epoch:',epoch,'| step:',step,'| batch x:',batch_x.numpy(), '| batch y:',batch_y.numpy() '''
1.PyTorch是相當(dāng)簡潔且高效快速的框架;2.設(shè)計(jì)追求最少的封裝;3.設(shè)計(jì)符合人類思維,它讓用戶盡可能地專注于實(shí)現(xiàn)自己的想法;4.與google的Tensorflow類似,F(xiàn)AIR的支持足以確保PyTorch獲得持續(xù)的開發(fā)更新;5.PyTorch作者親自維護(hù)的論壇 供用戶交流和求教問題6.入門簡單
以上是“pytorch DataLoader的num_workers參數(shù)與設(shè)置大小的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。