pytorch如何限制GPU使用效率

小編給大家分享一下pytorch如何限制GPU使用效率，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討方法吧！

問(wèn)題

用過(guò) tensorflow 的人都知道， tf 可以限制程序在 GPU 中的使用效率，但 pytorch 中沒(méi)有這個(gè)操作。

思路

于是我想到了一個(gè)代替方法，玩過(guò)單片機(jī)點(diǎn)燈的同學(xué)都知道，燈的亮度是靠占空比實(shí)現(xiàn)的，這實(shí)際上也是計(jì)算機(jī)的運(yùn)行原理。 那我們是不是也可以通過(guò)增加 GPU 不工作的時(shí)間，進(jìn)而降低 GPU 的使用效率 ？

主要代碼

import time
...
rest_time = 0.15
...
for _ in range( XXX ):
  ...
  outputs = all_GPU_operations( data_set ) # 假設(shè)所有的GPU運(yùn)算都在這里
  time.sleep( rest_time )         # 讓顯卡休息一會(huì)再進(jìn)行下個(gè)循環(huán)的使用
  ...
...

這樣子 GPU 的使用效率就可以減小了。

rest_time 的越大 GPU 使用率越低，rest_time 的越小 GPU 使用率越高。

缺點(diǎn)是很難直接控制 GPU 的具體使用率，rest_time 得自己調(diào)試后確定。

補(bǔ)充知識(shí)：深度學(xué)習(xí)PyTorch，TensorFlow中GPU利用率較低,使用率周期性變化的問(wèn)題

在用tensorflow訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí),發(fā)現(xiàn)訓(xùn)練迭代的速度時(shí)而快時(shí)而慢,監(jiān)督的GPU使用率也是周期性變化,通過(guò)了解,發(fā)現(xiàn)原因是:

GPU在等待CPU讀取,預(yù)處理,并傳輸數(shù)據(jù)過(guò)來(lái),因此要提高GPU的使用率,降低GPU的等待時(shí)間,需要加快CPU的處理速度.

在PYTORCH中的解決方案是用torch.utils.data.DataLoader,用num_workers設(shè)置線程數(shù):

torch.utils.data.DataLoader(image_datasets[x],
  batch_size=batch_size,
   shuffle=True,
   num_workers=8,
  pin_memory=True)

在tensorflow中的解決方案是用tf.data.Dataset.map(num_parallel_calls=8)中的num_parallel_calls設(shè)置讀取數(shù)據(jù)的線程數(shù):

用 tf.data讀取數(shù)據(jù), tf.data.Dataset中有一個(gè)map函數(shù),它有個(gè)num_parallel_calls參數(shù),可以控制CPU的線程,加快數(shù)據(jù)的讀取速度,一般將線程設(shè)置為8效果最好.

看完了這篇文章，相信你對(duì)pytorch如何限制GPU使用效率有了一定的了解，想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！