溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python Multiprocessing多進程 使用tqdm顯示進度條的實現(xiàn)

發(fā)布時間：2020-09-04 21:11:08 來源：腳本之家 閱讀：1948 作者：SiyuanChen 欄目：開發(fā)技術(shù)

1.背景

在python運行一些，計算復(fù)雜度比較高的函數(shù)時，服務(wù)器端單核CPU的情況比較耗時，因此需要多CPU使用多進程加快速度

2.函數(shù)要求

筆者使用的是：pathos.multiprocessing 庫，進度條顯示用tqdm庫，安裝方法：

pip install pathos

安裝完成后

from pathos.multiprocessing import ProcessingPool as Pool
from tqdm import tqdm

這邊使用pathos的原因是因為，multiprocessing 庫中的Pool 函數(shù)只支持單參數(shù)輸入，例如 f(x) = x**2，而不能處理 f (x,y) = x+y 這類的函數(shù)

更不用說一些需要參數(shù)的函數(shù) 例如：F(x , alpha=0.5, gamma = 0.1) 這樣。

3.代碼

定義一個 函數(shù) F [ X ] ,其中，輸入X是可以在第一個維度上迭代的array, 大?。篬 num_X, len ] , 在第一維度 num_X 上進行迭代。

def F(X,lamda=10,weight=0.05):
  res={} 
  res.update(F_1(X,lamda=lamda,weight=weight))
  res.update(F_2(X,lamda=lamda,weight=weight))
  return res

x 是 F 的輸出，是一個dict (字典格式)

這里的兩個函數(shù)超參數(shù) lamda 和 weight 雖然每次調(diào)用的時候值是一樣的，但是還是需要放一個數(shù)組每次用于迭代。

zip_lamda = [lamda for i in range(len(X)) ]
zip_weight = [weight for i in range(len(X)) ]
with tqdm(total=len(cold_sequences)) as t:
    for i, x in enumerate(pool.imap(F,X,zip_lamda,zip_weight)):
      X[i,:] = [x[key] for key in x.keys()]
      Y[i,] = 0
      t.update()
  pool.close()
  pool.join()

4.結(jié)果

mutiprocess 加速前

Python Multiprocessing多進程 使用tqdm顯示進度條的實現(xiàn)

mutiprocess 加速后

Python Multiprocessing多進程 使用tqdm顯示進度條的實現(xiàn)

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問一下細節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手