溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Python基于進(jìn)程池實(shí)現(xiàn)多進(jìn)程的方法

發(fā)布時(shí)間:2020-07-29 11:14:11 來源:億速云 閱讀:327 作者:小豬 欄目:開發(fā)技術(shù)

這篇文章主要講解了Python基于進(jìn)程池實(shí)現(xiàn)多進(jìn)程的方法,內(nèi)容清晰明了,對(duì)此有興趣的小伙伴可以學(xué)習(xí)一下,相信大家閱讀完之后會(huì)有幫助。

1、注意:pool必須在 if __name__ == '__main__' 下面運(yùn)行,不然會(huì)報(bào)錯(cuò)

2、多進(jìn)程內(nèi)出現(xiàn)錯(cuò)誤會(huì)直接跳過該進(jìn)程,并且默認(rèn)不會(huì)打印錯(cuò)誤信息

3、if__name__下面的數(shù)據(jù)需要通過參數(shù)傳入主函數(shù)里面,不然主函數(shù)獲取不到該數(shù)據(jù)值而報(bào)錯(cuò)。

4、若不通過傳參形式傳入數(shù)據(jù),可以定義全局變量。但是全局變量的值不能在多進(jìn)程里面進(jìn)行修改。

代碼如下

from multiprocessing import Pool # 進(jìn)程池,用于多進(jìn)程
import os # 用于獲取當(dāng)前執(zhí)行的文件名
import time
import traceback # 用于捕獲異常
import sys # 用于捕獲異常


def main_func(i): # 多進(jìn)程運(yùn)行的函數(shù)
  try: # 多進(jìn)程中發(fā)生異常是不會(huì)打印錯(cuò)誤信息,并且當(dāng)前進(jìn)程會(huì)直接跳過,所以異常需要自行捕獲
    rand_time = random.randint(1, 3) # 隨機(jī)產(chǎn)生1~3的整數(shù)
    time.sleep(rand_time )
    print(i)
  except:
    current_filename = str(os.path.basename(sys.argv[0]))[:-3] # 獲取當(dāng)前文件名稱
    cur_err_filname = current_filename + '_error.txt'
    error_info = sys.exc_info() # 打印異常
    with open(f'{cur_err_filname }', 'a') as f:
      error_str = f'{i}:ERROR OCCURRED,{time.strftime("%Y-%m-%d %H:%M:%S")}:\n {error_info[0]}: {error_info[1]}' # 記錄當(dāng)前進(jìn)程特征值,錯(cuò)誤發(fā)生時(shí)間 ,錯(cuò)誤類型,錯(cuò)誤概述
      print(error_str, file=f) # 通過打印方式寫入文件
      traceback.print_tb(error_info[2], file=f) # 錯(cuò)誤細(xì)節(jié)描述(包括bug的代碼位置)
      f.write(f"{'=' * 50}\n") # 分行


if __name__ == '__main__': # 必須在此語(yǔ)句下面運(yùn)行,不然會(huì)報(bào)錯(cuò)
  pool = Pool(5) # 定義進(jìn)程數(shù)量
  for i in range(20):
    pool.apply_async(main_func, (i, )) # 調(diào)用函數(shù)執(zhí)行多進(jìn)程
  pool.close() # 關(guān)閉進(jìn)程池
  pool.join() # 阻塞進(jìn)程,此兩部不能少,保證多進(jìn)程正常運(yùn)行

看完上述內(nèi)容,是不是對(duì)Python基于進(jìn)程池實(shí)現(xiàn)多進(jìn)程的方法有進(jìn)一步的了解,如果還想學(xué)習(xí)更多內(nèi)容,歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI