您好,登錄后才能下訂單哦!
這篇文章主要介紹“python使用期物處理并發(fā)的方法”,在日常操作中,相信很多人在python使用期物處理并發(fā)的方法問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”python使用期物處理并發(fā)的方法”的疑惑有所幫助!接下來,請跟著小編一起來學(xué)習(xí)吧!
import os import time import sys import requests POP20_CC = ('CN IN US ID BR PK NG BD RU JP ' 'MX PH VN ET EG DE IR TR CD FR').split() BASE_URL = 'http://flupy.org/data/flags' DEST_DIR = './' def save_flag(img, filename): # 保存圖像 path = os.path.join(DEST_DIR, filename) with open(path, 'wb') as fp: fp.write(img) def get_flag(cc): # 獲取圖像 url = '{}/{cc}/{cc}.gif'.format(BASE_URL, cc=cc.lower()) resp = requests.get(url) return resp.content def show(text): # 打印信息 print(text, end=' ') sys.stdout.flush() def download_many(cc_list): for cc in sorted(cc_list): image = get_flag(cc) # 獲取 show(cc) # 打印 save_flag(image, cc.lower() + '.gif') # 保存 return len(cc_list) def main(download_many): t0 = time.time() count = download_many(POP20_CC) elapsed = time.time() - t0 msg = '\n{} flags downloaded in {:.2f}s' print(msg.format(count, elapsed)) # 計時信息 # ----使用 futures.ThreadPoolExecutor 類實現(xiàn)多線程下載 from concurrent import futures MAX_WORKERS = 20 # 最多使用幾個線程 def download_one(cc): image = get_flag(cc) show(cc) save_flag(image, cc.lower() + '.gif') return cc def download_many_1(cc_list): workers = min(MAX_WORKERS, len(cc_list)) with futures.ThreadPoolExecutor(workers) as executor: # 使用工作的線程數(shù)實例化 ThreadPoolExecutor 類; # executor.__exit__ 方法會調(diào)用 executor.shutdown(wait=True) 方法, # 它會在所有線程都執(zhí)行完畢 前阻塞線程 res = executor.map(download_one, sorted(cc_list)) # download_one 函數(shù) 會在多個線程中并發(fā)調(diào)用; # map 方法返回一個生成器,因此可以迭代, 獲取各個函數(shù)返回的值 return len(list(res)) if __name__ == '__main__': # main(download_many) # 24 秒 main(download_many_1) # 3 秒
通常不應(yīng)自己創(chuàng)建期物
只能由并發(fā)框架(concurrent.futures 或 asyncio)實例化 原因:期物 表示終將發(fā)生的事情,其 執(zhí)行的時間 已經(jīng)排定。因此,只有排定把某件事交給 concurrent.futures.Executor 子類處理時,才會創(chuàng)建 concurrent.futures.Future 實例
例如,Executor.submit() 方法的參數(shù)是一個可調(diào)用的對象,調(diào)用這個方法后會為傳入的可調(diào)用對象 排期,并返回一個期物
def download_many_2(cc_list): cc_list = cc_list[:5] with futures.ThreadPoolExecutor(max_workers=3) as executor: to_do = [] for cc in sorted(cc_list): future = executor.submit(download_one, cc) # executor.submit 方法排定可調(diào)用對象的執(zhí)行時間, # 然后返回一個 期物,表示這個待執(zhí)行的操作 to_do.append(future) # 存儲各個期物 msg = 'Scheduled for {}: {}' print(msg.format(cc, future)) results = [] for future in futures.as_completed(to_do): # as_completed 函數(shù)在期物運行結(jié)束后產(chǎn)出期物 res = future.result() # 獲取期物的結(jié)果 msg = '{} result: {!r}' print(msg.format(future, res)) results.append(res) return len(results)
輸出: Scheduled for BR: <Future at 0x22da99d2d30 state=running> Scheduled for CN: <Future at 0x22da99e1040 state=running> Scheduled for ID: <Future at 0x22da99e1b20 state=running> Scheduled for IN: <Future at 0x22da99ec520 state=pending> Scheduled for US: <Future at 0x22da99ecd00 state=pending> CN <Future at 0x22da99e1040 state=finished returned str> result: 'CN' BR <Future at 0x22da99d2d30 state=finished returned str> result: 'BR' ID <Future at 0x22da99e1b20 state=finished returned str> result: 'ID' IN <Future at 0x22da99ec520 state=finished returned str> result: 'IN' US <Future at 0x22da99ecd00 state=finished returned str> result: 'US' 5 flags downloaded in 3.20s
CPython 解釋器本身就不是線程安全的,因此有全局解釋器鎖(GIL), 一次只允許使用一個線程執(zhí)行 Python 字節(jié)碼。因此,一個 Python 進(jìn)程 通常不能同時使用多個 CPU 核心
標(biāo)準(zhǔn)庫中所有執(zhí)行阻塞型 I/O 操作的函數(shù),在等待操作系統(tǒng)返回結(jié)果時 都會釋放 GIL。 這意味著在 Python 語言這個層次上可以使用多線程,而 I/O 密集型 Python 程序能從中受益:一個 Python 線程等待網(wǎng)絡(luò)響應(yīng)時,阻塞型 I/O 函數(shù)會釋放 GIL,再運行一個線程(網(wǎng)絡(luò)下載,文件讀寫都屬于 IO 密集型)
這個模塊實現(xiàn)的是真正 的并行計算,因為它使用 ProcessPoolExecutor 類把工作分配給多個 Python 進(jìn)程處理。 因此,如果需要做 CPU 密集型處理,使用這個模塊 能繞開 GIL,利用所有可用的 CPU 核心
使用 concurrent.futures 模塊能特別輕松地 把 基于線程 的方案轉(zhuǎn)成 基于進(jìn)程 的方案
ProcessPoolExecutor 的價值體現(xiàn)在 CPU 密集型 作業(yè)上
到此,關(guān)于“python使用期物處理并發(fā)的方法”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識,請繼續(xù)關(guān)注億速云網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。