您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“Python如何使用期物處理并發(fā)”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Python如何使用期物處理并發(fā)”這篇文章吧。
本文重點(diǎn):
1、掌握異步編程的相關(guān)概念;
2、了解期物future的概念、意義和使用方法;
3、了解Python中的阻塞型I/O函數(shù)釋放GIL的特點(diǎn)。
一、異步編程相關(guān)概念
阻塞:程序未得到所需計算資源時被掛起的狀態(tài)。換句話說,程序在等待某個操作完成期間,自身無法繼續(xù)干別的事情,則稱該程序在該操作上是阻塞的。
并發(fā):描述的是程序的組織結(jié)構(gòu)。指程序要被設(shè)計成多個可獨(dú)立執(zhí)行的子任務(wù)。并發(fā)以利用有限的計算機(jī)資源使多個任務(wù)可以被實(shí)時或近實(shí)時執(zhí)行為目的。
并行:指的是多任務(wù)同時執(zhí)行的程序狀態(tài),以利用多核CPU加速完成多任務(wù)為目的。
異步:為完成某個任務(wù),不同程序單元之間過程中無需通信協(xié)調(diào),也能完成任務(wù)的方式。
不相關(guān)的程序單元之間可以是異步的。簡言之,異步意味著無序。
異步編程:以進(jìn)程、線程、協(xié)程、函數(shù)/方法作為執(zhí)行任務(wù)的基本單位,結(jié)合回調(diào),事件循環(huán)、信號量等機(jī)制,以提高整體執(zhí)行效率和并發(fā)能力的編程方式。
二、期物
就下載國旗為目標(biāo)實(shí)現(xiàn)的三個客戶端中,兩個HTTP并發(fā)客戶端比依序下載的腳本性能高很多。
由此說明使用并發(fā)可以高效處理網(wǎng)絡(luò)I/O。
期物(future)指一種對象,表示異步執(zhí)行的操作。
期物對象:concurrent.futures.Future或asyncio.Future類的實(shí)例。
三大方法:
Executor.submit():創(chuàng)建期物。
concurrent.futures.as_completed():迭代運(yùn)行結(jié)束的期物,返回一個迭代器。
Executor.map(): 處理參數(shù)不同的同一個可調(diào)用對象。
小結(jié):Executor.submit()加futures.as_completed()的組合比Executor.map()更靈活,因?yàn)閟ubmit()能處理不同的可調(diào)用對象和參數(shù)。
concurrent.futures模塊的主要特色是ThreadPoolExecutor和ProcessPoolExecutor類,這兩個類實(shí)現(xiàn)的接口能分別在不同的線程或進(jìn)程中執(zhí)行可調(diào)用的對象。
注意:通常情況下自己不應(yīng)該創(chuàng)建期物,而只能由并發(fā)框架(concurrent.futures或asyncio)實(shí)例化。
實(shí)例:concurrent.futures模塊應(yīng)用
from concurrent import futures from flags import save_flag, get_flag, show, main MAX_WORKERS = 20 def download_one(cc): image = get_flag(cc) show(cc) save_flag(image, cc.lower() + '.gif') return cc def download_many(cc_list): workers = min(MAX_WORKERS, len(cc_list)) with futures.ThreadPoolExecutor(workers) as executor: res = executor.map(download_one, sorted(cc_list)) return len(list(res)) if __name__ == '__main__': main(download_many)
三、阻塞性I/O與GIL
Python標(biāo)準(zhǔn)庫中所有阻塞型I/O函數(shù)都會釋放全局解釋器鎖(GIL),允許其他線程運(yùn)行。
因此盡管有GIL,Python線程仍然適合在I/O密集型系統(tǒng)使用。
四、線程和多進(jìn)程的替代方案
對CPU密集型工作來說,要啟動多個進(jìn)程,規(guī)避GIL。
創(chuàng)建多進(jìn)程最簡單的方式是使用futures.ProcessPoolExecutor類。
threading和multiprocessing模塊:是Python中多線程和多進(jìn)程并發(fā)的低層實(shí)現(xiàn)。
以上是“Python如何使用期物處理并發(fā)”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。