Python線程池的案例分析

這篇文章給大家分享的是有關(guān)Python線程池的案例分析的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。

大家都知道當(dāng)任務(wù)過多，任務(wù)量過大時(shí)如果想提高效率的一個(gè)最簡單的方法就是用多線程去處理，比如爬取上萬個(gè)網(wǎng)頁中的特定數(shù)據(jù)，以及將爬取數(shù)據(jù)和清洗數(shù)據(jù)的工作交給不同的線程去處理，也就是生產(chǎn)者消費(fèi)者模式，都是典型的多線程使用場景。

那是不是意味著線程數(shù)量越多，程序的執(zhí)行效率就越快呢。

顯然不是。線程也是一個(gè)對(duì)象，是需要占用資源的，線程數(shù)量過多的話肯定會(huì)消耗過多的資源，同時(shí)線程間的上下文切換也是一筆不小的開銷，所以有時(shí)候開辟過多的線程不但不會(huì)提高程序的執(zhí)行效率，反而會(huì)適得其反使程序變慢，得不償失。

所以，如何確定多線程的數(shù)量是多線程編程中一個(gè)非常重要的問題。好在經(jīng)過多年的摸索業(yè)界基本已形成一套默認(rèn)的標(biāo)準(zhǔn)。

對(duì)于 CPU 密集型的計(jì)算場景，理論上將線程的數(shù)量設(shè)置為 CPU 核數(shù)就是最合適的，這樣可以將每個(gè) CPU 核心的性能壓榨到極致，不過在工程上，線程的數(shù)量一般會(huì)設(shè)置為 CPU 核數(shù) + 1，這樣在某個(gè)線程因?yàn)槲粗蜃枞麜r(shí)多余的那個(gè)線程完全可以頂上。

而對(duì)于 I/O 密集型的應(yīng)用，就需要考慮 CPU 計(jì)算的耗時(shí)和 I/O 的耗時(shí)比了。如果 I/O 耗時(shí)和 CPU 耗時(shí) 為 1:1，那么兩個(gè)線程是最合適的，因?yàn)楫?dāng) A 線程做 I/O 操作時(shí)，B 線程執(zhí)行 CPU 計(jì)算任務(wù)，當(dāng) B 線程做 I/O 操作時(shí)，A 線程執(zhí)行 CPU 計(jì)算任務(wù)，CPU 和 I/O 的利用率都得到了百分百，完美。所以可以認(rèn)為最佳線程數(shù) = CPU 核數(shù) * [1 +（I/O 耗時(shí) / CPU 耗時(shí)]。

線程池

平時(shí)我們自己寫多線程程序時(shí)基本都是直接調(diào)用 Thread(target=method) 即可，實(shí)際上創(chuàng)建線程遠(yuǎn)沒有這么簡單，需要分配內(nèi)存，同時(shí)線程還需要調(diào)用操作系統(tǒng)內(nèi)核的 API，然后操作系統(tǒng)還需要為線程分配一系列的資源，過程很是復(fù)雜，所以要盡量避免頻繁的創(chuàng)建和銷毀線程。

回想一下自己平時(shí)寫多線程代碼的模式，是不是當(dāng)任務(wù)來臨時(shí)直接創(chuàng)建線程，執(zhí)行任務(wù)，當(dāng)任務(wù)執(zhí)行結(jié)束之后，線程也就隨之消亡了。然后又開始循環(huán)往復(fù)。有多少個(gè)任務(wù)就創(chuàng)建了多少個(gè)線程。這種模式的話很浪費(fèi)硬件資源。

那如何避免這種問題呢，線程池就派上用場了。

其實(shí)線程池就是生產(chǎn)者消費(fèi)者模式的最佳實(shí)踐，當(dāng)線程池初始化時(shí)，會(huì)自動(dòng)創(chuàng)建指定數(shù)量的線程，有任務(wù)到達(dá)時(shí)直接從線程池中取一個(gè)空閑線程來用即可，當(dāng)任務(wù)執(zhí)行結(jié)束時(shí)線程不會(huì)消亡而是直接進(jìn)入空閑狀態(tài)，繼續(xù)等待下一個(gè)任務(wù)。而隨著任務(wù)的增加線程池中的可用線程必將逐漸減少，當(dāng)減少至零時(shí)，任務(wù)就需要等待了。

在 python 中使用線程池有兩種方式，一種是基于第三方庫 threadpool，另一種是基于 python3 新引入的庫 concurrent.futures.ThreadPoolExecutor。這里我們都做一下介紹。

threadpool 方式

使用 threadpool 前需要先安裝一下，看了這么久我們的文章，相信你很快就會(huì)搞定的。在命令行執(zhí)行如下命令即可。

pip install threadpool

以下是一個(gè)簡易的線程池使用模版，我們創(chuàng)建了一個(gè)函數(shù) sayhello，然后創(chuàng)建了一個(gè)大小為 2 的線程池，也就是線程池總共有兩個(gè)活躍線程。

最后通過 pool.putRequest() 將任務(wù)丟到線程池執(zhí)， pool.wait() 等待所有線程結(jié)束。同時(shí)我們還可以定義回調(diào)函數(shù)，拿到任務(wù)的返回結(jié)果。

由結(jié)果我們可以看出，線程池中的確只有兩個(gè)線程，分別為 Thread-1 和 Thread-2。

import time
import threadpool
import threading

def sayhello(name):
  print("%s say Hello to %s" % (threading.current_thread().getName(), name));
  time.sleep(1)
  return name

def callback(request, result): # 回調(diào)函數(shù)，用于取回結(jié)果
  print("callback result = %s" % result)

name_list =['admin','root','scott','tiger']
start_time = time.time()
pool = threadpool.ThreadPool(2) # 創(chuàng)建線程池
requests = threadpool.makeRequests(sayhello, name_list, callback) # 創(chuàng)建任務(wù)
[pool.putRequest(req) for req in requests] # 加入任務(wù)
pool.wait() 
print('%s cost %d second' % (threading.current_thread().getName(), time.time()-start_time))

## 運(yùn)行結(jié)果如下
Thread-1 say Hello to admin
Thread-2 say Hello to root
Thread-1 say Hello to scott
Thread-2 say Hello to tiger
callback result = admin
callback result = root
callback result = tiger
callback result = scott
MainThread cost 2 second

ThreadPoolExecutor 方式

ThreadPoolExecutor 是 python3 新引入的庫，具體使用方法與 threadpool 大同小異，同樣是創(chuàng)建容量為 2 的線程池，提交四個(gè)任務(wù)。只不過這里分別是通過 submit 和 as_completed 來提交和獲取任務(wù)返回結(jié)果的。

同樣由輸出結(jié)果我們可以看出，兩種線程池的實(shí)現(xiàn)方式中關(guān)于線程的命名方式是不一致的。

import time
import threading
from concurrent.futures import ThreadPoolExecutor, as_completed

def sayhello(name):
  print("%s say Hello to %s" % (threading.current_thread().getName(), name));
  time.sleep(1)
  return name

name_list =['admin','root','scott','tiger']
start_time = time.time()
with ThreadPoolExecutor(2) as executor: # 創(chuàng)建 ThreadPoolExecutor 
  future_list = [executor.submit(sayhello, name) for name in name_list] # 提交任務(wù)

for future in as_completed(future_list):
  result = future.result() # 獲取任務(wù)結(jié)果
  print("%s get result : %s" % (threading.current_thread().getName(), result))

print('%s cost %d second' % (threading.current_thread().getName(), time.time()-start_time))

## 運(yùn)行結(jié)果如下
ThreadPoolExecutor-0_0 say Hello to admin
ThreadPoolExecutor-0_1 say Hello to root
ThreadPoolExecutor-0_0 say Hello to scott
ThreadPoolExecutor-0_1 say Hello to tiger
MainThread get result : root
MainThread get result : tiger
MainThread get result : scott
MainThread get result : admin
MainThread cost 2 second

線程池總結(jié)

常用的兩種線程池的實(shí)現(xiàn)方式，在多線程編程中能使用線程池就不要自己去創(chuàng)建線程，并不是說線程池實(shí)現(xiàn)的多么好，其實(shí)我們自己完全也可以實(shí)現(xiàn)一個(gè)功能更強(qiáng)大的線程池。但是其內(nèi)置的線程池一來是受過全方面測試的，在安全性，性能和方便性上基本就是最優(yōu)的了，同時(shí)線程池還替我們做了很多額外的工作，比如任務(wù)隊(duì)列的維護(hù)，線程銷毀時(shí)資源的回收等都不需要開發(fā)者去關(guān)心，我們只需注重業(yè)務(wù)邏輯即可，不需要在關(guān)心其他額外的工作，這將大大提高我們的的工作效率和使用感受。

當(dāng)然其自帶的線程池也不是十全十美的，至少暫時(shí)沒有提供動(dòng)態(tài)添加任務(wù)的入口出來。而且在設(shè)計(jì)方面不夠靈活，比如我想線程池只維護(hù)一個(gè)核心數(shù)量，也就是上文說的最大數(shù)量。但是當(dāng)任務(wù)過多時(shí)可以再額外創(chuàng)建出一些新的線程（閾值可以自定義），處理完之后這些多余的線程將自動(dòng)銷毀，目前這個(gè)是做不到的。

感謝各位的閱讀！關(guān)于Python線程池的案例分析就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！