0): n -= 1..."/>
您好,登錄后才能下訂單哦!
python 多線程效率
在一臺(tái)8核的CentOS上,用python 2.7.6程序執(zhí)行一段CPU密集型的程序。
import time def fun(n):#CPU密集型的程序 while(n>0): n -= 1 start_time = time.time() fun(10000000) print('{} s'.format(time.time() - start_time))#測(cè)量程序執(zhí)行時(shí)間
測(cè)量三次程序的執(zhí)行時(shí)間,平均時(shí)間為0.968370994秒。這就是一個(gè)線程執(zhí)行一次fun(10000000)所需要的時(shí)間。
下面用兩個(gè)線程并行來跑這段CPU密集型的程序。
import time import threading def fun(n): while(n>0): n -= 1 start_time = time.time() t1 = threading.Thread( target=fun, args=(10000000,) ) t1.start() t2 = threading.Thread( target=fun, args=(10000000,) ) t2.start() t1.join() t2.join() print('{} s'.format(time.time() - start_time))
測(cè)量三次程序的執(zhí)行時(shí)間,平均時(shí)間為2.150056044秒。
為什么在8核的機(jī)器上,多線程執(zhí)行時(shí)間并不比順序執(zhí)行快呢?
再做另一個(gè)實(shí)驗(yàn),用下面的命令,把8核cpu中的7個(gè)核禁掉。
[xxx]# echo 0 > /sys/devices/system/cpu/cpu1/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu2/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu3/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu4/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu5/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu6/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu7/online
然后在運(yùn)行這個(gè)多線程的程序,三次平均時(shí)間為2.533491453秒。為什么多線程程序在多核上跑的時(shí)間只比單核快一點(diǎn)點(diǎn)呢?
這就要提到python程序多線程的實(shí)現(xiàn)機(jī)制了。
Python多線程實(shí)現(xiàn)機(jī)制
python的多線程機(jī)制,就是用C實(shí)現(xiàn)的真實(shí)系統(tǒng)中的線程。線程完全被操作系統(tǒng)控制。
python內(nèi)部創(chuàng)建一個(gè)線程的步驟是這樣的:
由于python是解釋形動(dòng)態(tài)語言,所以在實(shí)現(xiàn)線程時(shí),需要PyThreadState結(jié)構(gòu)來保存一些信息:
PyThreadState是C語言實(shí)現(xiàn)的一個(gè)結(jié)構(gòu)體(摘自[2]):
typedef struct _ts { struct _ts *next; # 鏈表指正 PyInterpreterState *interp; # 解釋器狀態(tài) struct _frame *frame; # 當(dāng)前的stack frame int recursion_depth; # 當(dāng)前的遞歸深度 int tracing; int use_tracing; Py_tracefunc c_profilefunc; Py_tracefunc c_tracefunc; PyObject *c_profileobj; PyObject *c_traceobj; PyObject *curexc_type; PyObject *curexc_value; PyObject *curexc_traceback; PyObject *exc_type; PyObject *exc_value; PyObject *exc_traceback; PyObject *dict; int tick_counter; int gilstate_counter; PyObject *async_exc; long thread_id; # 線程ID } PyThreadState;
從目前最新的python源碼中來看,這個(gè)結(jié)構(gòu)體中的內(nèi)容已經(jīng)有所改變,但記錄解釋器狀態(tài)的指針PyInterpreterState *interp依然存在。
python解釋器實(shí)現(xiàn)時(shí),用了一個(gè)全局變量(_PyThreadState_Current)
[https://github.com/python/cpython/blob/3.1/Python/pystate.c](python3.1和之前的代碼中都存在,python3.2就有所不同了)
PyThreadState *_PyThreadState_Current = NULL;
_PyThreadState_Current指向當(dāng)前執(zhí)行線程的PyThreadState數(shù)據(jù)結(jié)構(gòu)。解釋器通過這個(gè)變量,來獲取當(dāng)前所執(zhí)行線程的信息。
python程序中,有一個(gè)全局解釋器鎖GIL來控制線程的執(zhí)行,每一個(gè)時(shí)刻只允許一個(gè)線程執(zhí)行。
GIL的行為
GIL最基本的行為只有下面兩個(gè):
那么,如果遇到CPU密集型的線程,一直占用CPU,不會(huì)被I/O阻塞,是不是其它線程就沒有機(jī)會(huì)執(zhí)行了呢?
非也,為了避免這種情況,解釋器還會(huì)周期性的check并執(zhí)行線程調(diào)度。
解釋器周期性check行為,做的就是下面這3件事:
而解釋器check的周期,默認(rèn)是100個(gè)tick。解釋器的tick并不是基于時(shí)間的,每個(gè)tick大致相當(dāng)于一條匯編指令的執(zhí)行時(shí)間。
從解釋器的check行為中可以看到,只有主線程中會(huì)處理信號(hào),子線程中都不處理信號(hào)。所以python多線程程序,會(huì)給人一種無法處理Ctrl+C的假象,因?yàn)榇蟛糠智闆r下主線程被block住了,無法處理SIGINT信號(hào)。
注意python中并沒有實(shí)現(xiàn)線程調(diào)度,python的多線程調(diào)度完全依賴于操作系統(tǒng)。所以python多線程編程中沒有線程優(yōu)先級(jí)等概念。
GIL的實(shí)現(xiàn)
python的GIL并不是簡單的用lock實(shí)現(xiàn)的,GIL是用signal實(shí)現(xiàn)的。
參考
[1] Understanding the Python GIL. http://dabeaz.com/python/UnderstandingGIL.pdf
[2] Inside the Python GIL. http://www.dabeaz.com/python/GIL.pdf
以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。