溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python會不會刪除GIL

發(fā)布時間:2021-07-19 10:05:45 來源:億速云 閱讀:127 作者:chen 欄目:編程語言

本篇內(nèi)容介紹了“Python會不會刪除GIL ”的有關(guān)知識,在實(shí)際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!

我們知道,在 CPython 中,有一個全局解釋器鎖,英文叫 global interpreter lock,簡稱 GIL,是一個互斥鎖,用來保護(hù)  Python 世界里的對象,防止同一時刻多個線程執(zhí)行 Python 的字節(jié)碼,從而確保線程安全,這導(dǎo)致了 Python 的線程無法利用多核 CPU  的優(yōu)勢,因此有人說 Python 的多線程是偽多線程,性能不高,那么 Python 將來有可能去除 GIL 嗎?

要回答這個問題,先從 GIL 的起源進(jìn)行分析。

GIL 的起源

Python 第一次發(fā)布是在 1991 年,當(dāng)時的 CPU 都是單核,單核中,多線程主要為了一邊做IO,一邊做 CPU 計算而設(shè)計的,Python  編譯器是由 C 語言編寫的,因此也叫 CPython,那時候很多編程語言沒有自動內(nèi)存管理的功能,為了實(shí)現(xiàn)自動垃圾回收,Python  為每一個對象進(jìn)行了引用計數(shù),當(dāng)引用計數(shù)為 0 的時候說明該對象可以回收,從而釋放內(nèi)存了,比如:

>>> import sys >>> data = { 'gzh': 'Python七號'} >>> var1 = data >>> sys.getrefcount(data) 3 >>>

這里 data 對象就有 3 個引用, 一個是本身,一個是變量 var1,一個是 getrefcount 函數(shù)的參數(shù),如果此時又有一個線程引用了  data,那么引用計數(shù)再增加 1,如果某個線程使用了 data 后運(yùn)行結(jié)束,那么引用計數(shù)就減少 1,多線程對同一個變量「引用計數(shù)」進(jìn)行修改,就會遇到 race  conditions(競爭),為了避免 race conditions,最簡單有效的辦法就是加一個互斥鎖。

如果對每一個對象都加鎖,有可能引發(fā)另一個問題,就是死鎖,而且頻繁的獲取和釋放會導(dǎo)致性能下降,最簡單有效的方法就是加一個解釋器鎖,線程在執(zhí)行任何字節(jié)碼時都先獲取解釋器鎖,這就避免了死鎖,而且不會有太多的性能消耗。當(dāng)時  CPU 都是單核,而且這種 GIL 設(shè)計簡單,并不會影響性能,因此一直沿用至今天。GIL 存在最主要的原因,就是因?yàn)?Python  的內(nèi)存管理不是線程安全的,這就是 GIL 產(chǎn)生并存在的主要緣由。

嘗試消除 GIL

CPU 進(jìn)入多核時代后,可以同時做多個計算任務(wù), GIL 才真正變成問題。在 1999 年,有個叫 Greg Stein 的大佬基于 Python 1.5  版本消除了 GIL,取代代之的是在可變數(shù)據(jù)結(jié)構(gòu)上加上更細(xì)粒度的鎖,也提交了補(bǔ)丁用于去除對全局可變對象的依賴,然后在標(biāo)準(zhǔn)測試時表明去除 GIL  后單線程比不去除時慢了近 2 倍,測試的機(jī)器還是當(dāng)時性能最好 Windows 機(jī)器。也就是說除去了 GIL 后,你使用 2 個 CPU 才能獲取比原來 1 個  CPU 稍微好一點(diǎn)的性能,這種提升明顯得不償失,Greg Stein 的嘗試也就失敗告終。

Python 之父 Guido van Rossum 也歡迎社區(qū)的志愿者去嘗試去除 GIL,只要不降低單線程的性能,但他也提到,去掉 GIL  不是一件容易的事。

Python 開發(fā)者郵件列表中也偶爾會有去除 GIL 的議題,但是以下需求必須滿足:

  1. 鴻蒙官方戰(zhàn)略合作共建——HarmonyOS技術(shù)社區(qū)

  2. 簡單。從長遠(yuǎn)來看該方案必須是可實(shí)施、可維護(hù)的。

  3. 并發(fā)。去除 GIL 必須能提升多線程的性能。

  4. 速度。去除 GIL 不能降低單線程的性能。

  5. 滿足 CPython 的特性。該方案必須支持 CPython 的功能,比如 __del__ 和弱引用。

  6. API 的兼容性。該方案應(yīng)與所有現(xiàn)有CPython擴(kuò)展使用的宏在源方面兼容。

  7. 及時銷毀不可達(dá)對象,回收內(nèi)存。

  8. 有序銷毀,比如不可達(dá)對象 X 引用了 A,那么應(yīng)該在銷毀 A 之前先銷毀 X(有些垃圾回收算法并不能做到這一點(diǎn))。

有些需求不容易被滿足,比如 4,5,7,目前,還沒有人滿足以上需求的同時去除 GIL 成功的。

積重難返

這些年 Python 實(shí)在太火了,很多優(yōu)秀的庫都是基于 CPython 進(jìn)行編寫的,很多都是 90 年代的 C 擴(kuò)展庫,如果要除去 GIL,那么很多基于  GIL 編寫的 C 擴(kuò)展便無法使用,也就是去了 GIL,Python 生態(tài)有很多擴(kuò)展或三方庫者無法使用。

還有一個很明顯的例子,Python 解釋器不止有 CPython,還有用 Java 編寫的 Python,.NET 實(shí)現(xiàn)的  IronPython,這些解釋器完全沒有 GIL,可是有多少人為它們編寫擴(kuò)展呢?

Python 之所以如此火爆,與它有著豐富的三方庫開箱即用有著很大的關(guān)系,積重難返,去除 GIL 很困難。

為什么 Python3 一開始時不去除 GIL

Python3 在最開始時是有機(jī)會實(shí)現(xiàn)很多新功能,在此過程中,打破了一些現(xiàn)有的 C 擴(kuò)展,然后需要更新和移植更改以配合 Python 3,這也是  Python3 一開始不被社區(qū)所接受的原因。

與 Python2 相比,刪除 GIL 將使 Python3 在單線程性能方面更慢,而且很多優(yōu)秀的擴(kuò)展將不能再使用,如果真的這樣,可以想象 Python3  不可能有未來,最終的結(jié)果是 Python3 仍然保持有 GIL。

但 Python3 也為現(xiàn)有的 GIL 帶來了重大改進(jìn),在 Python 3.2 版本中,確保了計算密集型線程和 I/O 密集型線程并存時, I/O  密集型長期獲取不到 GIL 而無法執(zhí)行的問題,提升了多線程的性能。

最后的話

Python 因?yàn)閮?nèi)存管理不是線程安全的,因此自出生起就自帶 GIL,然后很多擴(kuò)展都是在 GIL 的保護(hù)下編寫的,時間一長積重難反,Python3  一開始也因去除 GIL 導(dǎo)致單線程性能下降的問題而保留 GIL,現(xiàn)在已經(jīng)是 Python3.9 版本了,將來 Python 去除 GIL  的可能性微乎其微,換句話說,去除 GIL 的 Python 也就不是我們認(rèn)識的 Python 了。

不過不必沮喪,GIL 影響的也僅僅是多線程執(zhí)行計算密集型的任務(wù)罷了,這種場景大多數(shù)程序員都很少遇到,即使有,可以使用多進(jìn)程來避免 GIL  的影響,或者使用其他編程語言實(shí)現(xiàn),任何編程語言或技術(shù)都不是十全十美的,發(fā)揮所長是最重要的,即使有 GIL,我也不在乎,也會依然使用 Python。

“Python會不會刪除GIL ”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI