您好,登錄后才能下訂單哦!
今天就跟大家聊聊有關(guān)怎樣用一個(gè)開源工具實(shí)現(xiàn)多線程 Python 程序的可視化,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。
VizTracer 可以跟蹤并發(fā)的 Python 程序,以幫助記錄、調(diào)試和剖析。
并發(fā)是現(xiàn)代編程中必不可少的一部分,因?yàn)槲覀冇卸鄠€(gè)核心,有許多需要協(xié)作的任務(wù)。然而,當(dāng)并發(fā)程序不按順序運(yùn)行時(shí),就很難理解它們。對于工程師來說,在這些程序中發(fā)現(xiàn) bug 和性能問題不像在單線程、單任務(wù)程序中那么容易。
在 Python 中,你有多種并發(fā)的選擇。最常見的可能是用 threading
模塊的多線程,用subprocess
和 multiprocessing
模塊的多進(jìn)程,以及最近用 asyncio
模塊提供的 async
語法。在 VizTracer 之前,缺乏分析使用了這些技術(shù)程序的工具。
VizTracer 是一個(gè)追蹤和可視化 Python 程序的工具,對日志、調(diào)試和剖析很有幫助。盡管它對單線程、單任務(wù)程序很好用,但它在并發(fā)程序中的實(shí)用性是它的獨(dú)特之處。
從一個(gè)簡單的練習(xí)任務(wù)開始:計(jì)算出一個(gè)數(shù)組中的整數(shù)是否是質(zhì)數(shù)并返回一個(gè)布爾數(shù)組。下面是一個(gè)簡單的解決方案:
def is_prime(n): for i in range(2, n): if n % i == 0: return False return True def get_prime_arr(arr): return [is_prime(elem) for elem in arr]
試著用 VizTracer 以單線程方式正常運(yùn)行它:
if __name__ == "__main__": num_arr = [random.randint(100, 10000) for _ in range(6000)] get_prime_arr(num_arr)
viztracer my_program.py
Running code in a single thread
調(diào)用堆棧報(bào)告顯示,耗時(shí)約 140ms,大部分時(shí)間花在 get_prime_arr
上。
call-stack report
這只是在數(shù)組中的元素上一遍又一遍地執(zhí)行 is_prime
函數(shù)。
這是你所期望的,而且它并不有趣(如果你了解 VizTracer 的話)。
試著用多線程程序來做:
if __name__ == "__main__": num_arr = [random.randint(100, 10000) for i in range(2000)] thread1 = Thread(target=get_prime_arr, args=(num_arr,)) thread2 = Thread(target=get_prime_arr, args=(num_arr,)) thread3 = Thread(target=get_prime_arr, args=(num_arr,)) thread1.start() thread2.start() thread3.start() thread1.join() thread2.join() thread3.join()
為了配合單線程程序的工作負(fù)載,這就為三個(gè)線程使用了一個(gè) 2000 元素的數(shù)組,模擬了三個(gè)線程共享任務(wù)的情況。
Multi-thread program
如果你熟悉 Python 的全局解釋器鎖(GIL),就會想到,它不會再快了。由于開銷太大,花了 140ms 多一點(diǎn)的時(shí)間。不過,你可以觀察到多線程的并發(fā)性:
Concurrency of multiple threads
當(dāng)一個(gè)線程在工作(執(zhí)行多個(gè) is_prime
函數(shù))時(shí),另一個(gè)線程被凍結(jié)了(一個(gè) is_prime
函數(shù));后來,它們進(jìn)行了切換。這是由于 GIL 的原因,這也是 Python 沒有真正的多線程的原因。它可以實(shí)現(xiàn)并發(fā),但不能實(shí)現(xiàn)并行。
要想實(shí)現(xiàn)并行,辦法就是 multiprocessing
庫。下面是另一個(gè)使用 multiprocessing
的版本:
if __name__ == "__main__": num_arr = [random.randint(100, 10000) for _ in range(2000)] p1 = Process(target=get_prime_arr, args=(num_arr,)) p2 = Process(target=get_prime_arr, args=(num_arr,)) p3 = Process(target=get_prime_arr, args=(num_arr,)) p1.start() p2.start() p3.start() p1.join() p2.join() p3.join()
要使用 VizTracer 運(yùn)行它,你需要一個(gè)額外的參數(shù):
viztracer --log_multiprocess my_program.py
Running with extra argument
整個(gè)程序在 50ms 多一點(diǎn)的時(shí)間內(nèi)完成,實(shí)際任務(wù)在 50ms 之前完成。程序的速度大概提高了三倍。
為了和多線程版本進(jìn)行比較,這里是多進(jìn)程版本:
Multi-process version
在沒有 GIL 的情況下,多個(gè)進(jìn)程可以實(shí)現(xiàn)并行,也就是多個(gè) is_prime
函數(shù)可以并行執(zhí)行。
不過,Python 的多線程也不是一無是處。例如,對于計(jì)算密集型和 I/O 密集型程序,你可以用睡眠來偽造一個(gè) I/O 綁定的任務(wù):
def io_task(): time.sleep(0.01)
在單線程、單任務(wù)程序中試試:
if __name__ == "__main__": for _ in range(3): io_task()
I/O-bound single-thread, single-task program
整個(gè)程序用了 30ms 左右,沒什么特別的。
現(xiàn)在使用多線程:
if __name__ == "__main__": thread1 = Thread(target=io_task) thread2 = Thread(target=io_task) thread3 = Thread(target=io_task) thread1.start() thread2.start() thread3.start() thread1.join() thread2.join() thread3.join()
I/O-bound multi-thread program
程序耗時(shí) 10ms,很明顯三個(gè)線程是并發(fā)工作的,這提高了整體性能。
Python 正在嘗試引入另一個(gè)有趣的功能,叫做異步編程。你可以制作一個(gè)異步版的任務(wù):
import asyncio async def io_task(): await asyncio.sleep(0.01) async def main(): t1 = asyncio.create_task(io_task()) t2 = asyncio.create_task(io_task()) t3 = asyncio.create_task(io_task()) await t1 await t2 await t3 if __name__ == "__main__": asyncio.run(main())
由于 asyncio
從字面上看是一個(gè)帶有任務(wù)的單線程調(diào)度器,你可以直接在它上使用 VizTracer:
VizTracer with asyncio
依然花了 10ms,但顯示的大部分函數(shù)都是底層結(jié)構(gòu),這可能不是用戶感興趣的。為了解決這個(gè)問題,可以使用 --log_async
來分離真正的任務(wù):
viztracer --log_async my_program.py
Using --log_async to separate tasks
現(xiàn)在,用戶任務(wù)更加清晰了。在大部分時(shí)間里,沒有任務(wù)在運(yùn)行(因?yàn)樗ㄒ蛔龅氖虑榫褪撬X)。有趣的部分是這里:
Graph of task creation and execution
這顯示了任務(wù)的創(chuàng)建和執(zhí)行時(shí)間。Task-1 是 main()
協(xié)程,創(chuàng)建了其他任務(wù)。Task-2、Task-3、Task-4 執(zhí)行 io_task
和 sleep
然后等待喚醒。如圖所示,因?yàn)槭菃尉€程程序,所以任務(wù)之間沒有重疊,VizTracer 這樣可視化是為了讓它更容易理解。
為了讓它更有趣,可以在任務(wù)中添加一個(gè) time.sleep
的調(diào)用來阻止異步循環(huán):
async def io_task(): time.sleep(0.01) await asyncio.sleep(0.01)
time.sleep call
程序耗時(shí)更長(40ms),任務(wù)填補(bǔ)了異步調(diào)度器中的空白。
這個(gè)功能對于診斷異步程序的行為和性能問題非常有幫助。
通過 VizTracer,你可以在時(shí)間軸上查看程序的進(jìn)展情況,而不是從復(fù)雜的日志中想象。這有助于你更好地理解你的并發(fā)程序。
VizTracer 是開源的,在 Apache 2.0 許可證下發(fā)布,支持所有常見的操作系統(tǒng)(Linux、macOS 和 Windows)。你可以在 VizTracer 的 GitHub 倉庫中了解更多關(guān)于它的功能和訪問它的源代碼。
看完上述內(nèi)容,你們對怎樣用一個(gè)開源工具實(shí)現(xiàn)多線程 Python 程序的可視化有進(jìn)一步的了解嗎?如果還想了解更多知識或者相關(guān)內(nèi)容,請關(guān)注億速云行業(yè)資訊頻道,感謝大家的支持。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。