您好,登錄后才能下訂單哦!
這篇文章主要介紹“怎么編寫Python代碼讓數(shù)據(jù)處理快4倍”,在日常操作中,相信很多人在怎么編寫Python代碼讓數(shù)據(jù)處理快4倍問題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”怎么編寫Python代碼讓數(shù)據(jù)處理快4倍”的疑惑有所幫助!接下來,請(qǐng)跟著小編一起來學(xué)習(xí)吧!
比方說:
我們有一個(gè)全是圖像數(shù)據(jù)的文件夾,想用Python為每張圖像創(chuàng)建縮略圖。
下面是一個(gè)短暫的腳本:
用Python的內(nèi)置glob函數(shù)獲取文件夾中所有JPEG圖像的列表,
然后用Pillow圖像處理庫為每張圖像保存大小為128像素的縮略圖:
這段腳本沿用了一個(gè)簡(jiǎn)單的模式
你會(huì)在數(shù)據(jù)處理腳本中經(jīng)常見到這種方法:
首先獲得你想處理的文件(或其它數(shù)據(jù))的列表
寫一個(gè)輔助函數(shù),能夠處理上述文件的單個(gè)數(shù)據(jù)
使用for循環(huán)調(diào)用輔助函數(shù),處理每一個(gè)單個(gè)數(shù)據(jù),一次一個(gè)。
咱們用一個(gè)包含1000張JPEG圖像的文件夾測(cè)試一下這段腳本,
看看運(yùn)行完要花多長(zhǎng)時(shí)間:
運(yùn)行程序花了8.9秒,但是電腦的真實(shí)工作強(qiáng)度怎樣呢?
我們?cè)龠\(yùn)行一遍程序
看看程序運(yùn)行時(shí)的活動(dòng)監(jiān)視器情況:
電腦有75%的處理資源處于閑置狀態(tài)!這是什么情況?
這個(gè)問題的原因就是我的電腦有4個(gè)CPU,但Python只使用了一個(gè)。
所以程序只是卯足了勁用其中一個(gè)CPU,另外3個(gè)卻無所事事。
因此我需要一種方法能將工作量分成4個(gè)我能并行處理的單獨(dú)部分。
幸運(yùn)的是,Python中有個(gè)方法很容易能讓我們做到!
下面是一種可以讓我們并行處理數(shù)據(jù)的方法:
將JPEG文件劃分為4小塊。運(yùn)行Python解釋器的4個(gè)單獨(dú)實(shí)例。
讓每個(gè)Python實(shí)例處理這4塊數(shù)據(jù)中的一塊。
將這4部分的處理結(jié)果合并,獲得結(jié)果的最終列表。
4個(gè)Python拷貝程序在4個(gè)單獨(dú)的CPU上運(yùn)行,
處理的工作量應(yīng)該能比一個(gè)CPU大約高出4倍,
對(duì)吧?
最妙的是,Python已經(jīng)替我們做完了最麻煩的那部分工作。
我們只需告訴它想運(yùn)行哪個(gè)函數(shù)以及使用多少實(shí)例就行了,剩下的工作它會(huì)完成。
整個(gè)過程我們只需要改動(dòng)3行代碼。
首先
我們需要導(dǎo)入concurrent.futures庫
這個(gè)庫就內(nèi)置在Python中:
接著,我們需要告訴Python啟動(dòng)4個(gè)額外的Python實(shí)例。
我們通過讓Python創(chuàng)建一個(gè)Process Pool來完成這一步:
默認(rèn)情況下:
它會(huì)為你電腦上的每個(gè)CPU創(chuàng)建一個(gè)Python進(jìn)程,
所以如果你有4個(gè)CPU,就會(huì)啟動(dòng)4個(gè)Python進(jìn)程。
***一步:
讓創(chuàng)建的Process Pool用這4個(gè)進(jìn)程在數(shù)據(jù)列表上執(zhí)行我們的輔助函數(shù)。
完成這一步,我們要將已有的for循環(huán):
替換為新的調(diào)用executor.map():
該executor.map()函數(shù)調(diào)用時(shí)需要輸入輔助函數(shù)和待處理的數(shù)據(jù)列表。
這個(gè)函數(shù)能幫我完成所有麻煩的工作
包括將列表分為多個(gè)子列表、將子列表發(fā)送到每個(gè)子進(jìn)程、運(yùn)行子進(jìn)程以及合并結(jié)果等。
干得漂亮!
這也能為我們返回每個(gè)函數(shù)調(diào)用的結(jié)果。
Executor.map()函數(shù)會(huì)按照和輸入數(shù)據(jù)相同的順序返回結(jié)果。
所以我用了Python的zip()函數(shù)作為捷徑,一步獲取原始文件名和每一步中的匹配結(jié)果。
這里是經(jīng)過這三步改動(dòng)后的程序代碼:
我們來運(yùn)行一下這段腳本
看看它是否以更快的速度完成數(shù)據(jù)處理:
腳本在2.2秒就處理完了數(shù)據(jù)!比原來的版本提速4倍!
之所以能更快的處理數(shù)據(jù)
是因?yàn)槲覀兪褂昧?個(gè)CPU而不是1個(gè)。
但是
如果你仔細(xì)看看,會(huì)發(fā)現(xiàn)“用戶”時(shí)間幾乎為9秒。
那為何程序處理時(shí)間為2.2秒,但不知怎么搞得運(yùn)行時(shí)間還是9秒?
這似乎不太可能?。?/p>
這是
因?yàn)椤坝脩簟睍r(shí)間是所有CPU時(shí)間的總和,
我們最終完成工作的CPU時(shí)間總和一樣,都是9秒,
但我們使用4個(gè)CPU完成的,實(shí)際處理數(shù)據(jù)時(shí)間只有2.2秒!
注意:
啟用更多Python進(jìn)程以及給子進(jìn)程分配數(shù)據(jù)都會(huì)占用時(shí)間,因此靠這個(gè)方法并不能保證總是能大幅提高速度。
如果你有一列數(shù)據(jù)
并且每個(gè)數(shù)據(jù)都能單獨(dú)處理時(shí),使用我們這里所說的Process Pools是一個(gè)提速的好方法。
下面是一些適合使用并行處理的例子:
從一系列單獨(dú)的網(wǎng)頁服務(wù)器日志里抓取統(tǒng)計(jì)數(shù)據(jù)。
從一堆XML,CSV和JSON文件中解析數(shù)據(jù)。
對(duì)大量圖片數(shù)據(jù)做預(yù)處理,建立機(jī)器學(xué)習(xí)數(shù)據(jù)集。
但也要記住,Process Pools并不是***的。
使用Process Pool需要在獨(dú)立的Python處理進(jìn)程之間來回傳遞數(shù)據(jù)。
如果你要處理的數(shù)據(jù)不能在處理過程中被有效地傳遞,這種方法就行不通了。
簡(jiǎn)而言之,你處理的數(shù)據(jù)必須是Python知道怎么應(yīng)對(duì)的類型。
同時(shí)
也無法按照一個(gè)預(yù)想的順序處理數(shù)據(jù)。
如果你需要前一步的處理結(jié)果來進(jìn)行下一步,這種方法也行不通。
那GIL的問題呢?
你可能知道Python有個(gè)叫全局解釋器鎖(Global Interpreter Lock)的東西,即GIL。
這意味著即使你的程序是多線程的,每個(gè)線程也只能執(zhí)行一個(gè)Python指令。
GIL確保任何時(shí)候都只有一個(gè)Python線程執(zhí)行。
換句話說:
多線程的Python代碼并不能真正地并行運(yùn)行,從而無法充分利用多核CPU。
但是Process Pool能解決這個(gè)問題!
因?yàn)槲覀兪沁\(yùn)行單獨(dú)的Python實(shí)例,每個(gè)實(shí)例都有自己的GIL。
這樣我們獲得是真正能并行處理的Python代碼!
到此,關(guān)于“怎么編寫Python代碼讓數(shù)據(jù)處理快4倍”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。