溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

對(duì)python多線程與global變量詳解

發(fā)布時(shí)間：2020-09-06 01:06:37 來(lái)源：腳本之家 閱讀：191 作者：hsj_csdn 欄目：開(kāi)發(fā)技術(shù)

今天早上起來(lái)寫爬蟲(chóng)，基本框架已經(jīng)搭好，添加多線程爬取功能時(shí)，發(fā)現(xiàn)出錯(cuò)：

比如在下載文件的url列表中加入200個(gè)url，開(kāi)啟50個(gè)線程。我的爬蟲(chóng)…竟然將50個(gè)url爬取并全部命名為0.html，也就是說(shuō)，最后的下載結(jié)果，是有1個(gè)0.html（重復(fù)的覆蓋了），還有1-150。下面是我的代碼：

x = str(theguardian_globle.g)
 #x為給下載的文件命的名
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  theguardian_globle.g+=1
  print x+" is downloading..."
 
 except:
  print "error!"
#這個(gè)是全局變量g的定義
global g
 
g = 0

后來(lái)終于發(fā)現(xiàn)問(wèn)題：多線程+全局變量是個(gè)危險(xiǎn)的組合，因?yàn)槌绦蛴卸鄠€(gè)線程在同時(shí)執(zhí)行，多個(gè)線程同時(shí)操作全局變量，會(huì)引起混亂。在多線程中操作全局變量，應(yīng)當(dāng)給該操作加鎖。

以下為修改后的代碼：

函數(shù)：
 
def downLoad(url,num):
 x = str(num)
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  print x+" is downloading..."
 
 except:
  print "error!"

多線程消費(fèi)者_(dá)給操作全局變量的語(yǔ)句加鎖
class Cosumer(threading.Thread):
 def run(self):
  print('%s:started' % threading.current_thread())
 
  while True:
   global gCondition
   gCondition.acquire()
   while q.empty()==True:
    gCondition.wait()
   url = q.get()
   num = theguardian_globle.g
   theguardian_globle.g+=1
   gCondition.release()
   downLoad(url,num)

大功告成！

以上這篇對(duì)python多線程與global變量詳解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持億速云。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手