怎樣控制python爬蟲多線程同時(shí)運(yùn)行

這篇文章主要介紹了怎樣控制python爬蟲多線程同時(shí)運(yùn)行，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

互斥鎖同時(shí)只允許一個(gè)線程更改數(shù)據(jù)，而Semaphore是同時(shí)允許一定數(shù)量的線程更改數(shù)據(jù) ，比如廁所有3個(gè)坑，那最多只允許3個(gè)人上廁所，后面的人只能等里面有人出來了才能再進(jìn)去。

import threading
import time
 
def run(n, semaphore):
    semaphore.acquire()   #加鎖
    time.sleep(1)
    print("run the thread:%s\n" % n)
    semaphore.release()     #釋放
 
if __name__ == '__main__':
    num = 0
    semaphore = threading.BoundedSemaphore(5)  # 最多允許5個(gè)線程同時(shí)運(yùn)行
    for i in range(22):
        t = threading.Thread(target=run, args=("t-%s" % i, semaphore))
        t.start()
    while threading.active_count() != 1:
        pass  # print threading.active_count()
    else:
        print('-----all threads done-----')

拓展互斥鎖：

由于線程之間是進(jìn)行隨機(jī)調(diào)度，如果有多個(gè)線程同時(shí)操作一個(gè)對(duì)象，如果沒有很好地保護(hù)該對(duì)象，會(huì)造成程序結(jié)果的不可預(yù)期，我們也稱此為“線程不安全”。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享怎樣控制python爬蟲多線程同時(shí)運(yùn)行內(nèi)容對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問題就找億速云，詳細(xì)的解決方法等著你來學(xué)習(xí)!