python爬蟲能夠開多少線程

小編給大家分享一下python爬蟲能夠開多少線程，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

1、爬蟲環(huán)境

Pycharm+python3.7.0

2、進(jìn)程和線程的關(guān)系：

一個(gè)線程只能屬于一個(gè)進(jìn)程，而一個(gè)進(jìn)程可以有多個(gè)線程，但至少有一個(gè)線程。

資源分配給進(jìn)程，同一進(jìn)程的所有線程共享該進(jìn)程的所有資源。

CPU 分給線程，即真正在 CPU 上運(yùn)行的是線程。

3、多線程通信實(shí)例

因?yàn)槿肿兞坎⒉皇蔷€程安全的，比如說(shuō)全局變量里（列表類型）只有一個(gè) url 了，線程 B 判斷了一下全局變量非空，在還沒(méi)有取出該 url 之前，cpu 把時(shí)間片給了線程 C，線程 C 將最后一個(gè)url 取走了，這時(shí) cpu 時(shí)間片又輪到了 B，B 就會(huì)因?yàn)樵谝粋€(gè)空的列表里取數(shù)據(jù)而報(bào)錯(cuò)，而 queue 模塊實(shí)現(xiàn)了多生產(chǎn)者、多消費(fèi)者隊(duì)列，在放值取值時(shí)是線程安全的。

4、實(shí)例代碼

import threading # 導(dǎo)入 threading 模塊
 
from queue import Queue #導(dǎo)入 queue 模塊
 
import time #導(dǎo)入 time 模塊
 
# 爬取文章詳情頁(yè)
 
def get_detail_html(detail_url_list, id):
 
while True:
 
url = detail_url_list.get() #Queue 隊(duì)列的 get 方法用于從隊(duì)列中提取元素
 
time.sleep(2) # 延時(shí) 2s，模擬網(wǎng)絡(luò)請(qǐng)求和爬取文章詳情的過(guò)程
 
print("thread {id}: get {url} detail finished".format(id=id,url=url)) #打印線程 id 和被爬取了文章內(nèi)容的 url
 
# 爬取文章列表頁(yè)
 
def get_detail_url(queue):
 
for i in range(10000):
 
time.sleep(1) # 延時(shí) 1s，模擬比爬取文章詳情要快
 
queue.put("http://testedu.com/{id}".format(id=i))#Queue 隊(duì)列的 put 方法用于向 Queue 隊(duì)列中放置元素，由于 Queue 是先進(jìn)先出隊(duì)列，所以先被 Put 的 URL 也就會(huì)被先 get 出來(lái)。
 
print("get detail url {id} end".format(id=i))#打印出得到了哪些文章的 url
 
#主函數(shù)
 
if __name__ == "__main__":
 
detail_url_queue = Queue(maxsize=1000) #用 Queue 構(gòu)造一個(gè)大小為 1000 的線程安全的先進(jìn)先出隊(duì)列
 
# 先創(chuàng)造四個(gè)線程
 
thread = threading.Thread(target=get_detail_url, args=(detail_url_queue,)) #A 線程負(fù)責(zé)抓取列表
 
url
 
html_thread= []
 
for i in range(3):
 
thread2 = threading.Thread(target=get_detail_html, args=(detail_url_queue,i))
 
html_thread.append(thread2)#B C D 線程抓取文章詳情
 
start_time = time.time()
 
# 啟動(dòng)四個(gè)線程
 
thread.start()
 
for i in range(3):
 
html_thread[i].start()
 
# 等待所有線程結(jié)束，thread.join()函數(shù)代表子線程完成之前，其父進(jìn)程一直處于阻塞狀態(tài)。
 
thread.join()
 
for i in range(3):
 
html_thread[i].join()
 
print("last time: {} s".format(time.time()-start_time))
 
#等 ABCD 四個(gè)線程都結(jié)束后，在主進(jìn)程中計(jì)算總爬取時(shí)間。

看完了這篇文章，相信你對(duì)python爬蟲能夠開多少線程有了一定的了解，想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！