python3爬蟲(chóng)中zm引用Queue案例

這篇文章給大家分享的是有關(guān)python3爬蟲(chóng)中zm引用Queue案例的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧。

隊(duì)列這種東西大家應(yīng)該都知道，就是一個(gè)先進(jìn)先出的數(shù)據(jù)結(jié)構(gòu)，而Python的標(biāo)準(zhǔn)庫(kù)中提供了一個(gè)線(xiàn)程安全的隊(duì)列，也就是說(shuō)該模塊是適用于多線(xiàn)程編程的先進(jìn)先出（first-in,first-out，F(xiàn)IFO）數(shù)據(jù)結(jié)構(gòu)，可以用來(lái)在生產(chǎn)者消費(fèi)者線(xiàn)程之間安全地傳遞消息或其他數(shù)據(jù)。它會(huì)為調(diào)用者處理鎖定，使用多個(gè)線(xiàn)程可以安全地處理同一個(gè) Queue 實(shí)例。Queue 的大小（其中包含的元素個(gè)數(shù)）可能要受限，以限制內(nèi)存使用或處理。

在Python 3中要引入Queue和Python 2中引入Queue是不同，引入方式如下：

#python 2
import Queue
# python 3
from queue import Queue

因?yàn)槭蔷€(xiàn)程安全的，很自然就可以利用Queue來(lái)實(shí)現(xiàn)一個(gè)多線(xiàn)程爬蟲(chóng)咯，而Queue的一些常見(jiàn)操作如下：

# 實(shí)例化一個(gè)隊(duì)列，可以在指定隊(duì)列大小
q = Queue.Queue()
q_50 = Queue.Queue(50) # 指定一個(gè)長(zhǎng)度為50的隊(duì)列
# 入隊(duì)一個(gè)數(shù)據(jù)data
q.put(data)
# 出隊(duì)并賦值給item
item = q.get()
# 判斷隊(duì)列是否為空，是否滿(mǎn)
if q.empty()：
    print('隊(duì)列為空')
if q.full():
print('隊(duì)列滿(mǎn)')

另外，除了普通隊(duì)列，標(biāo)準(zhǔn)庫(kù)中還有優(yōu)先隊(duì)列和后進(jìn)先出隊(duì)列這兩個(gè)隊(duì)列，分別為L(zhǎng)ifoQueue和PriorityQueue，其引用方式與Queue類(lèi)似。

感謝各位的閱讀！關(guān)于python3爬蟲(chóng)中zm引用Queue案例就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！