您好,登錄后才能下訂單哦!
這篇文章主要介紹了python已協(xié)程方式處理任務(wù)實(shí)現(xiàn)過程,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
#從genent中導(dǎo)入monky模塊① from gevent import monkey #把程序變成協(xié)程的方式運(yùn)行② monkey.patch_all() import gevent,requests,time #導(dǎo)入requests和time start = time.time() #記錄程序開始時間 url_list = ['https://www.baidu.com/', 'https://www.sina.com.cn/', 'http://www.sohu.com/', 'https://www.qq.com/', 'https://www.163.com/', 'http://www.iqiyi.com/', 'https://www.tmall.com/', 'http://www.ifeng.com/'] #把8個網(wǎng)站封裝成列表 def get_data(url): r = requests.get(url) # 用requests.get()函數(shù)爬取網(wǎng)站 print(url, time.time()-start,r.status_code) task_list=[] # 創(chuàng)建一個空列表 for url in url_list: # 用gevent里面的spawn函數(shù)創(chuàng)建任務(wù) get_data是方法名,url是參數(shù)③ task=gevent.spawn(get_data,url) # 將創(chuàng)建的任務(wù)添加到task_list④ task_list.append(task) #執(zhí)行任務(wù)列表中的所有任務(wù)⑤ gevent.joinall(task_list) end = time.time() #記錄程序結(jié)束時間 print(end-start) #end-start是結(jié)束時間減去開始時間,就是最終所花時間。
使用隊(duì)列,代碼如下:
#從genent中導(dǎo)入monky模塊① from gevent import monkey #把程序變成協(xié)程的方式運(yùn)行② monkey.patch_all() import gevent,requests,time #從gevent庫里導(dǎo)入queue模塊 from gevent.queue import Queue #導(dǎo)入requests和time start = time.time() #記錄程序開始時間 url_list = ['https://www.baidu.com/', 'https://www.sina.com.cn/', 'http://www.sohu.com/', 'https://www.qq.com/', 'https://www.163.com/', 'http://www.iqiyi.com/', 'https://www.tmall.com/', 'http://www.ifeng.com/'] #把8個網(wǎng)站封裝成列表 #創(chuàng)建隊(duì)列對象,并賦值給work。 work=Queue() for url in url_list: # 用put_nowait()函數(shù)可以把網(wǎng)址都放進(jìn)隊(duì)列里。 work.put_nowait(url) def get_data(): # 當(dāng)隊(duì)列不是空的時候,就執(zhí)行下面的程序。 while not work.empty(): # 用get_nowait()函數(shù)可以把隊(duì)列里的網(wǎng)址都取出。 url=work.get_nowait() r = requests.get(url) # 用requests.get()函數(shù)爬取網(wǎng)站 qsize隊(duì)列長度 print(url, work.qsize(),r.status_code) task_list=[] # 創(chuàng)建一個空列表 # 創(chuàng)建了2個爬蟲 for x in range(2): # 用gevent里面的spawn函數(shù)創(chuàng)建任務(wù) get_data是方法名 task=gevent.spawn(get_data) # 將創(chuàng)建的任務(wù)添加到task_list④ task_list.append(task) #執(zhí)行任務(wù)列表中的所有任務(wù)⑤ gevent.joinall(task_list) end = time.time() #記錄程序結(jié)束時間 print(end-start) #end-start是結(jié)束時間減去開始時間,就是最終所花時間。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。