溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

怎么用框架給python爬蟲定時(shí)

發(fā)布時(shí)間：2020-11-30 10:46:23 來源：億速云 閱讀：146 作者：小新 欄目：編程語言

小編給大家分享一下怎么用框架給python爬蟲定時(shí)，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

在linux系統(tǒng)下，你可以使用crontab命令設(shè)置定時(shí)任務(wù)，不多這個(gè)命令對(duì)于初學(xué)者來說用起來不那么簡(jiǎn)單直觀，本文推薦你使用定時(shí)任框架APScheduler

pip install apscheduler

該框架的接口定義十分友好，比如你希望你的爬蟲函數(shù)run_spider 在每天的10點(diǎn)15分能夠準(zhǔn)時(shí)啟動(dòng)，那么你的代碼可以寫成下面的樣子

from apscheduler.schedulers.blocking import BlockingScheduler
 
def run_spider():
    print("啟動(dòng)爬蟲")
 
 
sched = BlockingScheduler()
sched.add_job(run_spider, 'cron', hour=10, minute=15)
sched.start()

在add_job方法里，關(guān)于時(shí)間的設(shè)置，可以參考 CronTrigger類的初始化函數(shù)

如果你希望自己的爬蟲每3分鐘就執(zhí)行一次爬取，那么你可以將代碼寫成下面的樣子

from apscheduler.schedulers.blocking import BlockingScheduler
 
def run_spider():
    print("啟動(dòng)爬蟲")
 
 
sched = BlockingScheduler()
sched.add_job(run_spider, 'interval', minutes=3)
sched.start()

以上是“怎么用框架給python爬蟲定時(shí)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手