溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python中while true如何實(shí)現(xiàn)爬蟲定時(shí)任務(wù)

發(fā)布時(shí)間：2020-07-17 16:32:19 來源：億速云 閱讀：148 作者：小豬 欄目：開發(fā)技術(shù)

小編這次要給大家分享的是Python中while true如何實(shí)現(xiàn)爬蟲定時(shí)任務(wù)，文章內(nèi)容豐富，感興趣的小伙伴可以來了解一下，希望大家閱讀完這篇文章之后能夠有所收獲。

記得以前的windows 任務(wù)定時(shí)是可以的正常使用的，今天試了下，發(fā)現(xiàn)不能正常使用了，任務(wù)計(jì)劃總是掛起。

接下來記錄下python 爬蟲定時(shí)任務(wù)的幾種解決方法。

今天是第一篇，后面會(huì)陸續(xù)更新。

首先最容易的是while true死循環(huán)掛起，上代碼

import osimport timeimport sysfrom datetime import datetime, timedelta
def One_Plan():
   # 設(shè)置啟動(dòng)周期
   Second_update_time = 24 * 60 * 60
   
  # 當(dāng)前時(shí)間
  now_Time = datetime.now()
  # 設(shè)置 任務(wù)啟動(dòng)時(shí)間
  plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0) 
  # 設(shè)置差值，-1 day, 21:48:53.246576，類似于這樣
  # time.sleep()需要傳入int，所以下面使用.total_seconds() 
  # 主要用來計(jì)算差值，返回int，具體功能可以自行查閱相關(guān)資料
  delta = plan_Time - now_Time
  first_plan_Time = delta.total_seconds() % Second_update_time
  print("距離第一次執(zhí)行需要睡眠%d秒" % first_plan_Time)
  return first_plan_Time

# while Ture代碼塊，掛起程序，睡眠時(shí)間結(jié)束后調(diào)用函數(shù)名進(jìn)行執(zhí)行
while True:

  s1 = One_Plan()
  time.sleep(s1)
  # 下面這里是自己定義的函數(shù)，想跑代碼的可以換成hellow world函數(shù)或者注釋掉這行測試下
  exe_file(D_list)
  print("正在執(zhí)行首次更新程序")

個(gè)人感覺使用這種方式進(jìn)行定時(shí)計(jì)劃的啟動(dòng)如果為單個(gè)程序，并且一天執(zhí)行一次的話沒什么問題，如果要考慮到一天執(zhí)行多個(gè)任務(wù)并且一天需要執(zhí)行多次，短板一下就凸顯出來了，

在工作的情況中還需要考慮到很多因素，比如爬蟲程序需要在晚上12點(diǎn)和早上6點(diǎn)，9點(diǎn)，下午3點(diǎn)執(zhí)行四次，并且需要同時(shí)執(zhí)行4個(gè)爬蟲，還需要考慮到網(wǎng)絡(luò)是否穩(wěn)定，如果程序掛掉該怎么處理等等因素

看完這篇關(guān)于Python中while true如何實(shí)現(xiàn)爬蟲定時(shí)任務(wù)的文章，如果覺得文章內(nèi)容寫得不錯(cuò)的話，可以把它分享出去給更多人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手