怎么在python中利用scrapy爬蟲(chóng)定時(shí)抓取數(shù)據(jù)

本篇文章為大家展示了怎么在python中利用scrapy爬蟲(chóng)定時(shí)抓取數(shù)據(jù)，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

1. 前言。

1.1. 需求背景。

•  每天抓取的是同一份商品的數(shù)據(jù)，用來(lái)做趨勢(shì)分析。

• 要求每天都需要抓一份，也僅限抓取一份數(shù)據(jù)。

• 但是整個(gè)爬取數(shù)據(jù)的過(guò)程在時(shí)間上并不確定，受本地網(wǎng)絡(luò)，代理速度，抓取數(shù)據(jù)量有關(guān)，一般情況下在20小時(shí)左右，極少情況下會(huì)超過(guò)24小時(shí)。

1.2. 實(shí)現(xiàn)功能。

通過(guò)以下三步，保證爬蟲(chóng)能自動(dòng)隔天抓取數(shù)據(jù)：
每天凌晨00：01啟動(dòng)監(jiān)控腳本，監(jiān)控爬蟲(chóng)的運(yùn)行狀態(tài)，一旦爬蟲(chóng)進(jìn)入空閑狀態(tài)，啟動(dòng)爬蟲(chóng)。

一旦爬蟲(chóng)執(zhí)行完畢，自動(dòng)退出腳本，結(jié)束今天的任務(wù)。

一旦腳本距離啟動(dòng)時(shí)間超過(guò)24小時(shí)，自動(dòng)退出腳本，等待第二天的監(jiān)控腳本啟動(dòng)，重復(fù)這三步。

2. 環(huán)境。

python 3.6.1

系統(tǒng)：win7

IDE：pycharm

安裝過(guò)scrapy

3. 設(shè)計(jì)思路。

3.1. 前提：

目前爬蟲(chóng)是通過(guò)scrapy模塊自帶的cmdline.execute來(lái)啟動(dòng)的。

from scrapy import cmdline
cmdline.execute('scrapy crawl mySpider'.split())

3.2. 將自動(dòng)執(zhí)行腳本做到scrapy爬蟲(chóng)的外部

（1）每天凌晨00：01啟動(dòng)腳本（控制腳本的存活時(shí)間為24小時(shí)），監(jiān)測(cè)爬蟲(chóng)的運(yùn)行狀態(tài)（需要用一個(gè)標(biāo)記信息來(lái)表示爬蟲(chóng)的狀態(tài)：運(yùn)行還是停止）。

• 如果爬蟲(chóng)處于運(yùn)行狀態(tài)（前一天爬取數(shù)據(jù)尚未結(jié)束），進(jìn)入第（2）步；

• 如果爬蟲(chóng)處于非運(yùn)行狀態(tài)（前一天的爬取任務(wù)已完成，今天的尚未開(kāi)始），進(jìn)入第（3）步；

（2）腳本進(jìn)入等待階段，每隔10分鐘，檢查一下爬蟲(chóng)的運(yùn)行狀態(tài)，如（1）。但是一旦發(fā)現(xiàn)，腳本的等待時(shí)間超過(guò)了24小時(shí)，則自動(dòng)退出腳本，因?yàn)榈诙斓谋O(jiān)測(cè)腳本已經(jīng)開(kāi)始運(yùn)行了，接替了它的任務(wù)。

（3）做一些爬蟲(chóng)啟動(dòng)前的準(zhǔn)備工作（刪除用來(lái)續(xù)爬的文件，防止爬蟲(chóng)不運(yùn)行了），啟動(dòng)爬蟲(chóng)爬取數(shù)據(jù)，待爬蟲(chóng)正常結(jié)束后，退出腳本，完成當(dāng)天的爬取任務(wù)。

4. 準(zhǔn)備工作。

4.1. 標(biāo)記爬蟲(chóng)的運(yùn)行狀態(tài)。

通過(guò)判斷文件是否存在的方式來(lái)判斷爬蟲(chóng)是否處于運(yùn)行狀態(tài)：

• 在爬蟲(chóng)啟動(dòng)時(shí)，創(chuàng)建一個(gè)isRunning.txt文件。

• 在爬蟲(chóng)結(jié)束時(shí)，刪除這個(gè)isRunning.txt文件。

那么isRunning.txt存在，就說(shuō)明爬蟲(chóng)正在運(yùn)行；文件不存在，就說(shuō)明爬蟲(chóng)不在運(yùn)行。

# 文件pipelines.py
# 爬蟲(chóng)啟動(dòng)時(shí)
checkFile = "isRunning.txt"
class myPipeline:
  def open_spider(self, spider):
    self.client = MongoClient('localhost:27017') # 連接Mongodb
    self.db = self.client['mydata']        # 待存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)mydata
    f = open(checkFile, "w")     # 創(chuàng)建一個(gè)文件，代表爬蟲(chóng)在運(yùn)行中
    f.close()

# 文件pipelines.py
# 爬蟲(chóng)正常結(jié)束時(shí)
checkFile = "isRunning.txt"
class myPipeline:
  def close_spider(self, spider):
    self.client.close()
    isFileExsit = os.path.isfile(checkFile)
    if isFileExsit:
      os.remove(checkFile)

4.2. 爬蟲(chóng)支持續(xù)爬，能隨時(shí)暫停，方便調(diào)試。

# 在scrapy項(xiàng)目中添加start.py文件，用于啟動(dòng)爬蟲(chóng)
from scrapy import cmdline
# 在爬蟲(chóng)運(yùn)行過(guò)程中，會(huì)自動(dòng)將狀態(tài)信息存儲(chǔ)在crawls/storeMyRequest目錄下，支持續(xù)爬
cmdline.execute('scrapy crawl mySpider -s JOBDIR=crawls/storeMyRequest'.split())
# Note:若想支持續(xù)爬，在ctrl+c終止爬蟲(chóng)時(shí)，只能按一次，爬蟲(chóng)在終止時(shí)需要進(jìn)行善后工作，切勿連續(xù)多次按ctrl+c

4.3. Log按照每天的日期命名，方便查看和調(diào)試

設(shè)置Log等級(jí)：

# 文件mySpider.py
class mySpider(CrawlSpider):
  name = "mySpider"
  allowed_domains = ['http://photo.poco.cn/']
  custom_settings = {
    'LOG_LEVEL':'INFO', # 減少Log輸出量，僅保留必要的信息
    # ...... 在爬蟲(chóng)內(nèi)部用custom_setting可以讓這個(gè)配置信息僅對(duì)這一個(gè)爬蟲(chóng)生效
  }

以日期為L(zhǎng)og文件命名

# 文件settings.py
import datetime
BOT_NAME = 'mySpider'
ROBOTSTXT_OBEY = False
startDate = datetime.datetime.now().strftime('%Y%m%d')
LOG_FILE=f"mySpiderlog{startDate}.txt"

4.4. 為數(shù)據(jù)按日期存儲(chǔ)到不同的表（mongodb的集合）中

# 文件pipelines.py
import datetime
GALANCE=f'galance{datetime.datetime.now().strftime("%Y%m%d")}' # 表名

class myPipeline:
  def open_spider(self, spider):
    self.client = MongoClient('localhost:27017') # 連接Mongodb
    self.db = self.client['mydata']        # 待存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)mydata

self.db[GALANCE].insert(dict(item))

4.5. 編寫(xiě)批處理文件啟動(dòng)爬蟲(chóng)

# 文件run.bat
cd /d F:/newClawer20170831/mySpider
call python main.py
pause

5. 實(shí)現(xiàn)代碼

5.1. 編寫(xiě)python腳本

# 文件timerStartDaily.py
from scrapy import cmdline
import datetime
import time
import shutil
import os

recoderDir = r"crawls"  # 這是為了爬蟲(chóng)能夠續(xù)爬而創(chuàng)建的目錄，存儲(chǔ)續(xù)爬需要的數(shù)據(jù)
checkFile = "isRunning.txt" # 爬蟲(chóng)是否在運(yùn)行的標(biāo)志

startTime = datetime.datetime.now()
print(f"startTime = {startTime}")

i = 0
miniter = 0
while True:
  isRunning = os.path.isfile(checkFile)
  if not isRunning:            # 爬蟲(chóng)不在執(zhí)行，開(kāi)始啟動(dòng)爬蟲(chóng)
    # 在爬蟲(chóng)啟動(dòng)之前處理一些事情，清掉JOBDIR = crawls
    isExsit = os.path.isdir(recoderDir) # 檢查JOBDIR目錄crawls是否存在
    print(f"mySpider not running, ready to start. isExsit:{isExsit}")
    if isExsit:
      removeRes = shutil.rmtree(recoderDir) # 刪除續(xù)爬目錄crawls及目錄下所有文件
      print(f"At time:{datetime.datetime.now()}, delete res:{removeRes}")
    else:
      print(f"At time:{datetime.datetime.now()}, Dir:{recoderDir} is not exsit.")
    time.sleep(20)
    clawerTime = datetime.datetime.now()
    waitTime = clawerTime - startTime
    print(f"At time:{clawerTime}, start clawer: mySpider !!!, waitTime:{waitTime}")
    cmdline.execute('scrapy crawl mySpider -s JOBDIR=crawls/storeMyRequest'.split())
    break #爬蟲(chóng)結(jié)束之后，退出腳本
  else:
    print(f"At time:{datetime.datetime.now()}, mySpider is running, sleep to wait.")
  i += 1
  time.sleep(600)    # 每10分鐘檢查一次
  miniter += 10
  if miniter >= 1440:  # 等待滿24小時(shí)，自動(dòng)退出監(jiān)控腳本
    break

5.2. 編寫(xiě)bat批處理文件

# 文件runTimerRunDaily.bat
cd /d F:/newClawer20170831/mySpider
call python timerStartDaily.py
pause

6. 部署。

6.1. 添加計(jì)劃任務(wù)。

6.2. 注意事項(xiàng)。

（1）在添加計(jì)劃任務(wù)時(shí)，要按照如下圖進(jìn)行勾選（只在用戶登錄時(shí)運(yùn)行），才能彈出下面的cmd任務(wù)界面，方便觀察和調(diào)試。

（2）由于爬蟲(chóng)運(yùn)行時(shí)間很長(zhǎng)，如果按照默認(rèn)設(shè)置，在凌晨運(yùn)行實(shí)例時(shí)，上一次啟動(dòng)尚未結(jié)束，會(huì)導(dǎo)致這次啟動(dòng)失敗，所以要更改默認(rèn)設(shè)置為（如果此任務(wù)已經(jīng)運(yùn)行：并行運(yùn)行新實(shí)例。保護(hù)機(jī)制在于每個(gè)啟動(dòng)腳本在等待24小時(shí)候會(huì)自動(dòng)退出，來(lái)保證不會(huì)重復(fù)啟動(dòng)）。

（3）如果想支持續(xù)傳，只能按一次 ctrl + c 來(lái)停止爬蟲(chóng)運(yùn)行。因?yàn)?strong>終止爬蟲(chóng)時(shí)，爬蟲(chóng)需要做一些善后工作，如果連續(xù)按多次ctrl + c來(lái)停止爬蟲(chóng)，爬蟲(chóng)將來(lái)不及善后，會(huì)導(dǎo)致無(wú)法續(xù)爬。 6.3. 效果展示。

正常執(zhí)行完成：

正在執(zhí)行中：

上述內(nèi)容就是怎么在python中利用scrapy爬蟲(chóng)定時(shí)抓取數(shù)據(jù)，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。