python中如何使用Scrapy實現(xiàn)定時爬蟲

這篇文章將為大家詳細講解有關(guān)python中如何使用Scrapy實現(xiàn)定時爬蟲，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

python的數(shù)據(jù)類型有哪些?

python的數(shù)據(jù)類型：1. 數(shù)字類型，包括int（整型）、long（長整型）和float（浮點型）。2.字符串，分別是str類型和unicode類型。3.布爾型，Python布爾類型也是用于邏輯運算，有兩個值：True（真）和False（假）。4.列表，列表是Python中使用最頻繁的數(shù)據(jù)類型，集合中可以放任何數(shù)據(jù)類型。5. 元組，元組用”()”標識，內(nèi)部元素用逗號隔開。6. 字典，字典是一種鍵值對的集合。7. 集合，集合是一個無序的、不重復的數(shù)據(jù)組合。

一般網(wǎng)站發(fā)布信息會在具體實現(xiàn)范圍內(nèi)發(fā)布，我們在進行網(wǎng)絡(luò)爬蟲的過程中，可以通過設(shè)置定時爬蟲，定時的爬取網(wǎng)站的內(nèi)容。使用python爬蟲框架Scrapy框架可以實現(xiàn)定時爬蟲，而且可以根據(jù)我們的時間需求，方便的修改定時的時間。

1、Scrapy介紹

Scrapy是python的爬蟲框架，用于抓取web站點并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)。任何人都可以根據(jù)需求方便的修改。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測和自動化測試。

2、使用Scrapy框架定時爬取

import time
from scrapy import cmdline
def doSth():
    # 把爬蟲程序放在這個類里 zhilian_spider 是爬蟲的name
    cmdline.execute('scrapy crawl zhilian_spider'.split())
 
# 想幾點更新,定時到幾點
def time_ti(h=17, m=54):
    while True:
        now = datetime.datetime.now()
        # print(now.hour, now.minute)
        if now.hour == h and now.minute == m:
            doSth()
        # 每隔60秒檢測一次
        time.sleep(60)
time_ti()

3、更簡單的寫法

import time
import sys
import os
import datetime
 
 
def Dingshi():
    while True:
        os.system("scrapy crawl lcp")#lcp是我們爬蟲的代碼名字哦
        time.sleep(60)
 
Dingshi()

關(guān)于“python中如何使用Scrapy實現(xiàn)定時爬蟲”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。