Scrapy框架中CrawlSpider類(lèi)是什么

這篇文章將為大家詳細(xì)講解有關(guān)Scrapy框架中CrawlSpider類(lèi)是什么，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

CrawlSpider類(lèi)

通過(guò)下面的命令可以快速創(chuàng)建 CrawlSpider模板 的代碼：

scrapy genspider -t crawl tencent tencent.com

CrawSpider是Spider的派生類(lèi)，Spider類(lèi)的設(shè)計(jì)原則是只爬取start_url列表中的網(wǎng)頁(yè)，而CrawlSpider類(lèi)定義了一些規(guī)則(rule)來(lái)提供跟進(jìn)link的方便的機(jī)制，從爬取的網(wǎng)頁(yè)中獲取link并繼續(xù)爬取的工作更適合。

CrawSpider源碼詳細(xì)解析

class CrawlSpider(Spider):
    rules = ()
    def __init__(self, *a, **kw):
        super(CrawlSpider, self).__init__(*a, **kw)
        self._compile_rules()
    #首先調(diào)用parse()來(lái)處理start_urls中返回的response對(duì)象
    #parse()則將這些response對(duì)象傳遞給了_parse_response()函數(shù)處理，并設(shè)置回調(diào)函數(shù)為parse_start_url()
    #設(shè)置了跟進(jìn)標(biāo)志位True
    #parse將返回item和跟進(jìn)了的Request對(duì)象    
    def parse(self, response):
        return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)
    #處理start_url中返回的response，需要重寫(xiě)
    def parse_start_url(self, response):
        return []
    def process_results(self, response, results):
        return results
    #從response中抽取符合任一用戶定義'規(guī)則'的鏈接，并構(gòu)造成Resquest對(duì)象返回
    def _requests_to_follow(self, response):
        if not isinstance(response, HtmlResponse):
            return
        seen = set()
        #抽取之內(nèi)的所有鏈接，只要通過(guò)任意一個(gè)'規(guī)則'，即表示合法
        for n, rule in enumerate(self._rules):
            links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
            #使用用戶指定的process_links處理每個(gè)連接
            if links and rule.process_links:
                links = rule.process_links(links)
            #將鏈接加入seen集合，為每個(gè)鏈接生成Request對(duì)象，并設(shè)置回調(diào)函數(shù)為_(kāi)repsonse_downloaded()
            for link in links:
                seen.add(link)
                #構(gòu)造Request對(duì)象，并將Rule規(guī)則中定義的回調(diào)函數(shù)作為這個(gè)Request對(duì)象的回調(diào)函數(shù)
                r = Request(url=link.url, callback=self._response_downloaded)
                r.meta.update(rule=n, link_text=link.text)
                #對(duì)每個(gè)Request調(diào)用process_request()函數(shù)。該函數(shù)默認(rèn)為indentify，即不做任何處理，直接返回該Request.
                yield rule.process_request(r)
    #處理通過(guò)rule提取出的連接，并返回item以及request
    def _response_downloaded(self, response):
        rule = self._rules[response.meta['rule']]
        return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)
    #解析response對(duì)象，會(huì)用callback解析處理他，并返回request或Item對(duì)象
    def _parse_response(self, response, callback, cb_kwargs, follow=True):
        #首先判斷是否設(shè)置了回調(diào)函數(shù)。（該回調(diào)函數(shù)可能是rule中的解析函數(shù)，也可能是 parse_start_url函數(shù)）
        #如果設(shè)置了回調(diào)函數(shù)（parse_start_url()），那么首先用parse_start_url()處理response對(duì)象，
        #然后再交給process_results處理。返回cb_res的一個(gè)列表
        if callback:
            #如果是parse調(diào)用的，則會(huì)解析成Request對(duì)象
            #如果是rule callback，則會(huì)解析成Item
            cb_res = callback(response, **cb_kwargs) or ()
            cb_res = self.process_results(response, cb_res)
            for requests_or_item in iterate_spider_output(cb_res):
                yield requests_or_item
        #如果需要跟進(jìn)，那么使用定義的Rule規(guī)則提取并返回這些Request對(duì)象
        if follow and self._follow_links:
            #返回每個(gè)Request對(duì)象
            for request_or_item in self._requests_to_follow(response):
                yield request_or_item
    def _compile_rules(self):
        def get_method(method):
            if callable(method):
                return method
            elif isinstance(method, basestring):
                return getattr(self, method, None)
        self._rules = [copy.copy(r) for r in self.rules]
        for rule in self._rules:
            rule.callback = get_method(rule.callback)
            rule.process_links = get_method(rule.process_links)
            rule.process_request = get_method(rule.process_request)
    def set_crawler(self, crawler):
        super(CrawlSpider, self).set_crawler(crawler)
        self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

CrawlSpider繼承于Spider類(lèi)，除了繼承過(guò)來(lái)的屬性外（name、allow_domains），還提供了新的屬性和方法:

LinkExtractors

Link Extractors 的目的很簡(jiǎn)單: 提取鏈接?

每個(gè)LinkExtractor有唯一的公共方法是 extract_links()，它接收一個(gè) Response 對(duì)象，并返回一個(gè) scrapy.link.Link 對(duì)象。

Link Extractors要實(shí)例化一次，并且 extract_links 方法會(huì)根據(jù)不同的 response 調(diào)用多次提取鏈接?

class scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要參數(shù)：

allow：滿足括號(hào)中“正則表達(dá)式”的值會(huì)被提取，如果為空，則全部匹配。

deny：與這個(gè)正則表達(dá)式(或正則表達(dá)式列表)不匹配的URL一定不提取。

allow_domains：會(huì)被提取的鏈接的domains。

deny_domains：一定不會(huì)被提取鏈接的domains。

restrict_xpaths：使用xpath表達(dá)式，和allow共同作用過(guò)濾鏈接

rules

在rules中包含一個(gè)或多個(gè)Rule對(duì)象，每個(gè)Rule對(duì)爬取網(wǎng)站的動(dòng)作定義了特定操作。如果多個(gè)rule匹配了相同的鏈接，則根據(jù)規(guī)則在本集合中被定義的順序，第一個(gè)會(huì)被使用。

class scrapy.spiders.Rule(
        link_extractor, 
        callback = None, 
        cb_kwargs = None, 
        follow = None, 
        process_links = None, 
        process_request = None
)

主要參數(shù):

link_extractor：是一個(gè)Link Extractor對(duì)象，用于定義需要提取的鏈接。

callback： 從link_extractor中每獲取到鏈接時(shí)，參數(shù)所指定的值作為回調(diào)函數(shù)，該回調(diào)函數(shù)接受一個(gè)response作為其第一個(gè)參數(shù)。

注意：當(dāng)編寫(xiě)爬蟲(chóng)規(guī)則時(shí)，避免使用parse作為回調(diào)函數(shù)。由于CrawlSpider使用parse方法來(lái)實(shí)現(xiàn)其邏輯，如果覆蓋了 parse方法，crawl spider將會(huì)運(yùn)行失敗。

follow：是一個(gè)布爾(boolean)值，指定了根據(jù)該規(guī)則從response提取的鏈接是否需要跟進(jìn)。 如果callback為None，follow 默認(rèn)設(shè)置為T(mén)rue ，否則默認(rèn)為False。

process_links：指定該spider中哪個(gè)的函數(shù)將會(huì)被調(diào)用，從link_extractor中獲取到鏈接列表時(shí)將會(huì)調(diào)用該函數(shù)。該方法主要用來(lái)過(guò)濾。

process_request：指定該spider中哪個(gè)的函數(shù)將會(huì)被調(diào)用， 該規(guī)則提取到每個(gè)request時(shí)都會(huì)調(diào)用該函數(shù)。 (用來(lái)過(guò)濾request)

關(guān)于Scrapy框架中CrawlSpider類(lèi)是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。