如何理解Scrapy關(guān)于item pipeline的傳遞方法

這篇文章主要介紹“如何理解Scrapy關(guān)于item pipeline的傳遞方法”，在日常操作中，相信很多人在如何理解Scrapy關(guān)于item pipeline的傳遞方法問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”如何理解Scrapy關(guān)于item pipeline的傳遞方法”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

當(dāng)Item在Spider中被收集之后，它將會(huì)被傳遞到Item Pipeline，這些Item Pipeline組件按定義的順序處理Item。

每個(gè)Item Pipeline都是實(shí)現(xiàn)了簡(jiǎn)單方法的Python類，比如決定此Item是丟棄而存儲(chǔ)。以下是item pipeline的一些典型應(yīng)用：

• 驗(yàn)證爬取的數(shù)據(jù)(檢查item包含某些字段，比如說(shuō)name字段)

• 查重(并丟棄)

• 將爬取結(jié)果保存到文件或者數(shù)據(jù)庫(kù)中

編寫(xiě)item pipeline

編寫(xiě)item pipeline很簡(jiǎn)單，item pipiline組件是一個(gè)獨(dú)立的Python類，其中process_item()方法必須實(shí)現(xiàn):

import somethingclass SomethingPipeline(object):    def __init__(self):             # 可選實(shí)現(xiàn)，做參數(shù)初始化等        # doing something    def process_item(self, item, spider):        # item (Item 對(duì)象) – 被爬取的item        # spider (Spider 對(duì)象) – 爬取該item的spider        # 這個(gè)方法必須實(shí)現(xiàn)，每個(gè)item pipeline組件都需要調(diào)用該方法，        # 這個(gè)方法必須返回一個(gè) Item 對(duì)象，被丟棄的item將不會(huì)被之后的pipeline組件所處理。        return item    def open_spider(self, spider):        # spider (Spider 對(duì)象) – 被開(kāi)啟的spider        # 可選實(shí)現(xiàn)，當(dāng)spider被開(kāi)啟時(shí)，這個(gè)方法被調(diào)用。    def close_spider(self, spider):        # spider (Spider 對(duì)象) – 被關(guān)閉的spider        # 可選實(shí)現(xiàn)，當(dāng)spider被關(guān)閉時(shí)，這個(gè)方法被調(diào)用

啟用一個(gè)Item Pipeline組件

為了啟用Item Pipeline組件，必須將它的類添加到 settings.py文件ITEM_PIPELINES 配置，就像下面這個(gè)例子:

# Configure item pipelines# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = {    #'mySpider.pipelines.SomePipeline': 300,    "mySpider.pipelines.ItcastJsonPipeline":300}

分配給每個(gè)類的整型值，確定了他們運(yùn)行的順序，item按數(shù)字從低到高的順序，通過(guò)pipeline，通常將這些數(shù)字定義在0-1000范圍內(nèi)（0-1000隨意設(shè)置，數(shù)值越低，組件的優(yōu)先級(jí)越高）

重新啟動(dòng)爬蟲(chóng)

將parse()方法改為入門簡(jiǎn)介中最后思考中的代碼，然后執(zhí)行下面的命令：

scrapy crawl itcast

查看當(dāng)前目錄是否生成teacher.json

到此，關(guān)于“如何理解Scrapy關(guān)于item pipeline的傳遞方法”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！