scrapy怎么在python分布式爬蟲中構(gòu)建?

這篇文章主要介紹scrapy怎么在python分布式爬蟲中構(gòu)建?，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

Scrapy

在Ubuntu安裝Scrapy的步驟為：打開(kāi)終端 >> 在終端輸入命令：pip install scrapy >> 在終端輸入命令：scrapy version >> 成功輸出 Scrapy版本號(hào)則證明成功安裝。

各模塊作用

1. items

爬蟲抓取數(shù)據(jù)的工作實(shí)際上是從非結(jié)構(gòu)化數(shù)據(jù)（網(wǎng)頁(yè)）中提取出結(jié)構(gòu)化數(shù)據(jù)。雖然Scrapy框架爬蟲可以將提取到的數(shù)據(jù)以Python字典 的形式返回，但是由于Python字典缺少結(jié)構(gòu)，所以很容易發(fā)生返回?cái)?shù)據(jù)不一致亦或者名稱拼寫的錯(cuò)誤，若是Scrapy爬蟲項(xiàng)目中包含復(fù) 數(shù)以上的爬蟲則發(fā)生錯(cuò)誤的機(jī)率將更大。因此，Scrapy框架提供了一個(gè)items模塊來(lái)定義公共的輸出格式，其中的Item對(duì)象是一個(gè)用于 收集Scrapy爬取的數(shù)據(jù)的簡(jiǎn)單容器。

2. Downloader Middleware

Downloader Middleware是一個(gè)Scrapy能全局處理Response和Request的、微型的系統(tǒng)。Downloader Middleware中定義的Downloader Middleware設(shè)有優(yōu)先級(jí)順序，優(yōu)先級(jí)數(shù)字越低，則優(yōu)先級(jí)越高，越先執(zhí)行。在本次分布式爬蟲中，我們定義了兩個(gè)Downloader Middleware，一個(gè)用于隨機(jī)選擇爬蟲程序執(zhí)行時(shí)的User-Agent，一個(gè)用于隨機(jī)選擇爬蟲程序執(zhí)行時(shí)的IP地址。

3. settings

settings模塊用于用戶自定義Scrapy框架中Pipeline、Middleware、Spider等所有組件的所有動(dòng)作，且可自定義變量或者日志動(dòng)作。

以上是“scrapy怎么在python分布式爬蟲中構(gòu)建?”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！