Python網(wǎng)絡(luò)爬蟲框架scrapy的結(jié)構(gòu)是什么

本篇內(nèi)容介紹了“Python網(wǎng)絡(luò)爬蟲框架scrapy的結(jié)構(gòu)是什么”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

scrapy爬蟲框架介紹

scrapy不是一個(gè)簡(jiǎn)單的函數(shù)功能庫，而是一個(gè)爬蟲框架

爬蟲框架：

• 爬蟲框架是實(shí)現(xiàn)爬蟲功能的一個(gè)軟件結(jié)構(gòu)和功能組件的集合。

• 爬蟲框架是一個(gè)半成品，能夠幫助用戶實(shí)現(xiàn)專業(yè)網(wǎng)絡(luò)爬蟲。

scrapy爬蟲框架結(jié)構(gòu)

“5+2”結(jié)構(gòu)：

• ENGINE ：已有的，核心，控制所有模塊之間的數(shù)據(jù)流，根據(jù)條件觸發(fā)事件

• SCHEDULER：已有的，對(duì)所有的爬蟲請(qǐng)求進(jìn)行調(diào)度管理

• ITEM PIPELINES ：框架出口，用戶編寫，以流水線方式處理Spider產(chǎn)生的爬取項(xiàng)，由一組操作順序組成，類似流水線，每個(gè)操作是一個(gè)item pipline類型，可能操作包括：清理，檢驗(yàn)和查重爬取項(xiàng)中的HTML數(shù)據(jù)，將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫

• SPIDERS ：框架入口，用戶編寫，解析downloader返回的響應(yīng)，產(chǎn)生爬取項(xiàng)，以及額外的爬取請(qǐng)求

• DOWNLOADER ：已有的，根據(jù)請(qǐng)求下載網(wǎng)頁

• 2個(gè)MIDDLEWARE：Download Middleware：實(shí)施Engine，Scheduler和Downloader之間用戶可配置的控制，即用戶可以修改、丟棄、新增請(qǐng)求或響應(yīng)。Spider Middleware，對(duì)spider的請(qǐng)求和爬取項(xiàng)的再處理。修改、丟棄、新增請(qǐng)求或爬取項(xiàng)。

requests庫和scrapy庫比較

相同點(diǎn)：兩者都可以進(jìn)行頁面請(qǐng)求和爬取，Python爬蟲的兩個(gè)重要技術(shù)路線。 兩者可用性好，文檔豐富，入門簡(jiǎn)單。 兩者都沒有處理js、提交表單、應(yīng)對(duì)驗(yàn)證碼等功能（可擴(kuò)展）

不同點(diǎn)：

scrapy的常用命令

“Python網(wǎng)絡(luò)爬蟲框架scrapy的結(jié)構(gòu)是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！