溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了python的爬蟲(chóng)框架scrapy有什么用，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
1、Scrapy爬蟲(chóng)框架
Scrapy是一個(gè)使用Python編程語(yǔ)言編寫(xiě)的爬蟲(chóng)框架，任何人都可以根據(jù)自己的需求進(jìn)行修改，并且使用起來(lái)非常的方便。它可以應(yīng)用在數(shù)據(jù)采集、數(shù)據(jù)挖掘、網(wǎng)絡(luò)異常用戶檢測(cè)、存儲(chǔ)數(shù)據(jù)等方面。
Scrapy使用了Twisted異步網(wǎng)絡(luò)庫(kù)來(lái)處理網(wǎng)絡(luò)通訊。整體架構(gòu)大致如下圖所示。
2、由上圖可知Scrapy爬蟲(chóng)框架主要由5個(gè)部分組成。
Scrapy Engine（Scrapy引擎），Scheduler（調(diào)度器），Downloader（下載器），Spiders（蜘蛛），Item Pipeline（項(xiàng)目管道）。
3、這五大組件及其中間件的功能如下：
1) Scrapy引擎
2) Scheduler（調(diào)度器）
3) Downloader（下載器）
4) Spiders（蜘蛛）
5) Item Pipeline（項(xiàng)目管道）
6) 中間件（Middlewares）
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享python的爬蟲(chóng)框架scrapy有什么用內(nèi)容對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問(wèn)題就找億速云，詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
