溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

python中Scrapy數(shù)據(jù)流是什么

發(fā)布時(shí)間：2020-11-17 09:25:56 來源：億速云 閱讀：207 作者：小新 欄目：編程語言

這篇文章主要介紹了python中Scrapy數(shù)據(jù)流是什么，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

什么是異步：

工作涉及一次執(zhí)行多個(gè)IO操作。

什么是多線程：

多線程：允許單個(gè)任務(wù)分成不同的部分運(yùn)行

相互之間是有一定的相似之處的，那我們接下來解說下 scrapy框架，然后大家自己來抉擇下哈~

Scrapy框架是通過命令行來創(chuàng)建項(xiàng)目的，代碼的編寫還是需要IDE。項(xiàng)目創(chuàng)建之后，項(xiàng)目文件結(jié)構(gòu)如下所示：

scrapy.cfg
project/
 __init__.py
 items.py
 pipelines.py
 settings.py
 middlewares.py
 spiders/
 __init__.py
 spider1.py
 spider2.py
 ...復(fù)制代碼

Scrapy數(shù)據(jù)流是由執(zhí)行的核心引擎控制，流程是這樣的：

1、爬蟲引擎獲得初始請(qǐng)求開始抓取。

2、爬蟲引擎開始請(qǐng)求調(diào)度程序SCHEDULER，并準(zhǔn)備對(duì)下一次的請(qǐng)求進(jìn)行抓取。

3、爬蟲調(diào)度器返回下一個(gè)請(qǐng)求給爬蟲引擎。

4、引擎請(qǐng)求發(fā)送到下載器DOWNLOADER，通過下載中間件下載網(wǎng)絡(luò)數(shù)據(jù)。

5、一旦下載器完成頁面下載，將下載結(jié)果返回給爬蟲引擎。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享python中Scrapy數(shù)據(jù)流是什么內(nèi)容對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問題就找億速云，詳細(xì)的解決方法等著你來學(xué)習(xí)!

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手