溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

怎么在scrapy中安裝redis

發(fā)布時(shí)間：2021-05-25 16:42:59 來(lái)源：億速云 閱讀：118 作者：Leah 欄目：開(kāi)發(fā)技術(shù)

這篇文章給大家介紹怎么在scrapy中安裝redis，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

在定向爬蟲(chóng)的制作過(guò)程中，使用分布式爬取技術(shù)可以顯著提高爬取效率。而 Redis 配合 Scrapy 是實(shí)現(xiàn)分布式爬取的基礎(chǔ)。

Redis 是一個(gè)高性能的 Key-Value 數(shù)據(jù)庫(kù)，它把數(shù)據(jù)保存在內(nèi)存里。因此可以有非常快的數(shù)據(jù)讀寫(xiě)速度。

scrapy-redis 的安裝

pip install scrapy-redis
easy_install scrapy-redis

版本推薦

stable 3.0.2

運(yùn)行redis

redis-server redis.conf

清空緩存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情況可以省去
REDIS_HOST = '127.0.0.1' # 也可以根據(jù)情況改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 繼承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

關(guān)于怎么在scrapy中安裝redis就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手