溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

scrapy-redis的安裝部署步驟講解

發(fā)布時(shí)間：2020-09-22 11:56:23 來(lái)源：腳本之家 閱讀：255 作者：世紀(jì)殤 欄目：開(kāi)發(fā)技術(shù)

先說(shuō)下自己的環(huán)境，redis是部署在centos上的，爬蟲(chóng)運(yùn)行在windows上，

1. 安裝redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

將 protected-mode no解注釋，否則的話，在不設(shè)置密碼情況下遠(yuǎn)程無(wú)法連接redis

3. 重啟redis

systemctl restart redis

4. 關(guān)閉防火墻

systemctl stop firewalld.service

5. 開(kāi)始創(chuàng)建scrapy-redis的相關(guān)，和普通的scrapy一樣的創(chuàng)建，只不過(guò)修改setting.py文件，添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以執(zhí)行這個(gè)爬蟲(chóng)了

scrapy runspider example.py

8. 進(jìn)入redis 

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬蟲(chóng)開(kāi)始運(yùn)行了

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)億速云的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手