溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python3爬蟲利器Scrapyrt的安裝方法是什么

發(fā)布時(shí)間:2020-08-05 13:59:06 來源:億速云 閱讀:170 作者:小新 欄目:編程語言

這篇文章主要介紹了Python3爬蟲利器Scrapyrt的安裝方法是什么,具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

Scrapyrt為Scrapy提供了一個(gè)調(diào)度的HTTP接口,有了它,我們就不需要再執(zhí)行Scrapy命令而是通過請求一個(gè)HTTP接口來調(diào)度Scrapy任務(wù)了。Scrapyrt比Scrapyd更輕量,如果不需要分布式多任務(wù)的話,可以簡單使用Scrapyrt實(shí)現(xiàn)遠(yuǎn)程Scrapy任務(wù)的調(diào)度。

1. 相關(guān)鏈接

GitHub:https://github.com/scrapinghub/scrapyrt

官方文檔:http://scrapyrt.readthedocs.io

2. pip安裝

這里推薦使用pip安裝,命令如下:

pip3 install scrapyrt

接下來,在任意一個(gè)Scrapy項(xiàng)目中運(yùn)行如下命令來啟動(dòng)HTTP服務(wù):

scrapyrt

運(yùn)行之后,會默認(rèn)在9080端口上啟動(dòng)服務(wù),類似的輸出結(jié)果如下:

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory <twisted.web.server.Site object at 0x10294b160>

如果想更換運(yùn)行端口,可以使用-p參數(shù),如:

scrapyrt -p 9081

這樣就會在9081端口上運(yùn)行了。

3. Docker安裝

另外,Scrapyrt也支持Docker。比如,要想在9080端口上運(yùn)行,且本地Scrapy項(xiàng)目的路徑為/home/quotesbot,可以使用如下命令運(yùn)行:

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣同樣可以在9080端口上監(jiān)聽指定的Scrapy項(xiàng)目。

感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享Python3爬蟲利器Scrapyrt的安裝方法是什么內(nèi)容對大家有幫助,同時(shí)也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,遇到問題就找億速云,詳細(xì)的解決方法等著你來學(xué)習(xí)!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI