您好,登錄后才能下訂單哦!
這篇文章主要介紹了Python3爬蟲利器Scrapyrt的安裝方法是什么,具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
Scrapyrt為Scrapy提供了一個(gè)調(diào)度的HTTP接口,有了它,我們就不需要再執(zhí)行Scrapy命令而是通過請求一個(gè)HTTP接口來調(diào)度Scrapy任務(wù)了。Scrapyrt比Scrapyd更輕量,如果不需要分布式多任務(wù)的話,可以簡單使用Scrapyrt實(shí)現(xiàn)遠(yuǎn)程Scrapy任務(wù)的調(diào)度。
1. 相關(guān)鏈接
GitHub:https://github.com/scrapinghub/scrapyrt
官方文檔:http://scrapyrt.readthedocs.io
2. pip安裝
這里推薦使用pip安裝,命令如下:
pip3 install scrapyrt
接下來,在任意一個(gè)Scrapy項(xiàng)目中運(yùn)行如下命令來啟動(dòng)HTTP服務(wù):
scrapyrt
運(yùn)行之后,會默認(rèn)在9080端口上啟動(dòng)服務(wù),類似的輸出結(jié)果如下:
scrapyrt 2017-07-12 22:31:03+0800 [-] Log opened. 2017-07-12 22:31:03+0800 [-] Site starting on 9080 2017-07-12 22:31:03+0800 [-] Starting factory <twisted.web.server.Site object at 0x10294b160>
如果想更換運(yùn)行端口,可以使用-p參數(shù),如:
scrapyrt -p 9081
這樣就會在9081端口上運(yùn)行了。
3. Docker安裝
另外,Scrapyrt也支持Docker。比如,要想在9080端口上運(yùn)行,且本地Scrapy項(xiàng)目的路徑為/home/quotesbot,可以使用如下命令運(yùn)行:
docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt
這樣同樣可以在9080端口上監(jiān)聽指定的Scrapy項(xiàng)目。
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享Python3爬蟲利器Scrapyrt的安裝方法是什么內(nèi)容對大家有幫助,同時(shí)也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,遇到問題就找億速云,詳細(xì)的解決方法等著你來學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。