Python3爬蟲(chóng)利器Scrapyd API如何安裝

Python3爬蟲(chóng)利器Scrapyd API如何安裝？這個(gè)問(wèn)題可能是我們?nèi)粘W(xué)習(xí)或工作經(jīng)常見(jiàn)到的。希望通過(guò)這個(gè)問(wèn)題能讓你收獲頗深。下面是小編給大家?guī)?lái)的參考內(nèi)容，讓我們一起來(lái)看看吧！

安裝好了Scrapyd之后，我們可以直接請(qǐng)求它提供的API來(lái)獲取當(dāng)前主機(jī)的Scrapy任務(wù)運(yùn)行狀況。比如，某臺(tái)主機(jī)的IP為192.168.1.1，則可以直接運(yùn)行如下命令獲取當(dāng)前主機(jī)的所有Scrapy項(xiàng)目：

curl http://localhost:6800/listprojects.json

運(yùn)行結(jié)果如下：

{"status": "ok", "projects": ["myproject", "otherproject"]}

返回結(jié)果是JSON字符串，通過(guò)解析這個(gè)字符串，便可以得到當(dāng)前主機(jī)的所有項(xiàng)目。

但是用這種方式來(lái)獲取任務(wù)狀態(tài)還是有點(diǎn)煩瑣，所以Scrapyd API就為它做了一層封裝，下面我們來(lái)看下它的安裝方式。

1. 相關(guān)鏈接

GitHub：https://pypi.python.org/pypi/python-scrapyd-api/

PyPI：https://pypi.python.org/pypi/python-scrapyd-api

官方文檔：http://python-scrapyd-api.readthedocs.io/en/latest/usage.html

2. pip安裝

這里推薦使用pip安裝，命令如下：

pip install python-scrapyd-api

3. 驗(yàn)證安裝

安裝完成之后，便可以使用Python來(lái)獲取主機(jī)狀態(tài)了，所以上面的操作便可以用Python代碼實(shí)現(xiàn)：

from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')
print(scrapyd.list_projects())

運(yùn)行結(jié)果如下：

["myproject", "otherproject"]

這樣我們便可以用Python直接來(lái)獲取各個(gè)主機(jī)上Scrapy任務(wù)的運(yùn)行狀態(tài)了。

感謝各位的閱讀！看完上述內(nèi)容，你們對(duì)Python3爬蟲(chóng)利器Scrapyd API如何安裝大概了解了嗎？希望文章內(nèi)容對(duì)大家有所幫助。如果想了解更多相關(guān)文章內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道。