python爬蟲涉及的相關庫有哪些

這篇文章主要介紹了python爬蟲涉及的相關庫有哪些，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

以下是Python爬蟲涉及的相關庫

請求庫，解析庫，存儲庫，工具庫

1、請求庫：urllib/re/requests

（1） urllib/re是python默認自帶的庫，可以通過以下命令進行驗證：

沒有報錯信息輸出，說明環(huán)境正常

（2） requests安裝

2.1 打開CMD，輸入 pip3 install requests

2.2 等待安裝后，驗證

（3） selenium安裝（驅動瀏覽器進行網(wǎng)站訪問行為）

3.1 打開CMD，輸入 pip3 install selenium

3.2 安裝chromedriver

網(wǎng)址：https://npm.taobao.org/

把下載完成后的壓縮包解壓，把exe放到D:\Python3.6.0\Scripts\

這個路徑只要在PATH變量中就可以

3.3 等待安裝完成后，驗證

回車后彈出chrome瀏覽器界面

3.4 安裝其他瀏覽器

無界面瀏覽器phantomjs

下載網(wǎng)址：http://phantomjs.org/

下載完成后解壓，把整個目錄放到D:\Python3.6.0\Scripts\，把bin目錄的路徑添加到PATH變量

驗證：

打開CMD

2. 解析庫：

2.1 lxml (XPATH)

打開CMD輸入pip3 install lxml或者從https://pypi.python.org下載，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下載whl文件，命令行執(zhí)行pip3 install 文件名.whl

2.2 beautifulsoup

打開CMD，需要先安裝好lxml

pip3 install beautifulsoup4

2.3 pyquery（類似jquery語法）

打開CMD，pip3 install pyquery

驗證安裝結果

3. 存儲庫

3.1 pymysql（操作MySQL，關系型數(shù)據(jù)庫）

安裝：pip3 install pymysql，安裝后測試：

3.2 pymongo（操作MongoDB，key-value）

安裝 pip3 install pymongo

驗證

3.3 redis（分布式爬蟲，維護爬取隊列） 安裝：pip3 install redis

驗證：

4.1Django（分布式爬蟲維護系統(tǒng)）pip3 install django

4.2jupyter（運行在網(wǎng)頁端的記事本，支持markdown，可以在網(wǎng)頁上運行代碼）安裝 pip3 install jupyter

驗證：打開CMD，jupyter notebook

之后就可以在網(wǎng)頁直接創(chuàng)建記事本，代碼塊和Markdown塊，支持打印

感謝你能夠認真閱讀完這篇文章，希望小編分享python爬蟲涉及的相關庫有哪些內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業(yè)資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!