溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Windows下安裝配置爬蟲工具Scrapy及爬蟲環(huán)境

發(fā)布時間：2020-07-24 03:25:20 來源：網(wǎng)絡 閱讀：749 作者：羅伊德666 欄目：編程語言

爬蟲工具Scrapy在Mac和Linux環(huán)境下都相對好裝，但是在Windows上總會碰到各種莫名其妙的問題。本文記錄下Scrapy在Window上的安裝過程。
本文是基于Python2.7及Windows 10安裝Scrapy及各種爬蟲相關庫。

下載安裝Scrapy

Scrapy官方文檔

  1. 按照官網(wǎng)建議下載安裝Anaconda,使用這個安裝比直接pip安裝會少很多問題。
    下載地址

  2. 安裝完成后，python2.7也會自動安裝好，然后執(zhí)行以下命令安裝Scrapy.
conda install -c conda-forge scrapy

安裝mysql驅(qū)動

  1. 下載并安裝mysql官方的驅(qū)動程序。下載地址

  2. 下載mysql的python驅(qū)動程序,可以把兩個都裝上，使用的時候再決定用哪個。
  • MySQL官方的純Python驅(qū)動
pip install mysql-connector-python

  • 封裝了MySQL C驅(qū)動的Python驅(qū)動

    1. 安裝Python版C++編譯程序。下載地址

    2. 拷貝mysql驅(qū)動(32位不需要這一步)，將"C:\Program Files\MySQL" 拷貝到 "C:\Program Files (x86)\MySQL"。
      目的是為了防止下一步的錯誤"Cannot open include file: 'config-win.h': No such file or directory"

    3. 安裝驅(qū)動

      pip install MySQL-python

    4. 安裝數(shù)據(jù)庫連接池工具

      pip install DBUtils

安裝其它相關的依賴庫

安裝BeautifulSoup

Beautiful Soup提供一些簡單的、python式的函數(shù)用來處理導航、搜索、修改分析樹等功能。

pip install beautifulsoup4
安裝PyQuery

PyQuery庫也是一個非常強大又靈活的網(wǎng)頁解析庫。

pip install pyquery
向AI問一下細節(jié)

免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。

AI
助
手