Python3如何安裝Scrapy

這篇文章將為大家詳細(xì)講解有關(guān)Python3如何安裝Scrapy，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

運行平臺：Windows
Python版本：Python3.x
IDE：Sublime text3

轉(zhuǎn)載請注明作者和出處：http://blog.csdn.net/c406495762/article/details/60156205

一、Scrapy簡介

    Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，可以應(yīng)用于數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一些列的程序中。Scrapy最初就是為了網(wǎng)絡(luò)爬取而設(shè)計的?，F(xiàn)在，Scrapy已經(jīng)推出了曾承諾過的Python3.x版本。

    為什么學(xué)習(xí)Scrapy呢？它能我們更好的完成爬蟲任務(wù)，自己寫Python爬蟲程序好比孤軍奮戰(zhàn)，而使用了Scrapy就好比手底下有了千軍萬馬。Scrapy可以起到事半功倍(甚至好幾倍*.*)的效果。所以，學(xué)習(xí)Scrapy也就顯得很有必要了。

二、Scrapy安裝

    1.直接使用指令pip3 install scrapy，發(fā)現(xiàn)有諸多錯誤。

• Failed building wheel for lxml

• Microsoft Visual C++ 10.0 is required

• Failed building twisted

• Unable to find vcvarsall.bat

    遇到的錯誤，如下圖所示：

2.解決辦法

    在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的編譯好的Python第三方庫，我們下載好對應(yīng)自己Python版本的庫即可。

    (1)在cmd中輸入指令python，查看python的版本，如下：

    從上圖可以看出可以看出我的Python版本為Python3.5.2-64bit。

    (2)登陸http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下載對應(yīng)的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本為3.7.3，對應(yīng)的python版本為3.5-64bit。我下載的版本如下圖所示：

    (3)在cmd中輸入DOS指令，進(jìn)入下載好的whl文件夾下，例如我的三個whl文件放在了Scrapy文件夾下：

    (4)依次執(zhí)行如下命令：

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

    這樣Scrapy的安裝就完成了，請忽略最后兩行讓我升級pip的信息。*.*

    (5)Srapy已經(jīng)安裝成功，還要下載pywin32，找到對應(yīng)版本下載，一路下一步安裝即可。安裝完成后，就可以正常使用Scrapy了。

    URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

    至此，大功告成，我們可以愉快的使用Scrapy了。

關(guān)于“Python3如何安裝Scrapy”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。