使用scrapy前的環(huán)境搭建

剛開始直接scrapy startproject [名稱] 創(chuàng)建項目才遇到挺多問題的，執(zhí)行這個又會提示那個問題，解決后就覺得還好還好啦

1.pip install scrapy 提示pip 版本要升級；

You are using pip version 10.0.1, however version 10.0.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.

2.python -m pip install --upgrade pip 升級時又有新問題；

(venv) D:\Fish>python -m pip install --upgrade pip

Requirement already up-to-date: pip in d:\fish\venv\lib\site-packages (10.0.1)

于是按照要求將d:\fish\venv\lib\site-packages (10.0.1) 中的pip-10.0.1.dist-info刪除，再次運行python -m pip install --upgrade pip 后升級成功

3.再執(zhí)行第1步以為萬事大吉了，又有新的問題了

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

解決這個問題有兩種方法：a.按提示安裝Visual Studio （C盤至少需要6G空間，果斷找其他方法解決)；

　　　　　　　　　　　　b.使用wheel安裝;

使用wheel安裝:pip install wheel

成功會提示successfull也可以使用wheel命令驗證是否成功，成功后是這樣

然后去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml這個網(wǎng)站下載Scrapy庫，
進(jìn)到網(wǎng)站=>搜索’Scrapy’=>下載

把下載的.whl文件放在一個容易尋找的地址（我放在了D:\）
然后在控制臺進(jìn)入該地址
在該地址下輸入

pip install [whl]

注：[whl]表示你的.whl文件，一定要全名，XXXX.whl

然后，并沒有結(jié)束。。。。。

安裝過程還是有可能失敗

可能會出現(xiàn)Failed to build XXXX

為什么會這樣那，因為Scrapy框架基于Twisted

所以，要做的就是去網(wǎng)站下載Twisted之類的安裝文件，先把它們裝上，安裝方法和上邊的相同。

注意選擇好版本號

cp代表python的版本號，32/64選擇對應(yīng)你電腦的位數(shù)

最后終于成功了。
建個項目測試一下