怎么在pycharm中創(chuàng)建一個scrapy項目

怎么在pycharm中創(chuàng)建一個scrapy項目？相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

1、環(huán)境

• 操作系統(tǒng)：windows10。

• python版本：python3.7

2、安裝Anaconda

安裝好Anaconda之后，將下面的變量加入到系統(tǒng)環(huán)境變量中：

e:\Anaconda3;e:\Anaconda3\Library\mingw-w64\bin;e:\Anaconda3\Library\usr\bin;e:\Anaconda3\Library\bin;e:\Anaconda3\Scripts;

上面是我本機上的環(huán)境變量，我是將Anaconda3安裝在E盤的Anaconda3文件夾中。

3、安裝scrapy相關(guān)類庫

打開pycharm，創(chuàng)建一個項目，然后開始安裝相關(guān)的類庫。通過下面的方式查找類庫，點擊左上角的File按鈕，會彈出如下的界面：

點擊Settings按鈕，會彈出下面的菜單：

然后點擊右邊的“+”，就會彈出安裝類庫的界面：

在上圖中查詢類庫，然后點擊“Install package”即可安裝。
如果查詢出的類庫顯示藍色，表示這個類庫已經(jīng)安裝過了。

按照下面的順序安裝類庫：lxml->zope.interface->pyopenssl->twisted->scrapy。一般情況下Anaconda已經(jīng)安裝了很多類庫，我們只需安裝scrapy即可。

4、創(chuàng)建scrapy項目

安裝好scrapy類庫之后，就可以創(chuàng)建scrapy項目了，pycharm不能直接創(chuàng)建scrapy項目，必須通過命令行創(chuàng)建，打開pycharm的Terminal終端，輸入scrapy startproject test_scrapy命令，就可以創(chuàng)建名為test_scrapy的scrapy項目，看到如下的信息表示成功創(chuàng)建scrapy項目：

New Scrapy project 'test_scrapy', using template directory 'e:\\Anaconda3\\lib\\site-packages\\scrapy\\templates\\project', created in:
  G:\PycharmProjects\scrapy\test_scrapy

You can start your first spider with:
  cd test_scrapy
  scrapy genspider example example.com

然后在pycharm的項目空間中就可以看到test_scrapy項目的目錄結(jié)構(gòu)：

通過命令行創(chuàng)建scrapy項目時經(jīng)常會遇到下面的三個坑：

（1）'scrapy' 不是內(nèi)部或外部命令，也不是可運行的程序或批處理文件。這是因為沒有把Anaconda加入到環(huán)境變量中。在安裝scrapy時，會將scrapy.exe文件安裝到Scripts文件夾下面：

如果沒有設(shè)置環(huán)境變量，將無法找到scrapy.exe文件。

(2)ImportError: DLL load failed: 找不到指定的模塊。 這個問題是因為lxml類庫版本引起的，在window7操作系統(tǒng)會遇到這個問題。我安裝的是4.2.5版本，后來改成3.8.0就解決了。將lxml從4.2.5切換成3.8.0的方法如下：

通過上圖的安裝類庫界面，找到lxml，勾選上Specify version選項，然后選擇3.8.0，點擊“install package”按鈕即可。使用anaconda的好處就是，將lxml切換成3.8.0之后，會把相關(guān)的openssl和twisted等類庫也切換成匹配的類庫，因此強烈推薦使用Anaconda安裝python。

(3)ImportError: DLL load failed: 操作系統(tǒng)無法運行 %1 。 這個是因為c:/windows/system32目錄中的ssleay32.dll和libeay32.dll沖突導(dǎo)致的，我的做法是刪除掉這個兩個文件，創(chuàng)建好scrapy項目后，在恢復(fù)回來。因為刪除這兩個文件會導(dǎo)致某些應(yīng)用無法運行。在window10操作系統(tǒng)會遇到這個問題。

看完上述內(nèi)容，你們掌握怎么在pycharm中創(chuàng)建一個scrapy項目的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！