您好,登錄后才能下訂單哦!
這篇文章主要介紹了Pycharm安裝scrapy及初始化爬蟲項目的方法的相關(guān)知識,內(nèi)容詳細(xì)易懂,操作簡單快捷,具有一定借鑒價值,相信大家閱讀完這篇Pycharm安裝scrapy及初始化爬蟲項目的方法文章都會有所收獲,下面我們一起來看看吧。
1、打開cmd命令窗口,輸入:pip install Scrapy。
2、安裝成功之后會顯示下面字符,表示未將scrapy設(shè)置到環(huán)境變量。
3、配置環(huán)境變量:右鍵我的電腦-->屬性-->高級設(shè)置--->環(huán)境變量---->系統(tǒng)變量中的Path--->編輯--->添加--->將上文中黃色的路徑添加到環(huán)境變量即可。
4、scrapy安裝完畢。
1、創(chuàng)建一個普通的Pycharm項目,然后找到下面的terminal
2、輸入命令scrapy startproject 模塊名稱(可以自己隨便起,我以名為mine為例),成功之后你會發(fā)現(xiàn)自己的項目中多了一個mine的包文件。
3、上述操作成功后終端會顯示下圖文字:此時我們輸入cd那條命令。進(jìn)入目標(biāo)文件。
4、這時就可以創(chuàng)建爬蟲目標(biāo)文件啦,
輸入scrapy genspider 爬取名 網(wǎng)站域名
1、爬取名是自己隨便起的,比如我要爬百度那么我就可以起名為baidu
2、網(wǎng)站域名就是去掉 https:www. 剩下的部分
2和3操作截圖:
5、此時我們會在目錄里看見一個新的py文件:里自動生成如下代碼:
由于pycharm沒有創(chuàng)建scrapy框架的模塊,所以我們想調(diào)試scrapy程序時要自己寫一個小腳本來開啟pycharm對scrapy的調(diào)試功能。
1、在與mine包同級條件下創(chuàng)建一個main.py文件:
2、mine文件將一下代碼賦值進(jìn)去:
import os import sys from scrapy.cmdline import execute sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy", "crawl", "cnblog"]) # 第三個參數(shù)為自己創(chuàng)建的那個爬取的名稱
關(guān)于“Pycharm安裝scrapy及初始化爬蟲項目的方法”這篇文章的內(nèi)容就介紹到這里,感謝各位的閱讀!相信大家對“Pycharm安裝scrapy及初始化爬蟲項目的方法”知識都有一定的了解,大家如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。