溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了Mac環(huán)境下如何使用Python Scrapy框架，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
前言
Scrapy的下載
在終端中輸入代碼'pip3 install scrapy'。
創(chuàng)建Scrapy項(xiàng)目
假設(shè)你希望將項(xiàng)目保存至桌面名為Python的文件夾中?？梢栽诮K端中輸入'cd '，并將Python文件夾拖拽至其后。換行后，繼續(xù)輸入'scrapy startproject ScrapyProject'，此處的ScrapyProject為該項(xiàng)目的名字，可根據(jù)情況自行定義。
創(chuàng)建爬蟲文件
同樣在ScrapyProject文件夾內(nèi)，找到spiders文件夾，并在內(nèi)創(chuàng)建一個(gè)新的爬蟲文件，如下圖的book.py。（需要與_pychache_及_init_文件同級(jí)。）
編輯爬蟲文件
此處的爬蟲文件為整個(gè)Scrapy項(xiàng)目的核心，數(shù)據(jù)的解析與提取都是在這一步進(jìn)行的。
運(yùn)行Scrapy程序
在ScrapyProject文件夾內(nèi)，找到settings.py文檔，并更改好user_agent相關(guān)信息。之后再在終端輸入代碼scrapy crawl book即可。（book為此爬蟲的名字。）
注：上述內(nèi)容皆為Mac環(huán)境下的操作。
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Mac環(huán)境下如何使用Python Scrapy框架”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
