scrapy框架的簡單介紹

這篇文章主要介紹“scrapy框架的簡單介紹”，在日常操作中，相信很多人在scrapy框架的簡單介紹問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”scrapy框架的簡單介紹”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

1.Scrapy五大基本構(gòu)成

• Scrapy框架主要由五大組件組成，分別是調(diào)度器(Scheduler)、下載器(Downloader)、爬蟲（Spider）和實(shí)體管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)；

• 調(diào)度器：可以假設(shè)成一個URL的優(yōu)先隊(duì)列，由它來決定下一個要抓取的網(wǎng)址是什么，同時去除重復(fù)的網(wǎng)址；

• 下載器：是所有組件中負(fù)擔(dān)最大的，用于高速地下載網(wǎng)絡(luò)上的資源；

• 爬蟲：是用戶最關(guān)心的部份，用戶定制自己的爬蟲，用于從特定的網(wǎng)頁中提取自己需要的信息，也可以從中提取出鏈接，讓Scrapy繼續(xù)抓取下一個頁面；

• 實(shí)體管道：用于處理爬蟲提取的實(shí)體，要的功能是持久化實(shí)體、驗(yàn)證實(shí)體的有效性、清除不需要的信息；

• Scrapy引擎：是整個框架的核心，用來控制調(diào)試器、下載器、爬蟲，實(shí)際上引擎相當(dāng)于計(jì)算機(jī)的CPU，控制著整個流程；

2.使用scrapy框架爬取網(wǎng)頁數(shù)據(jù)

• 第一步：首先要使用scrapy框架需要先安裝它，可以使用pip安裝scrapy框架，注意如果在Windows系統(tǒng)下直接使用pip命令行安裝可能會報錯，這時需要手動安裝幾個依賴庫如wheel、lxml、Twisted、pywin32等，報錯信息會提示你缺少哪個庫。
  這里提一下Twisted插件的安裝，它的下載地址為： https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ， 進(jìn)入后找到twisted，選擇下載對應(yīng)的版本，其中cp表示python版本，下載完成后進(jìn)入終端，輸入pip install Twisted-19.2.0-cp37-cp37m-win_amd64.whl，這里注意你下載的是哪個版本就輸入哪個版本的文件名，安裝完成后再輸入pip install scrapy就能成功安裝scrapy框架了；

• 第二步：創(chuàng)建爬蟲項(xiàng)目，創(chuàng)建儲存 scrapy 文件夾scrapy_python，然后在命令行工具中cd進(jìn)入這個項(xiàng)目路徑，用 scrapy startproject  名稱命令新建項(xiàng)目；

這樣我們就成功的創(chuàng)建了一個scrapy項(xiàng)目，我們在PyCharm中看看

• 第三步：可以在剛剛創(chuàng)建的項(xiàng)目的spiders文件夾中創(chuàng)建一個蜘蛛文件，用于爬取網(wǎng)頁數(shù)據(jù)的，我們試著爬取一下csdn網(wǎng)站，那么新建蜘蛛的命令行是：scrapy genspider csdn www.csdn.net，其中csdn是你創(chuàng)建的蜘蛛的文件名，而www.csdn.net表示爬取的目標(biāo)網(wǎng)址的域名，你想爬取哪個網(wǎng)站就使用哪個網(wǎng)站的域名。

• 第四步：如果要啟動我們創(chuàng)建的蜘蛛文件，我們可以使用命令行：scrapy crawl csdn，這里的csdn是蜘蛛文件中name的對應(yīng)值；

• 第五步：想要測試爬去數(shù)據(jù)是否成功，我們可以在項(xiàng)目的模板中創(chuàng)建一個測試文件，如：start_spider.py，然后通過debug來進(jìn)行項(xiàng)目調(diào)試，可以輸出我們想要爬取的網(wǎng)頁數(shù)據(jù)；

from scrapy.cmdline import execute
execute(["scrapy", "crawl", "csdn",])

• 第六步：爬取數(shù)據(jù)時需要遵循爬蟲協(xié)議，它用來限定爬蟲程序可以爬取的內(nèi)容范圍，位于scrapy 項(xiàng)目的 settings.py文件中默認(rèn) ROBOTSTXT_OBEY = True，即遵守此協(xié)議，當(dāng)我們想要爬取的內(nèi)容不符合該協(xié)議但仍要爬取時，可以設(shè)置 ROBOTSTXT_OBEY = False，表示不遵守此協(xié)議；

• 第七步：這樣我們就可以開始使用Xpath選擇器或者CSS選擇器來解析想要爬取的頁面數(shù)據(jù)了；

3.Xpath選擇器的介紹

• XPath的全稱是XML Path Language，即XML路徑語言，它是一種在結(jié)構(gòu)化文檔中定位信息的語言，XPath使用路徑表達(dá)式來選取XML文檔中的節(jié)點(diǎn)或節(jié)點(diǎn)集。節(jié)點(diǎn)是通過沿著路徑 (path) 或者步 (steps) 來選取的；

• 謂語用來查找某個特定的節(jié)點(diǎn)或者包含某個指定的值的節(jié)點(diǎn)，謂語嵌在方括號中，比如//body//a[1]表示選取屬于body 子元素的第一個 a 元素，//a[ @href ]表示選取所有擁有名為 href 的屬性的 a 元素等；

• 除了索引、屬性外，Xpath還可以使用便捷的函數(shù)來增強(qiáng)定位的準(zhǔn)確性，如contains(s1,s2)表示如果s1中包含s2則返回true，反之返回false、text()表示獲取節(jié)點(diǎn)中的文本內(nèi)容、starts-with()表示從起始位置匹配字符串；

• 使用XPath選取節(jié)點(diǎn)的常用語法有

使用XPath

我們來通過XPath選擇器爬取網(wǎng)站中我們想要爬取的信息，如下圖我們來爬去今日推薦中的標(biāo)題

import scrapy
class CsdnSpider(scrapy.Spider):
    name = 'csdn'
    allowed_domains = ['www.csdn.net']
    start_urls = ['http://www.csdn.net/']
    def parse(self, response):
       # 選擇所有class="company_name"的h4元素下的a元素的文本 
       result = response.xpath('//h4[@class="company_name"]/a/text()').extract()
       # 將得到的文本列表循環(huán) 
       for i in result:
           print(i)

我們來看一下輸出打印，看看是不是我們想要的結(jié)果

到此，關(guān)于“scrapy框架的簡單介紹”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！