python Scrapy爬蟲(chóng)代碼怎么寫(xiě)

發(fā)布時(shí)間：2022-01-14 15:10:30 來(lái)源：億速云閱讀：142 作者：iii 欄目：大數(shù)據(jù)

本篇內(nèi)容主要講解“python Scrapy爬蟲(chóng)代碼怎么寫(xiě)”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“python Scrapy爬蟲(chóng)代碼怎么寫(xiě)”吧!

Scrapy爬蟲(chóng)

import scrapy

class demo(scrapy.Spider):  # 需要繼承scrapy.Spider類   name = "demo"  # 定義蜘蛛名

def start_requests(self):  # 由此方法通過(guò)下面鏈接爬取頁(yè)面
    # 定義爬取的鏈接    urls = [        'http://lab.scrapyd.cn/page/1/',        'http://lab.scrapyd.cn/page/2/',    ]    for url in urls:        yield scrapy.Request(url=url, callback=self.parse)  # 爬取到的頁(yè)面如何處理？提交給parse方法處理

def parse(self, response):    '''    start_requests已經(jīng)爬取到頁(yè)面，那如何提取我們想要的內(nèi)容呢？那就可以在這個(gè)方法里面定義。    這里的話，并木有定義，只是簡(jiǎn)單的把頁(yè)面做了一個(gè)保存，并沒(méi)有涉及提取我們想要的數(shù)據(jù)，后面會(huì)慢慢說(shuō)到    也就是用xpath、正則、或是css進(jìn)行相應(yīng)提取，這個(gè)例子就是讓你看看scrapy運(yùn)行的流程：    1、定義鏈接；    2、通過(guò)鏈接爬?。ㄏ螺d）頁(yè)面；    3、定義規(guī)則，然后提取數(shù)據(jù)；    '''
    page = response.url.split("/")[-2]  # 根據(jù)上面的鏈接提取分頁(yè),如：/page/1/，提取到的就是：1    filename = 'demo-%s.html' % page  # 拼接文件名，如果是第一頁(yè)，最終文件名便是：mingyan-1.html    with open(filename, 'wb') as f:  # python文件操作，不多說(shuō)了；        f.write(response.body)  # 剛才下載的頁(yè)面去哪里了？response.body就代表了剛才下載的頁(yè)面！    self.log('保存文件: %s' % filename)  # 打個(gè)日志

每一句話的解釋都在注釋里面了，大家可以好好的看一下，我也不用多說(shuō)啥了，最后直接crawl運(yùn)行爬蟲(chóng)即可！

到此，相信大家對(duì)“python Scrapy爬蟲(chóng)代碼怎么寫(xiě)”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

向AI問(wèn)一下細(xì)節(jié)

python Scrapy爬蟲(chóng)代碼怎么寫(xiě)

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽