您好,登錄后才能下訂單哦!
這篇文章給大家分享的是有關(guān)python怎么重寫start_requests方法的內(nèi)容。小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考,一起跟隨小編過來看看吧。
說明
1、在scrapy中,start_url是由start_requests處理的,通過重寫這種方法,start_url可以攜帶請(qǐng)求頭信息。
2、cookie不能放在scrapy中的headers中,在構(gòu)建請(qǐng)求時(shí)有專門的cookies參數(shù)。
可以接收字典形式的cookie。可能需要在settings中設(shè)置ROBOTS協(xié)議和USER_AGENT。
實(shí)例
import scrapy class Git1Spider(scrapy.Spider): name = 'git1' allowed_domains = ['github.com'] start_urls = ['https://github.com/GitLqr'] def start_requests(self): """ 重寫start_requests,發(fā)送攜帶cookies的Request。 默認(rèn)start_requests只是普通的get請(qǐng)求,不會(huì)攜帶自定義的頭信息 """ url = self.start_urls[0] temp = '_octo=GH1.1.1045146750.1615451260; _device_id=cd8d64981fcb3fd4ba7f587873e97804' # 把cookies字符串轉(zhuǎn)成字典 cookies = {data.split('=')[0]: data.split('=')[-1] for data in temp.split('; ')} yield scrapy.Request( url=url, callback=self.parse, cookies=cookies ) def parse(self, response): print(response.xpath('/html/head/title/text()').extract_first())
感謝各位的閱讀!關(guān)于“python怎么重寫start_requests方法”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí),如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。