溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

scrapy中如何設(shè)置應(yīng)用cookies的方法(3種)

發(fā)布時(shí)間：2020-10-17 14:06:17 來源：腳本之家 閱讀：1571 作者：不屑哥 欄目：開發(fā)技術(shù)

本人是python3.6

總的來說，scrapy框架中設(shè)置cookie有三種方式。

第一種：setting文件中設(shè)置cookie

當(dāng)COOKIES_ENABLED是注釋的時(shí)候scrapy默認(rèn)沒有開啟cookie

當(dāng)COOKIES_ENABLED沒有注釋設(shè)置為False的時(shí)候scrapy默認(rèn)使用了settings里面的cookie

當(dāng)COOKIES_ENABLED設(shè)置為True的時(shí)候scrapy就會(huì)把settings的cookie關(guān)掉，使用自定義cookie

所以當(dāng)我使用settings的cookie的時(shí)候，又把COOKIES_ENABLED設(shè)置為True，scrapy就會(huì)把settings的cookie關(guān)閉，

而且我也沒使用自定義cookie，導(dǎo)致整個(gè)請(qǐng)求根本沒有cookie,導(dǎo)致獲取頁面失敗。

總結(jié)：

如果使用自定義cookie就把COOKIES_ENABLED設(shè)置為True

如果使用settings的cookie就把COOKIES_ENABLED設(shè)置為False

第二種：middlewares中設(shè)置cookie

在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：

request.cookies={
'':'',
'':'',
}

等等。里面的cookie內(nèi)容要以鍵值對(duì)的形式存在。

第三種：在spider爬蟲主文件中，重寫start_request方法，在scrapy的Request函數(shù)的參數(shù)中傳遞cookies

  # 重載start_requests方法
  def start_requests(self):
    headers = {
          "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"}
    # 指定cookies
    cookies = {
          'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0',
          '_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8',
          '__mta': '222746148.1542881402495.1542881402495.1542881402495.1',
          'ci': '20',
          'rvct': '20%2C92%2C282%2C281%2C1',
          '_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic',
          '_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'}

        # 再次請(qǐng)求到詳情頁，并且聲明回調(diào)函數(shù)callback，dont_filter=True 不進(jìn)行域名過濾，meta給回調(diào)函數(shù)傳遞數(shù)據(jù)
    yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item}, dont_filter=True)

同時(shí)還要在setting中設(shè)置：

ROBOTSTXT_OBEY=False

到此這篇關(guān)于scrapy中如何設(shè)置應(yīng)用cookies的方法(3種)的文章就介紹到這了,更多相關(guān)scrapy設(shè)置cookies內(nèi)容請(qǐng)搜索億速云以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持億速云！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手