python中scrapy如何模擬登錄

小編給大家分享一下python中scrapy如何模擬登錄，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

1、requests模塊。直接攜帶cookies請(qǐng)求頁(yè)面。

找到url，發(fā)送post請(qǐng)求存儲(chǔ)cookie。

2、selenium(瀏覽器自動(dòng)處理cookie)。

找到相應(yīng)的input標(biāo)簽，輸入文本，點(diǎn)擊登錄。

3、scrapy直接帶cookies。

找到url，發(fā)送post請(qǐng)求存儲(chǔ)cookie。

# -*- coding: utf-8 -*-
import scrapy
import re
 
class GithubLoginSpider(scrapy.Spider):
    name = 'github_login'
    allowed_domains = ['github.com']
    start_urls = ['https://github.com/login']
 
    def parse(self, response): # 發(fā)送Post請(qǐng)求獲取Cookies
        authenticity_token = response.xpath('//input[@name="authenticity_token"]/@value').extract_first()
        utf8 = response.xpath('//input[@name="utf8"]/@value').extract_first()
        commit = response.xpath('//input[@name="commit"]/@value').extract_first()
        form_data = {
            'login': 'pengjunlee@163.com',
            'password': '123456',
            'webauthn-support': 'supported',
            'authenticity_token': authenticity_token,
            'utf8': utf8,
            'commit': commit}
        yield scrapy.FormRequest("https://github.com/session", formdata=form_data, callback=self.after_login)
 
    def after_login(self, response): # 驗(yàn)證是否請(qǐng)求成功
        print(re.findall('Learn Git and GitHub without any code!', response.body.decode()))

以上是“python中scrapy如何模擬登錄”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！