溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
Scrapy框架對接selenium怎樣進行模擬知乎登錄，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。
概要：之前寫了scrapy的基礎，準備嘗試模擬知乎登錄，并爬取問答。
但是發(fā)現(xiàn)知乎已經做了更新，對參數做了加密處理，身為小白的我只好試試selenium，本篇文章我們來了解scrapy框架如何對接selenium。
1、新建項目
新建項目，以及基本的操作在上一篇文章應該都有了解，如果現(xiàn)在還不了解，
這里獻上鏈接：爬蟲框架Scrapy的安裝與基本使用
2、模擬知乎登錄
首先需要在seetings.py中將ROBOTSTXT_OBEY = True修改為ROBOTSTXT_OBEY = False，ROBOTSTXT_OBEY 可以說是君子協(xié)議吧，我們修改成False，否則不能爬取。
然后再spider寫下如下代碼：
對于selenium不了解的可以查看：selenium的使用（有點意思）
3、運行
這里教大家一個小技巧
我們在項目下創(chuàng)建一個main文件寫下如下代碼：
即可。
這樣我們就不用每次在黑窗口下運行，很麻煩。
這次只是簡單的寫了下selenium在scrapy框架中運用，沒有用到什么新知識。
關于Scrapy框架對接selenium怎樣進行模擬知乎登錄問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業(yè)資訊頻道了解更多相關知識。
免責聲明：本站發(fā)布的內容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
