python爬蟲如何繞過(guò) CloudFlare 5秒盾

巧破 Cloudflare 5秒盾

相信下面這個(gè)界面大家都不會(huì)陌生。【圖1-1】

 

當(dāng)我們第一次訪問(wèn)使用 CloudFlare 加速的網(wǎng)站時(shí)，網(wǎng)站就會(huì)出現(xiàn)讓我們等待 5 秒種的提示，當(dāng)我們需要的通過(guò)爬蟲爬取這類網(wǎng)站的時(shí)候，應(yīng)該如何爬取呢？

分析請(qǐng)求

首先我們需要分析在這個(gè)等待的時(shí)間里瀏覽器做了哪些操作。

通過(guò)抓包，我們可以看到在等待的過(guò)程中，瀏覽器做了下面的三次請(qǐng)求【圖1-2】- 【圖1-4】：

【圖1-2】請(qǐng)求 1 寫入 cookie 字段 __cfduid

 

【圖1-3】請(qǐng)求 2 帶有疑似加密的請(qǐng)求參數(shù)請(qǐng)求并寫入 cookie 字段 cf_clearance

 

【圖1-4】請(qǐng)求 3 帶上前面寫入的cookie 請(qǐng)求網(wǎng)站首頁(yè)，返回首頁(yè)內(nèi)容。

 

這整個(gè)過(guò)程需要的請(qǐng)求現(xiàn)在已經(jīng)分析清楚了，接下來(lái)就是使用 Python 實(shí)現(xiàn)這個(gè)請(qǐng)求流程，不過(guò)是這樣的話就配不上這個(gè)標(biāo)題了。

先說(shuō)說(shuō)這個(gè)按照正常流程是怎么實(shí)現(xiàn)抓取繞過(guò)的：

• 使用瀏覽器模擬技術(shù)請(qǐng)求目標(biāo)網(wǎng)站，例如：Selenium、 PhantomJS等

• 破解請(qǐng)求 2 的加密參數(shù)使用請(qǐng)求庫(kù)模擬整個(gè)請(qǐng)求過(guò)程

這兩個(gè)方法當(dāng)然是可以抓取的，但是都不符合標(biāo)題的巧字。

接下來(lái)給大家介紹一個(gè)專門為了繞過(guò)這個(gè) CloudFlare 開發(fā)的 Python 庫(kù) cloudflare-scrape

用上它就可以無(wú)感爬取使用了 CloudFlare 的網(wǎng)站，使用這個(gè)庫(kù)非常簡(jiǎn)單。

安裝

使用pip install cfscrape安裝cloudflare-scrape，同時(shí)確認(rèn)本地是否安裝node.js開發(fā)環(huán)境，如果沒(méi)有，需要安裝配置nodejs開發(fā)環(huán)境。

使用實(shí)例

處理 get 請(qǐng)求的 CloudFlare

import cfscrape
# 實(shí)例化一個(gè)create_scraper對(duì)象
scraper = cfscrape.create_scraper()
# 請(qǐng)求報(bào)錯(cuò)，可以加上時(shí)延
# scraper = cfscrape.create_scraper(delay = 10)
# 獲取網(wǎng)頁(yè)源代碼
web_data = scraper.get("https://wallhere.com/").content
print(web_data)

處理 post 請(qǐng)求的 CloudFlare

# import cfscrape
# 實(shí)例化一個(gè)create_scraper對(duì)象
scraper = cfscrape.create_scraper()
# 獲取真實(shí)網(wǎng)頁(yè)源代碼
web_data = scraper.post("http://example.com").content
print(web_data)

使用cloudflare-scrape后整個(gè)請(qǐng)求過(guò)程如絲般順滑。