Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法分析

發(fā)布時(shí)間：2020-09-07 17:40:53 來(lái)源：腳本之家閱讀：129 作者：Sailfish23 欄目：開(kāi)發(fā)技術(shù)

本文實(shí)例講述了Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法。分享給大家供大家參考，具體如下：

如何應(yīng)對(duì)網(wǎng)站的反爬蟲(chóng)機(jī)制

在訪問(wèn)某些網(wǎng)站的時(shí)候，網(wǎng)站通常會(huì)用判斷訪問(wèn)是否帶有頭文件來(lái)鑒別該訪問(wèn)是否為爬蟲(chóng)，用來(lái)作為反爬取的一種策略。

例如打開(kāi)搜狐首頁(yè)，先來(lái)看一下Chrome的頭信息（F12打開(kāi)開(kāi)發(fā)者模式）如下：

Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法分析

如圖，訪問(wèn)頭信息中顯示了瀏覽器以及系統(tǒng)的信息（headers所含信息眾多，具體可自行查詢）

Python中urllib中的request模塊提供了模擬瀏覽器訪問(wèn)的功能，代碼如下：

from urllib import request
url = 'http://www.baidu.com'
# page = request.Request(url)
# page.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
print(page_info)

可以通過(guò)add_header(key, value) 或者直接以參數(shù)的形式和URL一起請(qǐng)求訪問(wèn)，

urllib.request.Request()
urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

其中headers是一個(gè)字典，通過(guò)這種方式可以將爬蟲(chóng)模擬成瀏覽器對(duì)網(wǎng)站進(jìn)行訪問(wèn)。
https://docs.python.org/3/library/urllib.request.html?highlight=request#module-urllib.request

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專(zhuān)題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門(mén)與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

向AI問(wèn)一下細(xì)節(jié)

Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法分析

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽