溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

python爬蟲(chóng)模擬瀏覽器訪問(wèn)-User-Agent過(guò)程解析

發(fā)布時(shí)間：2020-09-20 17:56:02 來(lái)源：腳本之家 閱讀：162 作者：故事的小黃花丶 欄目：開(kāi)發(fā)技術(shù)

這篇文章主要介紹了python爬蟲(chóng)模擬瀏覽器訪問(wèn)-User-Agent過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

模擬瀏覽器訪問(wèn)-User-Agent：

import urllib2

#User-Agent 模擬瀏覽器訪問(wèn)
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通過(guò)urllib2.Request()方法構(gòu)造一個(gè)請(qǐng)求對(duì)象
request = urllib2.Request("http://www.baidu.com/",headers = headers)


#向指定的URL地址發(fā)送請(qǐng)求，并返回服務(wù)器響應(yīng)的類文件對(duì)象
#response是服務(wù)器響應(yīng)的類文件，除了支持文件操作的方法外，還支持以下常用的方法：
response = urllib2.urlopen(request)



#服務(wù)器返回的類文件對(duì)象支持python文件對(duì)象的操作方法
#read()方法就是讀取文件里的全部?jī)?nèi)容，返回字符串
html = response.read()

#返回HTTP的響應(yīng)碼，成功返回200,4服務(wù)器頁(yè)面出錯(cuò)；5.服務(wù)器問(wèn)題
print response.getcode()

#返回實(shí)際數(shù)據(jù)的實(shí)際URL，防止重定向問(wèn)題
print response.geturl()

#返回服務(wù)器響應(yīng)的HTTP報(bào)頭
print response.info()


#打印響應(yīng)內(nèi)容
print(html)

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手