Python urllib庫(kù)如何實(shí)現(xiàn)添加headers

發(fā)布時(shí)間：2020-10-29 15:59:19 來(lái)源：億速云閱讀：200 作者：Leah 欄目：開(kāi)發(fā)技術(shù)

Python urllib庫(kù)如何實(shí)現(xiàn)添加headers？相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

方法一：借助build_opener和addheaders完成

import urllib.request
url="http://www.meizitu.com"
#注意：在urllib 中headers是元組
headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE")

opener=urllib.request.build_opener()
opener.addheaders=[headers]
data=opener.open(url)
print(data.read())

注意：此處的headers要寫(xiě)為一個(gè)元組類(lèi)型才可以。寫(xiě)為字典類(lèi)型的話(huà)會(huì)報(bào)錯(cuò)！

方法二、創(chuàng)建一個(gè)Request實(shí)例對(duì)象

# 案例1
import urllib.request
url="http://www.meizitu.com"
#注意：在urllib 中這種的headers 是需要是字典的
headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE"}
req=urllib.request.Request(url=url,headers=headers)
file=urllib.request.urlopen(req)

#出現(xiàn)有些解碼錯(cuò)誤的話(huà)，加上“ignore”就可以啦
print(file.read().decode("utf-8",'ignore'))

注意：此處的headers要寫(xiě)為一個(gè)字典類(lèi)型才可以。

創(chuàng)建一個(gè)Reques對(duì)象，把需要的headers,url，proxy 都放進(jìn)去，或者在post 請(qǐng)求中還可以把編碼過(guò)后的data 值放進(jìn)去，再用urlopen 打開(kāi)，就比較方便了。

另外，這種方法還可以用add_headers（）來(lái)添加headers，代碼如下：

import urllib.request
try:
  url="http://www.meizitu.com"
  req=urllib.request.Request(url=url)

  req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE")
  file=urllib.request.urlopen(req,timeout=10.1)

  print(file.read().decode("utf-8",'ignore'))
except Exception as e:
  print("時(shí)間超時(shí)",str(e))

看完上述內(nèi)容，你們掌握Python urllib庫(kù)如何實(shí)現(xiàn)添加headers的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！

向AI問(wèn)一下細(xì)節(jié)

Python urllib庫(kù)如何實(shí)現(xiàn)添加headers

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽