python爬蟲中urllib庫代理的設(shè)置方法

這篇文章給大家分享的是有關(guān)python爬蟲中urllib庫代理的設(shè)置方法的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

關(guān)于urllib庫

urllib 庫一般使用 ProxyHandler 設(shè)置代理，參數(shù)是字典類型，鍵名是協(xié)議。

urllib代理設(shè)置代碼如下

from urllib.error import URLError
from urllib.request import ProxyHandler
from urllib.request import build_opener
 
# 通過ProxyHandler來設(shè)置代理服務(wù)器，參數(shù)為字典類型，鍵名為協(xié)議，鍵值為代理
proxy_handler = ProxyHandler({"http": "http://113.120.33.75:9999",
                              "https":"https://120.83.99.72:9999"})
 
# 創(chuàng)建一個opener對象，比openurl多了一個header
opener = build_opener(proxy_handler)
try:
    # 通過opener對象打開url
    response = opener.open("http://httpbin.org/get")
    print(response.read().decode("utf-8"))
except URLError as e:
print(e.reason)

結(jié)果會出現(xiàn)兩種情況

[WinError 10061] 由于目標計算機積極拒絕，無法連接。
解決方法：主要是代理不可用，更換代理就行

[WinError 10060] 由于連接方在一段時間后沒有正確答復或連接的主機沒有反應(yīng)，連接嘗試失敗。  

解決方法：將瀏覽器的代理設(shè)置中的局域網(wǎng)設(shè)置，里面的自動配置腳本選項改為自動檢測設(shè)置即可。

運行結(jié)果如下，可以看到origin已經(jīng)改成了代理IP

{
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Host": "httpbin.org",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
  },
  "origin": "113.120.33.75, 113.120.33.75",
  "url": "https://httpbin.org/get"
}

感謝各位的閱讀！關(guān)于python爬蟲中urllib庫代理的設(shè)置方法就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！