常見Python爬蟲使用代理IP的方法是什么

這篇文章主要介紹“常見Python爬蟲使用代理IP的方法是什么”的相關(guān)知識，小編通過實際案例向大家展示操作過程，操作方法簡單快捷，實用性強，希望這篇“常見Python爬蟲使用代理IP的方法是什么”文章能幫助大家解決問題。

　　一、urllib代理設(shè)置

　　from urllib.error import URLError

　　from urllib.request import ProxyHandler,build_opener

　　proxy='123.58.10.36:8080' #使用本地代理

　　#proxy='username:password@123.58.10.36:8080' #購買代理

　　proxy_handler=ProxyHandler({

　　'http':'http://'+proxy,

　　'https':'https://'+proxy

　　})

　　opener=build_opener(proxy_handler)

　　try:

　　response=opener.open('http://httpbin.org/get') #測試ip的網(wǎng)址

　　print(response.read().decode('utf-8'))

　　except URLError as e:

　　print(e.reason)

　　二、requests代理設(shè)置

　　import requests

　　proxy='123.58.10.36:8080' #本地代理

　　#proxy='username:password@123.58.10.36:8080'

　　proxies={

　　'http':'http://'+proxy,

　　'https':'https://'+proxy

　　}

　　try:

　　response=requests.get('http://httpbin.org/get',proxies=proxies)

　　print(response.text)

　　except requests.exceptions.ConnectionError as e:

　　print('錯誤:',e.args)

　　三、Selenium代理設(shè)置

　　from selenium import webdriver

　　proxy='123.58.10.36:8080'

　　chrome_options=webdriver.ChromeOptions()

　　chrome_options.add_argument('--proxy-server=http://'+proxy)

　　browser=webdriver.Chrome(chrome_options=chrome_options)

　　browser.get('http://httpbin.org/get')

關(guān)于“常見Python爬蟲使用代理IP的方法是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識，可以關(guān)注億速云行業(yè)資訊頻道，小編每天都會為大家更新不同的知識點。