怎么在python中利用代理池更換IP

這篇文章將為大家詳細(xì)講解有關(guān)怎么在python中利用代理池更換IP，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

python是什么意思

Python是一種跨平臺的、具有解釋性、編譯性、互動性和面向?qū)ο蟮哪_本語言，其最初的設(shè)計是用于編寫自動化腳本，隨著版本的不斷更新和新功能的添加，常用于用于開發(fā)獨(dú)立的項(xiàng)目和大型項(xiàng)目。

1. 安裝環(huán)境

# 安裝python虛擬環(huán)境， python環(huán)境最好為python3.6，再往上的話，安裝依賴時會報錯
sudo apt update
sudo apt install python3.6
pip3 install virtualenv
virtualenv venv --python=python3.6
source venv/bin/activate

# 安裝redis
sudo apt install redis-server
# 啟動redis server
redis-server

 2. 安裝依賴

git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool
pip install -r requirements.txt

3. 修改配置文件

# 修改setting.py 

# 配置API服務(wù)

HOST = "0.0.0.0"    # IP
PORT = 5010     # 監(jiān)聽端口

# 配置數(shù)據(jù)庫

# 以下為三個示例，根據(jù)redis的配置，選擇其中一種即可
# 一般啟動redis時如果沒有配置文件，那么選擇第一種即可
# 1. Redis IP: 127.0.0.1 Port: 6379
DB_CONN = 'redis://@127.0.0.1:6379'
# 2. Redis IP: 127.0.0.1 Port: 6379 Password: 123456
DB_CONN = 'redis://:123456@127.0.0.1:6379'
# 3. Redis IP: 127.0.0.1 Port: 6379 Password: 123456 DB: 15
DB_CONN = 'redis://:123456@127.0.0.1:6379/15'

 

# 配置 ProxyFetcher

PROXY_FETCHER = [
 "freeProxy01",  # 這里是啟用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py
 "freeProxy02",
 # ....
]

4. 啟動

# 可以用tmux開三個窗口

# 啟動調(diào)度程序
python proxyPool.py schedule

# 啟動webApi服務(wù)
python proxyPool.py server

5. 測試

import requests

def get_proxy():
 return requests.get("http://127.0.0.1:5010/get/").json()

def delete_proxy(proxy):
 requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

# your spider code

def getHtml():
 # ....
 retry_count = 5
 proxy = get_proxy().get("proxy")
 while retry_count > 0:
  try:
   html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)})
   # 使用代理訪問
   return html
  except Exception:
   retry_count -= 1
 # 刪除代理池中代理
 delete_proxy(proxy)
 return None

關(guān)于怎么在python中利用代理池更換IP就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。