溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
小編給大家分享一下python爬蟲ip代理池如何做，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
定義代理IP
proxie = {
'http' : 'http://xx.xxx.xxx.xxx:xxxx',
'http' : 'http://xxx.xx.xx.xxx:xxx',
....
}使用代理
response = requests.get(url,proxies=proxies)
如何使用呢？
首先使用 git clone 將源代碼拉到你本地
接著在你 clone 下來的文件目錄中
安裝相關所需的 python 模塊：
pip3 install -r requirements.txt
接著就可以運行 run.py 了：
代理池開始運行
* Running on http://0.0.0.0:5555/ (Press CTRL+C to quit)
開始抓取代理
獲取器開始執(zhí)行
Crawling http://www.66ip.cn/1.html 正在抓取 http://www.66ip.cn/1.html 抓取成功 http://www.66ip.cn/1.html 200 成功獲取到代理 201.69.7.108:9000 成功獲取到代理 111.67.97.58:36251 成功獲取到代理 187.32.159.61:51936 成功獲取到代理 60.13.42.154:9999 成功獲取到代理 106.14.5.129:80 成功獲取到代理 222.92.112.66:8080 成功獲取到代理 125.26.99.84:60493 ...
運行 run.py 你就可以訪問你的代理池了，比如隨機獲取一個代理 ip 地址：
這樣訪問之后就會獲取到一個代理 ip。
以上是python爬蟲ip代理池如何做的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。
