如何在python中使用proxybroker構(gòu)建一個(gè)爬蟲(chóng)免費(fèi)IP代理池

今天就跟大家聊聊有關(guān)如何在python中使用proxybroker構(gòu)建一個(gè)爬蟲(chóng)免費(fèi)IP代理池，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

python可以做什么

Python是一種編程語(yǔ)言，內(nèi)置了許多有效的工具，Python幾乎無(wú)所不能，該語(yǔ)言通俗易懂、容易入門(mén)、功能強(qiáng)大，在許多領(lǐng)域中都有廣泛的應(yīng)用，例如最熱門(mén)的大數(shù)據(jù)分析，人工智能，Web開(kāi)發(fā)等。

ProxyBroker安裝

你可以通過(guò)pip來(lái)安裝ProxyBroker

pip install proxybroker

也可以直接從Github下載最新版本的ProxyBroker

pip install -U git+https://github.com/constverum/ProxyBroker.git

在終端使用ProxyBroker

安裝成功后，你可以在終端中使用命令proxybroker

proxybroker主要有三個(gè)子命令

find子命令

find子命令用于查找并檢查公開(kāi)的代理IP，換言之它會(huì)列出所有經(jīng)測(cè)試可用的代理IP

下列是find子命令的常用選項(xiàng):

比如查找10條HTTP代理

proxybroker find --types HTTP -l 10

你可以將選項(xiàng)的示例值加上，自己嘗試一下

grab子命令

grab子命令有點(diǎn)像find的簡(jiǎn)易版，它只進(jìn)行查找，并不檢查抓來(lái)IP的可用性

下列是grab子命令的所有選項(xiàng):

可以看到它有的選項(xiàng)，find子命令都有，所以它是find的閹割版

比如查找5條來(lái)自中國(guó)的代理，并將它保存至文件中

proxybroker grab -c CN -o ./proxies.txt -l 5

serve子命令

serve子命令用于搭建一個(gè)本地代理服務(wù)器，它可以分發(fā)你的請(qǐng)求至不同的IP代理中

下列是serve子命令的常用選項(xiàng):

serve子命令搭建代理服務(wù)器，相當(dāng)于把我們本機(jī)變成中間商再中間商

比如在地址為localhost，端口為5000，搭起高匿名代理服務(wù)器

proxybroker serve --host localhost --port 5000 --types HTTP --lvl High

然后先通過(guò)curl命令不使用代理訪(fǎng)問(wèn)一下http://httpbin.org/get這個(gè)地址，查看一下該網(wǎng)站顯示我們的IP是多少

curl http://httpbin.org/get

再使用curl命令通過(guò)我們剛搭起的代理服務(wù)器訪(fǎng)問(wèn)一下，看看網(wǎng)站顯示的IP是否有變化

curl --proxy http://localhost:5000 http://httpbin.org/get

在代碼中使用ProxyBroker

你可以通過(guò)proxybroker serve子命令搭起代理服務(wù)器，然后在發(fā)起請(qǐng)求時(shí)使用該代理，這種方法適用于幾乎所有的編程語(yǔ)言

requests庫(kù)使用代理

先serve搭起代理服務(wù)器

proxybroker serve --host localhost --port 5000 --types HTTP --lvl High

然后通過(guò)requests庫(kù)設(shè)置代理

import requests

proxies = {
  "http": "http://localhost:5000",
  "https": "http://localhost:5000"
}

res = requests.get('http://httpbin.org/get', proxies=proxies)

print(res.json())

效果如下

scrapy庫(kù)使用代理

還是先serve搭起代理服務(wù)器，代碼還是和上面一樣

在終端中，通過(guò)scrapy startproject新建一個(gè)爬蟲(chóng)項(xiàng)目，然后進(jìn)入該項(xiàng)目目錄里

scrapy startproject proxy_demo
cd proxy_demo

通過(guò)scrapy genspider新建一個(gè)爬蟲(chóng)，名為proxy_spider_demo，域名為httpbin.org

scrapy genspider proxy_spider_demo httpbin.org

然后將下列代碼粘貼至剛剛新建的爬蟲(chóng)中

import json
import scrapy
# from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware


class ProxySpiderDemoSpider(scrapy.Spider):
  name = 'proxy_spider_demo'
  allowed_domains = ['httpbin.org']
  # start_urls = ['http://httpbin.org/']

  def start_requests(self):
    meta = dict(proxy='http://localhost:5000')
    # 請(qǐng)求三次該網(wǎng)址，查看IP是否不同
    for _ in range(3):
      # 得加上dont_filter=True，否則第2、3個(gè)請(qǐng)求將被dupefilter過(guò)濾
      # 請(qǐng)求可以通過(guò)meta攜帶代理服務(wù)器地址，與HttpProxyMiddleware下載器中間件配合達(dá)到代理請(qǐng)求的目的
      yield scrapy.Request('http://httpbin.org/get', dont_filter=True, meta=meta, callback=self.parse)

  def parse(self, response):
    json_body = json.loads(response.text)
    print('當(dāng)前請(qǐng)求的IP為：', json_body['origin'])

在項(xiàng)目根目錄處進(jìn)入終端，通過(guò)scrapy crawl命令運(yùn)行爬蟲(chóng)，這里加上了--nolog選項(xiàng)是為了專(zhuān)注于print的輸出

scrapy crawl --nolog proxy_spider_demo

效果如下

python異步獲取代理IP

如果不希望通過(guò)serve子命令，直接在python代碼中使用代理IP，可以通過(guò)asyncio來(lái)異步獲取代理IP

直接上代碼

import asyncio
from proxybroker import Broker

async def view_proxy(proxies_queue):
  while True:
    proxy = await proxies_queue.get()
    
    if proxy is None:
      print('done...')
      break
      
    print(proxy)

# 異步隊(duì)列
proxies_queue = asyncio.Queue()

broker = Broker(proxies_queue)

tasks = asyncio.gather(
  # 使用grab子命令獲取3條IP
  broker.grab(limit=3),
  view_proxy(proxies_queue))

loop = asyncio.get_event_loop()
_ = loop.run_until_complete(tasks)

獲取到代理IP后，你可以通過(guò)aiohttp異步HTTP庫(kù)或requests庫(kù)來(lái)使用它們

看完上述內(nèi)容，你們對(duì)如何在python中使用proxybroker構(gòu)建一個(gè)爬蟲(chóng)免費(fèi)IP代理池有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。