scrapy如何實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip

這篇文章將為大家詳細(xì)講解有關(guān)scrapy如何實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

請(qǐng)自行準(zhǔn)備一個(gè)ip代理的平臺(tái)
例如我用的這個(gè)平臺(tái),每次提取10個(gè)ip

從上面可以看到數(shù)據(jù)格式是文本，換行是\r\n，訪問鏈接之后大概就是長(zhǎng)這樣的,scrapy里面的ip需要加上前綴http://
例如:http://117.95.41.21:34854

OK，那現(xiàn)在已經(jīng)準(zhǔn)備好了ip了，先給你們屢一下思路。

ip池和計(jì)數(shù)器放在setting文件

第一次請(qǐng)求的時(shí)候要填滿ip池,所以在爬蟲文件的start_requests函數(shù)下手

更換ip的地方是middlewares的下載器中間件類的process_request函數(shù),因?yàn)槊總€(gè)請(qǐng)求發(fā)起前都會(huì)經(jīng)過這個(gè)函數(shù)

首先是setting文件,其實(shí)就是加兩句代碼

count = {'count': 0}
ipPool = []

還有就是開啟下載器中間件,注意是下面那個(gè)download的類,中間件的process_request函數(shù)的時(shí)候才能生效

下載器中間件的process_request函數(shù),進(jìn)行ip代理和固定次數(shù)更還ip代理池

	# 記得導(dǎo)包
	from 你的項(xiàng)目.settings import ipPool, count
	import random
	import requests
	
  def process_request(self, request, spider):
    # 隨機(jī)選中一個(gè)ip
    ip = random.choice(ipPool)
    print('當(dāng)前ip', ip, '-----', count['count'])
    # 更換request的ip----------這句是重點(diǎn)
    request.meta['proxy'] = ip
    # 如果循環(huán)大于某個(gè)值,就清理ip池,更換ip的內(nèi)容
    if count['count'] > 50:
      print('-------------切換ip------------------')
      count['count'] = 0
      ipPool.clear()
      ips = requests.get('你的ip獲取的地址')
      for ip in ips.text.split('\r\n'):
        ipPool.append('http://' + ip)
    # 每次訪問,計(jì)數(shù)器+1
    count['count'] += 1
    return None

最后就是爬蟲文件的start_requests函數(shù),就是第一次發(fā)請(qǐng)求前要先填滿ip池的ip

	# 記得導(dǎo)包
	from 你的項(xiàng)目.settings import ipPool
	import random
	import requests
	
  def start_requests(self):
    # 第一次請(qǐng)求發(fā)起前先填充一下ip池
    ips = requests.get('你的ip獲取的地址')
    for ip in ips.text.split('\r\n'):
      ipPool.append('http://' + ip)

簡(jiǎn)單的ip代理以及固定次數(shù)就更換ip池就完成了

關(guān)于“scrapy如何實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。