使用python怎么在單例模式中獲取IP代理

這篇文章給大家介紹使用python怎么在單例模式中獲取IP代理，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

代理是什么

作為一個(gè)程序員我覺(jué)得有必要了解一些基本的網(wǎng)絡(luò)知識(shí)，比如說(shuō)網(wǎng)絡(luò)代理。

我不想從哪里復(fù)制粘貼一段介紹過(guò)來(lái)，因?yàn)槲矣X(jué)得那樣很low，我說(shuō)說(shuō)我理解的網(wǎng)絡(luò)代理。

如果你不了解代理，你應(yīng)該知道代購(gòu)吧，比如你想買一個(gè)東西，卻不想自己跑去買，可以找一個(gè)代理幫你去買。類似的，網(wǎng)絡(luò)代理也是在你和目的網(wǎng)絡(luò)之間的一個(gè)中轉(zhuǎn)方。類似如下圖

Alice->agency(代理): I want to get sth from Bob
agency(代理)->Bob: give me sth
Note right of Bob: Bob thinks
Bob-->agency(代理): there is sth!
agency(代理)-->Alice: bob give you sth

這里有一個(gè)問(wèn)題是，普通代理是比較好檢測(cè)出來(lái)的，有些網(wǎng)站不允許使用代理訪問(wèn)。這時(shí)候可以使用高匿代理可以解決這個(gè)問(wèn)題。關(guān)于代理不多說(shuō)了，有興趣的可以自己去了解。

從哪里獲取代理

這問(wèn)題就簡(jiǎn)單了，直接百度搜索網(wǎng)絡(luò)代理可以搜索到很多免費(fèi)的，免費(fèi)的一般不太穩(wěn)定，應(yīng)付日常需求應(yīng)該沒(méi)問(wèn)題。如果需要穩(wěn)定代理還是老老實(shí)實(shí)的花錢買付費(fèi)的好一些，不要因小失大。

比如網(wǎng)上就經(jīng)常推薦的代理

西祠代理:http://www.xicidaili.com/nn/

本文用的快代理：https://www.kuaidaili.com/

西祠我一開(kāi)始也用了，后來(lái)因?yàn)轭l繁訪問(wèn)被禁用過(guò)一次，幾天后才解禁，在這期間我換成了快代理并去重寫了規(guī)則每小時(shí)獲取一次代理。

代碼

本文用的python版本為3.6.5, 如果使用2.7版本的代碼需要微調(diào)

User-Agent

用來(lái)模擬不同的瀏覽器，直接復(fù)制就可以了，我的文件名為user_agents.py

#!/usr/bin/python
# -*- coding:utf-8 -*-
'''
Created on 2018-04-27

@author: Vinter_he
'''

user_agents = [
 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
 'Opera/9.25 (Windows NT 5.1; U; en)',
 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
 'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
 'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9'
 
 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
 "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
 "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
 "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
 "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
 "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
 "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
 "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
 "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
獲取代理代碼
#!/usr/bin/python
# -*- coding:utf-8 -*-
'''

獲取快代理ip 獲取到的為https://...格式

'''
from lxml import etree
import sys ,user_agents ,random ,requests ,time

class geKuaidailiIp:
 __instance = None
 #使用單例模式
 def __new__(cls):
  if cls.__instance == None:
   cls.__instance = object.__new__(cls)
   cls.init(cls)
  return cls.__instance

 def init(self):
  print('初始化')
  self.proxieList = []
  self.lastTime = time.time() - 3601
  self.agencyUrl = 'https://www.kuaidaili.com/free/'
  self.userAgents = user_agents.user_agents
 # 獲取user-agent
 def getUserAgent(self):
  userAgent = random.choice(self.userAgents)
  return {
   'User-Agent': userAgent
  }

 def getHtml(self,url):
  response = requests.get(url = url ,headers = self.getUserAgent(),timeout = 10).text
  # sys.exit()
  html = etree.HTML(response)
  return html
 #取一頁(yè)的分析代理ip
 def parseHtmlToGetIpList(self,url):

  #獲取代理ip地址 只取前五頁(yè)
  html = self.getHtml(url)
  ip = html.xpath('//tr/td[@data-title = "IP"]')
  port = html.xpath('//tr/td[@data-title = "PORT"]')
  type = html.xpath('//tr/td[@data-title = "類型"]')
  return type, ip, port
 # 取五頁(yè)數(shù)據(jù)并進(jìn)行拼接成一個(gè)list
 def getProxies(self):
  # 1小時(shí)獲取一次代理 否則會(huì)被禁
  if time.time() - self.lastTime > 60*60:
   self.proxieList =[]
   self.lastTime = time.time()
   #只取前五頁(yè)，因?yàn)楹竺娴氖У臅?huì)比較多，看自己需要
   for i in range(5):
    url = self.agencyUrl+'inha/'+str(i+1)+"/"
    type,ip,port = self.parseHtmlToGetIpList(url)
    count = len(port)
    for i in range(count):
     self.proxieList.append(type[i].text+"://"+ip[i].text+":"+port[i].text)
    time.sleep(1)
   print('獲取代理')
  return self.proxieList

 def getRandomAgencyIp(self):
  self.getProxies()
  ip = random.choice(self.proxieList)
  return ip


#初始化代理 用來(lái)進(jìn)行測(cè)試用
# agency = geKuaidailiIp()
# while True:
#
#  print(agency.getRandomAgencyIp())
#  time.sleep(random.randint(4,10))

Python主要用來(lái)做什么

Python主要應(yīng)用于：1、Web開(kāi)發(fā)；2、數(shù)據(jù)科學(xué)研究；3、網(wǎng)絡(luò)爬蟲(chóng)；4、嵌入式應(yīng)用開(kāi)發(fā)；5、游戲開(kāi)發(fā)；6、桌面應(yīng)用開(kāi)發(fā)。

關(guān)于使用python怎么在單例模式中獲取IP代理就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。