python requests更換代理適用于IP頻率限制的方法

發(fā)布時(shí)間：2020-09-22 14:59:25 來(lái)源：腳本之家閱讀：264 作者：一只小coder 欄目：開(kāi)發(fā)技術(shù)

有些網(wǎng)址具有IP限制，比如同一個(gè)IP一天只能點(diǎn)贊一次。

解決方法就是更換代理IP。

從哪里獲得成千上萬(wàn)的IP呢? 百度“http代理” 可獲得一大堆網(wǎng)站。

比如某代理網(wǎng)站，1天6元，可以無(wú)限提取。

python requests更換代理適用于IP頻率限制的方法

把提取的IP,保存到txt文件中。

python requests更換代理適用于IP頻率限制的方法

寫(xiě)一個(gè)方法，讀取文件，存入數(shù)組中

def getProxysFromFile():
 with open("proxy.txt", "r") as f:
  l = f.readlines()
 return l

比如執(zhí)行某任務(wù)，傳入單個(gè)代理IP+PORT

def run(proxy):
 
 try:
  print("proxy:{}".format(proxy))
  s=requests.Session()
  proxies={
  "http": "http://{}".format(proxy.strip()), "https":"https://{}".format(proxy.strip())
  }
  header={
   "Host":"www.xxx.com",
   "Referer":"http://www.xxx.com/xxx.html?199",
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"
 
  }
  ret=s.get(url="http://www.xxx.com/data/dz?uid=199&ztype=1",headers=header,proxies=proxies,timeout=4)
  rc=ret.content.decode("utf-8")
  print(rc)
  if "成功" in rc:
   global count
   count+=1
   print(count)
 except:
  pass

接下來(lái)就是調(diào)度，簡(jiǎn)單寫(xiě)了個(gè)調(diào)度，比如每隔5秒鐘，啟動(dòng)100個(gè)線程去執(zhí)行。（這里為了簡(jiǎn)單，在上面的run中設(shè)置了超時(shí)時(shí)間為4秒，所以能保證不會(huì)導(dǎo)致啟動(dòng)的線程太多未完成卡死）

if __name__ == '__main__':
 count=1
 l=getProxysFromFile()
 while True:
  for i in range(100):
   try:
    t=threading.Thread(target=run,args=(l.pop(),))
    t.start()
   except:
    pass
  time.sleep(5)

效果如下，速度還是很快的。

python requests更換代理適用于IP頻率限制的方法

以上這篇python requests更換代理適用于IP頻率限制的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持億速云。

向AI問(wèn)一下細(xì)節(jié)

python requests更換代理適用于IP頻率限制的方法

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽