爬蟲ip池能改變ip的原理及實(shí)例說明

本篇內(nèi)容主要講解“爬蟲ip池能改變ip的原理及實(shí)例說明”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“爬蟲ip池能改變ip的原理及實(shí)例說明”吧!

原理

1、存儲模塊使用Redis的有序集合來表示dialing的去重和狀態(tài)。

同時也是中心模塊和基礎(chǔ)模塊，連接其他模塊。

2、獲取模塊定期從代理網(wǎng)站獲取代理。

將獲取的代理傳輸?shù)酱鎯δK并保存到數(shù)據(jù)庫中。

3、檢測模塊定期從存儲模塊獲取所有代理。

并檢測代理，根據(jù)不同的檢測結(jié)果為代理設(shè)置不同的標(biāo)識。

4、接口模塊通過WebAPI連接服務(wù)接口。

接口連接數(shù)據(jù)庫，以Web的形式返回可用代理。

實(shí)例

from multiprocessing import Process
import time
from api import app
from getter import Getter
from tester import Tester
TESTER_CYCLE = 20
GETTER_CYCLE = 20
TESTER_ENABLED = True
GETTER_ENABLED = True
API_ENABLED = True
class Scheduler():
    """調(diào)度模塊"""
    def schedule_tester(self, cycle=TESTER_CYCLE):
        """
        定時測試代理
        :param cycle:
        :return:
        """
        tester = Tester()
        while True:
            print("測試器開始運(yùn)行")
            tester.run()
            time.sleep(cycle)
    def schedule_getter(self, cycle=GETTER_CYCLE):
        """
        定時獲取代理
        :param cycle:
        :return:
        """
        getter = Getter()
        while True:
            print("開始抓取代理")
            getter.run()
            time.sleep(cycle)
    def schedule_api(self):
        """
        開啟api
        :return:
        """
        app.run()
    def run(self):
        print("代理池開始運(yùn)行")
        if TESTER_ENABLED:
            test_process = Process(target=self.schedule_tester)
            test_process.start()
        if GETTER_ENABLED:
            getter_process = Process(target=self.schedule_getter)
            getter_process.start()
        if API_ENABLED:
            api_process = Process(target=self.schedule_api)
            api_process.start()
if __name__ == '__main__':
    a = Scheduler()
    a.run()

到此，相信大家對“爬蟲ip池能改變ip的原理及實(shí)例說明”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！