爬蟲使用ip代理池的實(shí)例

本篇內(nèi)容介紹了“爬蟲使用ip代理池的實(shí)例”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

說明

1、在代理IP采集模塊，采集代理IP，檢測代理IP。如果不可用，直接過濾掉。如果可用，指定默認(rèn)分?jǐn)?shù)，存儲在數(shù)據(jù)庫中。

2、在代理IP檢測模塊，從數(shù)據(jù)庫中獲取所有代理IP，檢測代理。如代理IP不能使用，則將分?jǐn)?shù)-1，如果分?jǐn)?shù)為0，則從數(shù)據(jù)庫中刪除，否則更新數(shù)據(jù)庫，如果代理IP可以使用，則恢復(fù)默認(rèn)分?jǐn)?shù)，更新數(shù)據(jù)庫。

3、在代理API模塊，從數(shù)據(jù)庫中為爬蟲提供可用的代理IP。

實(shí)例

數(shù)據(jù)模型

class Proxy(object):
 
    def __init__(self, ip, port, protocol=-1, nick_type=-1, speed=-1, area=None, score=MAX_SCORE, disable_domains=[]):
        # ip: 代理的IP地址
        self.ip = ip
        # port: 代理IP的端口號
        self.port = port
        # protocol: 代理IP支持的協(xié)議類型, http是0, https是1, https和http都支持是2，-1不可用
        self.protocol = protocol
        # nick_type: 代理IP的匿名程度, 高匿: 0, 匿名: 1, 透明: 2
        self.nick_type = nick_type
        # speed: 代理IP的響應(yīng)速度, 單位s
        self.speed = speed
        # area: 代理IP所在地區(qū)
        self.area = area
        # score: 代理IP的評分, 用于衡量代理的可用性;
        self.score = score
        # 默認(rèn)分值可以通過配置文件進(jìn)行配置.在進(jìn)行代理可用性檢查的時候, 每遇到一次請求失敗就減1份, 減到0的時候從池中刪除.如果檢查代理可用, 就恢復(fù)默認(rèn)分值
        # disable_domains: 不可用域名列表, 有些代理IP在某些域名下不可用, 但是在其他域名下可用
        self.disable_domains = disable_domains
 
    # 3. 提供 __str__ 方法, 返回?cái)?shù)據(jù)字符串
    def __str__(self):
        # 返回?cái)?shù)據(jù)字符串
        return str(self.__dict__)

“爬蟲使用ip代理池的實(shí)例”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！