python爬蟲(chóng)實(shí)例之Duplication Filter怎樣進(jìn)行篩重

這篇文章給大家分享的是有關(guān)python爬蟲(chóng)實(shí)例之Duplication Filter怎樣進(jìn)行篩重的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧。

Duplication Filter

Scrapy中用集合實(shí)現(xiàn)這個(gè)request去重功能，Scrapy中把已經(jīng)發(fā)送的request指紋放入到一個(gè)集合中，把下一個(gè)request的指紋拿到集合中比對(duì)，如果該指紋存在于集合中，說(shuō)明這個(gè)request發(fā)送過(guò)了，如果沒(méi)有則繼續(xù)操作。這個(gè)核心的判重功能是這樣實(shí)現(xiàn)的：

def request_seen(self, request):
        # self.request_figerprints就是一個(gè)指紋集合  
        fp = self.request_fingerprint(request)
 
        # 這就是判重的核心操作  
        if fp in self.fingerprints:
            return True
        self.fingerprints.add(fp)
        if self.file:
            self.file.write(fp + os.linesep)

在scrapy-redis中去重是由Duplication Filter組件來(lái)實(shí)現(xiàn)的，它通過(guò)redis的set 不重復(fù)的特性，巧妙的實(shí)現(xiàn)了Duplication Filter去重。scrapy-redis調(diào)度器從引擎接受request，將request的指紋存?redis的set檢查是否重復(fù)，并將不重復(fù)的request push寫(xiě)?redis的 request queue。

引擎請(qǐng)求request(Spider發(fā)出的）時(shí)，調(diào)度器從redis的request queue隊(duì)列?里根據(jù)優(yōu)先級(jí)pop 出?個(gè)request 返回給引擎，引擎將此request發(fā)給spider處理。

有了Duplication Filter組件，對(duì)于爬蟲(chóng)找回的數(shù)據(jù)就可以提供有效的爬取意見(jiàn)，也不用擔(dān)心爬蟲(chóng)會(huì)因?yàn)橹貜?fù)的數(shù)據(jù)而耽誤獲取的時(shí)間和進(jìn)度了。

感謝各位的閱讀！關(guān)于python爬蟲(chóng)實(shí)例之Duplication Filter怎樣進(jìn)行篩重就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！