如何正確的使用python爬蟲調(diào)度器

這篇文章將為大家詳細(xì)講解有關(guān)如何正確的使用python爬蟲調(diào)度器，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

我們可以編寫幾個元件，每個元件完成一項功能，下圖中的藍(lán)底白字就是對這一流程的抽象：

• UrlManager：將存儲和獲取url以及url去重的幾個步驟在url管理器中完成（當(dāng)然也可以針對每一步分別編寫相應(yīng)的函數(shù)，但是這樣更直觀）。url管理器要有兩個url倉庫，一個存儲未爬取的url，一個存儲已爬取的url，除了倉庫之外，還應(yīng)該具有一些完成特定功能的函數(shù)，如存儲url、url去重、從倉庫中挑選并返回一個url等

• HtmlDownloader：將下載網(wǎng)頁內(nèi)容的功能在HTML下載器中完成，下載器的功能較為單一，不多解釋。但從整個爬蟲的角度上來說，下載器是爬蟲的核心，在實際操作的過程中，下載器要和目標(biāo)網(wǎng)站的各種反爬蟲手段斗智斗勇（各種表單、隱藏字段和假鏈接、驗證碼、IP限制等等），這也是最耗費大腦的步驟

• HtmlParser：解析提取數(shù)據(jù)的功能在HTML解析器中完成，解析器內(nèi)的函數(shù)應(yīng)該分別具有返回數(shù)據(jù)和新url的功能

• DAtaOutput：存儲數(shù)據(jù)的功能由數(shù)據(jù)存儲器完成

• SpiderMan：主循環(huán)由爬蟲調(diào)度器來完成，調(diào)度器為整個程序的入口，將其余四個元件有序執(zhí)行

爬蟲調(diào)度器將要完成整個循環(huán)，下面寫出python下爬蟲調(diào)度器的程序：

# coding: utf-8
new_urls = set()
data = {}
class SpiderMan(object):
 def __init__(self):
  #調(diào)度器內(nèi)包含其它四個元件，在初始化調(diào)度器的時候也要建立四個元件對象的實例
  self.manager = UrlManager()
  self.downloader = HtmlDownloader()
  self.parser = HtmlParser()
  self.output = DataOutput()
 def spider(self, origin_url):
  #添加初始url
  self.manager.add_new_url(origin_url)
  #下面進(jìn)入主循環(huán)，暫定爬取頁面總數(shù)小于100
  num = 0
  while(self.manager.has_new_url() and self.manager.old_url_size()<100):
   try:
    num = num + 1
    print "正在處理第{}個鏈接".format(num)
    #從新url倉庫中獲取url
    new_url = self.manager.get_new_url()
    #調(diào)用html下載器下載頁面
    html = self.downloader.download(new_url)
    #調(diào)用解析器解析頁面，返回新的url和data
    try:
     new_urls, data = self.parser.parser(new_url, html)
    except Exception, e:
     print e
    for url in new_urls:
     self.manager.add_new_url(url)
    #將已經(jīng)爬取過的這個url添加至老url倉庫中
    self.manager.add_old_url(new_url)
    #將返回的數(shù)據(jù)存儲至文件
     self.output.store_data(data)
     print "store data succefully"
    print "第{}個鏈接已經(jīng)抓取完成".format(self.manager.old_url_size())
   except Exception, e:
    print e
  #爬取循環(huán)結(jié)束的時候?qū)⒋鎯Φ臄?shù)據(jù)輸出至文件
  self.output.output_html()

關(guān)于如何正確的使用python爬蟲調(diào)度器就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。