url下載器如何在python爬蟲(chóng)中使用

本篇文章為大家展示了url下載器如何在python爬蟲(chóng)中使用，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

下載器的作用就是接受URL管理器傳遞給它的一個(gè)url，然后把該網(wǎng)頁(yè)的內(nèi)容下載下來(lái)。python自帶有urllib和urllib2等庫(kù)（這兩個(gè)庫(kù)在python3中合并為urllib），它們的作用就是獲取指定的網(wǎng)頁(yè)內(nèi)容。不過(guò)，在這里我們要使用一個(gè)更加簡(jiǎn)潔好用而且功能更加強(qiáng)大的模塊：Requests。

Requests并非python自帶模塊，需要安裝。關(guān)于其具體使用方法請(qǐng)查看以往文章，在此不多做介紹。

下載器接受一個(gè)url作為參數(shù)，返回值為下載到的網(wǎng)頁(yè)內(nèi)容（格式為str）。下面就是一個(gè)簡(jiǎn)單的下載器，其中只有一個(gè)簡(jiǎn)單的函數(shù)download()：

'''
-----------------------------------------------------------------
HtmlDownloader
'''
class HtmlDownloader(object):
  def download(self, url):
    print "start download"
    if url is None:
      return None
      print "url is None"
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
    headers = {'User-Agent':user_agent}
    print "start requests"
    r = requests.get(url, headers=headers)
    #判斷響應(yīng)狀態(tài)
    if r.status_code == 200:
      r.encoding = 'utf-8'
      print "該頁(yè)面下載成功！{}".format(url)
      return r.text
    else:
      print "該頁(yè)面下載失??！{}".format(url)
    return None

在requests請(qǐng)求中設(shè)置User-Agent的目的是偽裝成瀏覽器，這是一只優(yōu)秀的爬蟲(chóng)應(yīng)該有的覺(jué)悟。

有些小伙伴已經(jīng)猜出來(lái)了，requests庫(kù)和我們的爬取數(shù)據(jù)密不可分，搭配著url下載器我們就可以成功抓取想要的數(shù)據(jù)了

知識(shí)點(diǎn)擴(kuò)展：

url下載器

• URL下載器應(yīng)該包含兩個(gè)倉(cāng)庫(kù)，分別存放沒(méi)有爬取過(guò)的鏈接和已經(jīng)爬取過(guò)的鏈接。

• 應(yīng)該有一些函數(shù)負(fù)責(zé)往上述兩個(gè)倉(cāng)庫(kù)里添加鏈接

• 應(yīng)該有一個(gè)函數(shù)負(fù)責(zé)從新url倉(cāng)庫(kù)中隨機(jī)取出一條鏈接以便下載器爬取

• URL下載器應(yīng)該能識(shí)別重復(fù)的鏈接，已經(jīng)爬取過(guò)的鏈接就不需要放進(jìn)倉(cāng)庫(kù)了

上述內(nèi)容就是url下載器如何在python爬蟲(chóng)中使用，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。