Python實(shí)現(xiàn)爬蟲的方法有哪些

這篇文章主要介紹了Python實(shí)現(xiàn)爬蟲的方法有哪些，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

首頁外觀如下：

比如說我們想抓取每個(gè)新聞的標(biāo)題和鏈接，并將其組合為一個(gè)字典的結(jié)構(gòu)打印出來。首先查看 HTML 源碼確定新聞標(biāo)題信息組織形式。

可以目標(biāo)信息存在于 em 標(biāo)簽下  a 標(biāo)簽內(nèi)的文本和  href 屬性中。可直接利用  requests 庫構(gòu)造請求，并用  BeautifulSoup 或者  lxml 進(jìn)行解析。

方式一： requests +  BeautifulSoup +  select css選擇器

 # select method
 import requests
 from bs4 import BeautifulSoup
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'} 
 url = 'http://news.qq.com/' 
 Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
 em = Soup.select('em[class="f14 l24"] a')
 for i in em:
   title = i.get_text()
   link = i['href']
   print({'標(biāo)題': title, 
 '鏈接': link
   })

很常規(guī)的處理方式，抓取效果如下：

方式二： requests +  BeautifulSoup +  find_all 進(jìn)行信息提取

 # find_all method
 import requests
 from bs4 import BeautifulSoup
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml') 
 em = Soup.find_all('em', attrs={'class': 'f14 l24'})for i in em:
   title = i.a.get_text()
   link = i.a['href']
   print({'標(biāo)題': title,
      '鏈接': link
   })

同樣是 requests +  BeautifulSoup 的爬蟲組合，但在信息提取上采用了  find_all 的方式。效果如下：

方式三： requests +  lxml/etree +  xpath 表達(dá)式

 # lxml/etree method
 import requests
 from lxml import etree 
 headers = {  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 html = requests.get(url = url, headers = headers)
 con = etree.HTML(html.text)
 title = con.xpath('//em[@class="f14 l24"]/a/text()')
 link = con.xpath('//em[@class="f14 l24"]/a/@href')
 for i in zip(title, link):
   print({'標(biāo)題': i[0],
 '鏈接': i[1]
   })

使用 lxml 庫下的  etree 模塊進(jìn)行解析，然后使用  xpath 表達(dá)式進(jìn)行信息提取，效率要略高于  BeautifulSoup +  select 方法。這里對兩個(gè)列表的組合采用了  zip 方法。python學(xué)習(xí)交流群：125240963效果如下：

方式四： requests +  lxml/html/fromstring +  xpath 表達(dá)式

 # lxml/html/fromstring method
 import requests
 import lxml.html as HTML 
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 con = HTML.fromstring(requests.get(url = url, headers = headers).text)
 title = con.xpath('//em[@class="f14 l24"]/a/text()')
 link = con.xpath('//em[@class="f14 l24"]/a/@href')
 for i in zip(title, link):
   print({'標(biāo)題': i[0],'鏈接': i[1]
   })

跟方法三類似，只是在解析上使用了 lxml 庫下的  html.fromstring 模塊。抓取效果如下：

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Python實(shí)現(xiàn)爬蟲的方法有哪些”這篇文章對大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!