用代碼解析Python爬蟲獲取頁面所有URL鏈接過程

發(fā)布時間：2020-07-18 14:31:09 來源：億速云閱讀：351 作者：小豬欄目：開發(fā)技術(shù)

小編這次要給大家分享的是用代碼解析Python爬蟲獲取頁面所有URL鏈接過程，文章內(nèi)容豐富，感興趣的小伙伴可以來了解一下，希望大家閱讀完這篇文章之后能夠有所收獲。

如何獲取一個頁面內(nèi)所有URL鏈接？在Python中可以使用urllib對網(wǎng)頁進(jìn)行爬取，然后利用Beautiful Soup對爬取的頁面進(jìn)行解析，提取出所有的URL。

什么是Beautiful Soup？

Beautiful Soup提供一些簡單的、python式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因為簡單，所以不需要多少代碼就可以寫出一個完整的應(yīng)用程序。

Beautiful Soup自動將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。你不需要考慮編碼方式，除非文檔沒有指定一個編碼方式，這時，Beautiful Soup就不能自動識別編碼方式了。

BeautifulSoup支持Python標(biāo)準(zhǔn)庫中的HTML解析器,還支持一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python默認(rèn)的解析器，lxml 解析器更加強(qiáng)大，速度更快。

全部代碼：

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
 websiteurl=url
 t=time.time()
 n=0
 html=urllib2.urlopen(websiteurl).read()
 soup=BeautifulSoup(html)
 pageurls=[]
 Upageurls={}
 pageurls=soup.find_all("a",href=True)
 for links in pageurls:
  if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
   Upageurls[links.get("href")]=0
 for links in Upageurls.keys():
  try:
   urllib2.urlopen(links).getcode()
  except:
   print "connect failed"
  else:
   t2=time.time()
   Upageurls[links]=urllib2.urlopen(links).getcode()
   print n,
   print links,
   print Upageurls[links]
   t1=time.time()
   print t1-t2
  n+=1
 print ("total is "+repr(n)+" links")
 print time.time()-t
scanpage(http://news.163.com/)

利用BeautifulSoup還可以有針對性的獲取網(wǎng)頁鏈接：Python爬蟲獲取網(wǎng)頁上的鏈接，通過beautifulsoup的findall()方法對匹配的標(biāo)簽進(jìn)行查找。

看完這篇關(guān)于用代碼解析Python爬蟲獲取頁面所有URL鏈接過程的文章，如果覺得文章內(nèi)容寫得不錯的話，可以把它分享出去給更多人看到。

向AI問一下細(xì)節(jié)

用代碼解析Python爬蟲獲取頁面所有URL鏈接過程

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽