urllib和BeautifulSoup爬取維基百科的詞條簡單實(shí)例

發(fā)布時(shí)間：2020-08-19 15:41:58 來源：腳本之家閱讀：299 作者：powerpoint_2016 欄目：開發(fā)技術(shù)

本文實(shí)例主要實(shí)現(xiàn)的是使用urllib和BeautifulSoup爬取維基百科的詞條，具體如下。

簡潔代碼：

#引入開發(fā)包
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
#請求URL并把結(jié)果用UTF-8編碼
resp=urlopen("https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5").read().decode("utf-8")
#使用BeautifulSoup去解析
soup=BeautifulSoup(resp,"html.parser")
#print(soup)
#獲取所有以/wiki/開頭的a標(biāo)簽的href屬性
listUrl=soup.findAll("a",href=re.compile("^/wiki/"))
#輸出所有詞條對應(yīng)的名稱和URL
for link in listUrl:
  if not re.search("\.(jpg|JPG)$",link["href"]):
    print(link.get_text(),"<----->","https://zh.wikipedia.org"+link["href"])

運(yùn)行結(jié)果：

urllib和BeautifulSoup爬取維基百科的詞條簡單實(shí)例

總結(jié)

總的來說，Python是簡潔而又強(qiáng)大的，調(diào)用幾個(gè)庫，就能實(shí)現(xiàn)其他語言一大堆代碼才能實(shí)現(xiàn)的功能。

以上就是本文關(guān)于urllib和BeautifulSoup爬取維基百科的詞條簡單實(shí)例的全部內(nèi)容，希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題，如有不足之處，歡迎留言指出。感謝朋友們對本站的支持！

向AI問一下細(xì)節(jié)

urllib和BeautifulSoup爬取維基百科的詞條簡單實(shí)例

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽