溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了python如何使用Beautifulsoup模塊，內(nèi)容簡而易懂，希望大家可以學(xué)習(xí)一下，學(xué)習(xí)完之后肯定會有收獲的，下面讓小編帶大家一起來看看吧。
什么是beautifulsoup:
Beautiful Soup 3 目前已經(jīng)停止開發(fā),我們推薦在現(xiàn)在的項目中使用Beautiful Soup 4
beautifulsoup的版本：最新版是bs4
from bs4 import beautifulsoup
soup=beautifulsoup(解析內(nèi)容,解析器)
常用解析器：html.parser,lxml,xml,html5lib
有時候需要安裝安裝解析器：比如pip3 install lxml
BeautifulSoup默認支持Python的標(biāo)準HTML解析庫，但是它也支持一些第三方的解析庫：
解析器之間的區(qū)別 #此處摘自官方文檔
Beautiful Soup為不同的解析器提供了相同的接口,但解析器本身時有區(qū)別的.同一篇文檔被不同的解析器解析后可能會生成不同結(jié)構(gòu)的樹型文檔.區(qū)別最大的是HTML解析器和XML解析器,看下面片段被解析成HTML結(jié)構(gòu):
BeautifulSoup("<a><b /></a>") # <html><head></head><body><a><b></b></a></body></html>因為空標(biāo)簽<b />不符合HTML標(biāo)準,所以解析器把它解析成<b></b>
同樣的文檔使用XML解析如下(解析XML需要安裝lxml庫).注意,空標(biāo)簽<b />依然被保留,并且文檔前添加了XML頭,而不是被包含在<html>標(biāo)簽內(nèi):
BeautifulSoup("<a><b /></a>", "xml") # <?xml version="1.0" encoding="utf-8"?> # <a><b/></a>HTML解析器之間也有區(qū)別,如果被解析的HTML文檔是標(biāo)準格式,那么解析器之間沒有任何差別,只是解析速度不同,結(jié)果都會返回正確的文檔樹.
但是如果被解析文檔不是標(biāo)準格式,那么不同的解析器返回結(jié)果可能不同.下面例子中,使用lxml解析錯誤格式的文檔,結(jié)果</p>標(biāo)簽被直接忽略掉了:
BeautifulSoup("<a></p>", "lxml") # <html><body><a></a></body></html>使用html5lib庫解析相同文檔會得到不同的結(jié)果:
BeautifulSoup("<a></p>", "html5lib") # <html><head></head><body><a><p></p></a></body></html>html5lib庫沒有忽略掉</p>標(biāo)簽,而是自動補全了標(biāo)簽,還給文檔樹添加了<head>標(biāo)簽.
使用pyhton內(nèi)置庫解析結(jié)果如下:
BeautifulSoup("<a></p>", "html.parser") # <a></a>與lxml [7] 庫類似的,Python內(nèi)置庫忽略掉了</p>標(biāo)簽,與html5lib庫不同的是標(biāo)準庫沒有嘗試創(chuàng)建符合標(biāo)準的文檔格式或?qū)⑽臋n片段包含在<body>標(biāo)簽內(nèi),與lxml不同的是標(biāo)準庫甚至連<html>標(biāo)簽都沒有嘗試去添加.
因為文檔片段“<a></p>”是錯誤格式,所以以上解析方式都能算作”正確”,html5lib庫使用的是HTML5的部分標(biāo)準,所以最接近”正確”.不過所有解析器的結(jié)構(gòu)都能夠被認為是”正?！钡?
不同的解析器可能影響代碼執(zhí)行結(jié)果,如果在分發(fā)給別人的代碼中使用了 BeautifulSoup ,那么最好注明使用了哪種解析器,以減少不必要的麻煩.
補充1：上面的篩選方式可以使用嵌套:
print(soup.p.a)#p標(biāo)簽下的a標(biāo)簽
補充2：以上的name,text,string,attrs等方法都可以使用在當(dāng)結(jié)果是一個bs4.element.Tag對象的時候:
from bs4 import BeautifulSoup
html = """
<html >
<head>
<meta charset="UTF-8">
<title>this is a title</title>
</head>
<body>
<p class="news">123</p>
<p class="contents" id="i1">456</p>
<a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a>
</body>
</html>
"""
soup = BeautifulSoup(html,'lxml')
print("獲取結(jié)點".center(50,'-'))
print(soup.head)#獲取head標(biāo)簽
print(soup.p)#返回第一個p標(biāo)簽
#獲取結(jié)點名
print("獲取結(jié)點名".center(50,'-'))
print(soup.head.name)
print(soup.find(id='i1').name)
#獲取文本內(nèi)容
print("獲取文本內(nèi)容".center(50,'-'))
print(soup.title.string)#返回title的內(nèi)容
print(soup.title.text)#返回title的內(nèi)容
print(soup.title.get_text())
#獲取屬性
print("-----獲取屬性-----")
print(soup.p.attrs)#以字典形式返回標(biāo)簽的內(nèi)容
print(soup.p.attrs['class'])#以列表形式返回標(biāo)簽的值
print(soup.p['class'])#以列表形式返回標(biāo)簽的值
print(soup.p.get('class'))
#############
t=soup.title
print(type(t))#<class 'bs4.element.Tag'>
print(t.name)#title
print(t.text)
#嵌套選擇:
print(soup.head.title.string)
補充3:與補充2一樣，上面的函數(shù)都可以使用在當(dāng)結(jié)果是一個bs4.element.Tag對象的時候。
from bs4 import BeautifulSoup
html = """
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<p class="news"><a >123456</a>
<a >78910</a>
</p><p class="contents" id="i1"></p>
<a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a>
<span>aspan</span>
</body>
</html>
"""
soup = BeautifulSoup(html, 'lxml')
#獲取子結(jié)點
print("獲取子結(jié)點".center(50,'-'))
print(soup.p.contents)
print("\n")
c=soup.p.children#返回的是一個可迭代對象
for i,child in enumerate(c):
print(i,child)
print("獲取子孫結(jié)點".center(50,'-'))
print(soup.p.descendants)
c2=soup.p.descendants
for i,child in enumerate(c2):
print(i,child)
print("獲取父結(jié)點".center(50,'-'))
c3=soup.title.parent
print(c3)
print("獲取父，祖先結(jié)點".center(50,'-'))
c4=soup.title.parents
print(c4)
for i,child in enumerate(c4):
print(i,child)
print("獲取兄弟結(jié)點".center(50,'-'))
print(soup.p.next_sibling)
print(soup.p.previous_sibling)
for i,child in enumerate(soup.p.next_siblings):
print(i,child,end='\t')
for i,child in enumerate(soup.p.previous_siblings):
print(i,child,end='\t')find_all( name , attrs , recursive , text , **kwargs ):【根據(jù)參數(shù)來找出對應(yīng)的標(biāo)簽,但只返回所有符合條件的結(jié)果】
篩選條件參數(shù)介紹：
name：為標(biāo)簽名,根據(jù)標(biāo)簽名來篩選標(biāo)簽
attrs:為屬性,，根據(jù)屬性鍵值對來篩選標(biāo)簽，賦值方式可以為:屬性名=值,attrs={屬性名:值}【但由于class是python關(guān)鍵字，需要使用class_】
text：為文本內(nèi)容，根據(jù)指定文本內(nèi)容來篩選出標(biāo)簽，【單獨使用text作為篩選條件，只會返回text，所以一般與其他條件配合使用】
recursive：指定篩選是否遞歸，當(dāng)為False時，不會在子結(jié)點的后代結(jié)點中查找，只會查找子結(jié)點
獲取到結(jié)點后的結(jié)果是一個bs4.element.Tag對象，所以對于獲取屬性、文本內(nèi)容、標(biāo)簽名等操作可以參考前面“使用標(biāo)簽篩選結(jié)果”時涉及的方法
from bs4 import BeautifulSoup
html = """
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<p class="news"><a >123456</a>
<a id='i2'>78910</a>
</p><p class="contents" id="i1"></p>
<a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a>
<span>aspan</span>
</body>
</html>
"""
soup = BeautifulSoup(html, 'lxml')
print("---------------------")
print(soup.find_all('a'),end='\n\n')
print(soup.find_all('a')[0])
print(soup.find_all(attrs={'id':'i1'}),end='\n\n')
print(soup.find_all(class_='news'),end='\n\n')
print(soup.find_all('a',text='123456'))#
print(soup.find_all(id='i2',recursive=False),end='\n\n')#
a=soup.find_all('a')
print(a[0].name)
print(a[0].text)
print(a[0].attrs)from bs4 import BeautifulSoup
html = """
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<p class="news"><a >123456</a>
<a id='i2'>78910</a>
</p><p class="contents" id="i1"></p>
<a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a>
<span class="span1" id='i4'>aspan</span>
</body>
</html>
"""
soup = BeautifulSoup(html, 'lxml')
sp1=soup.select('span')#返回結(jié)果是一個列表，列表的元素是bs4元素標(biāo)簽對象
print(soup.select("#i2"),end='\n\n')
print(soup.select(".news"),end='\n\n')
print(soup.select(".news #i2"),end='\n\n')
print(type(sp1),type(sp1[0]))
print(sp1[0].name)#列表里面的元素才是bs4元素標(biāo)簽對象
print(sp1[0].attrs)
print(sp1[0]['class'])補充4：
對于代碼不齊全的情況下，可以使用soup.prettify()來自動補全,一般情況下建議使用，以避免代碼不齊。
from bs4 import BeautifulSoup html = """ <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <p class="news"><a >123456</a> <a id='i2'>78910</a> </p><p class="contents" id="i1"></p> <a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a> <span class="span1" id='i4'>aspan </html> """ soup = BeautifulSoup(html, 'lxml') c=soup.prettify()#上述html字符串中末尾缺少</span> 和 </body> print(c)
以上就是關(guān)于python如何使用Beautifulsoup模塊的內(nèi)容，如果你們有學(xué)習(xí)到知識或者技能，可以把它分享出去讓更多的人看到。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼