怎么使用Python爬蟲庫BeautifulSoup遍歷文檔樹并對標(biāo)簽進(jìn)行操作

發(fā)布時(shí)間：2021-04-25 14:16:28 來源：億速云閱讀：183 作者：小新欄目：開發(fā)技術(shù)

這篇文章主要介紹怎么使用Python爬蟲庫BeautifulSoup遍歷文檔樹并對標(biāo)簽進(jìn)行操作，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

python是什么意思

Python是一種跨平臺的、具有解釋性、編譯性、互動性和面向?qū)ο蟮哪_本語言，其最初的設(shè)計(jì)是用于編寫自動化腳本，隨著版本的不斷更新和新功能的添加，常用于用于開發(fā)獨(dú)立的項(xiàng)目和大型項(xiàng)目。

使用Python爬蟲庫BeautifulSoup對文檔樹進(jìn)行遍歷并對標(biāo)簽進(jìn)行操作的實(shí)例

html_doc = """
<html><head><title>The Dormouse's story</title></head>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc,'lxml')

一、子節(jié)點(diǎn)

一個(gè)Tag可能包含多個(gè)字符串或者其他Tag，這些都是這個(gè)Tag的子節(jié)點(diǎn).BeautifulSoup提供了許多操作和遍歷子結(jié)點(diǎn)的屬性。

1.通過Tag的名字來獲得Tag

print(soup.head)
print(soup.title)

<head><title>The Dormouse's story</title></head>
<title>The Dormouse's story</title>

通過名字的方法只能獲得第一個(gè)Tag，如果要獲得所有的某種Tag可以使用find_all方法

soup.find_all('a')

[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1">Elsie</a>,
 <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>,
 <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>]

2.contents屬性：將Tag的子節(jié)點(diǎn)通過列表的方式返回

head_tag = soup.head
head_tag.contents

[<title>The Dormouse's story</title>]

title_tag = head_tag.contents[0]
title_tag

<title>The Dormouse's story</title>

title_tag.contents

["The Dormouse's story"]

3.children：通過該屬性對子節(jié)點(diǎn)進(jìn)行循環(huán)

for child in title_tag.children:
  print(child)

The Dormouse's story

4.descendants：不論是contents還是children都是返回直接子節(jié)點(diǎn)，而descendants對所有tag的子孫節(jié)點(diǎn)進(jìn)行遞歸循環(huán)

for child in head_tag.children:
  print(child)

<title>The Dormouse's story</title>

for child in head_tag.descendants:
  print(child)

<title>The Dormouse's story</title>
The Dormouse's story

5.string 如果tag只有一個(gè)NavigableString類型的子節(jié)點(diǎn)，那么tag可以使用.string得到該子節(jié)點(diǎn)

title_tag.string

"The Dormouse's story"

如果一個(gè)tag只有一個(gè)子節(jié)點(diǎn)，那么使用.string可以獲得其唯一子結(jié)點(diǎn)的NavigableString.

head_tag.string

"The Dormouse's story"

如果tag有多個(gè)子節(jié)點(diǎn)，tag無法確定.string對應(yīng)的是那個(gè)子結(jié)點(diǎn)的內(nèi)容，故返回None

print(soup.html.string)

None

6.strings和stripped_strings

如果tag包含多個(gè)字符串，可以使用.strings循環(huán)獲取

for string in soup.strings:
  print(string)

The Dormouse's story


The Dormouse's story


Once upon a time there were three little sisters; and their names were

Elsie
,

Lacie
 and

Tillie
;
and they lived at the bottom of a well.


...

.string輸出的內(nèi)容包含了許多空格和空行，使用strpped_strings去除這些空白內(nèi)容

for string in soup.stripped_strings:
  print(string)

The Dormouse's story
The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie
,
Lacie
and
Tillie
;
and they lived at the bottom of a well.
...

二、父節(jié)點(diǎn)

1.parent：獲得某個(gè)元素的父節(jié)點(diǎn)

title_tag = soup.title
title_tag.parent

<head><title>The Dormouse's story</title></head>

字符串也有父節(jié)點(diǎn)

title_tag.string.parent

<title>The Dormouse's story</title>

2.parents：遞歸的獲得所有父輩節(jié)點(diǎn)

link = soup.a
for parent in link.parents:
  if parent is None:
    print(parent)
  else:
    print(parent.name)

p
body
html
[document]

三、兄弟結(jié)點(diǎn)

sibling_soup = BeautifulSoup("<a><b>text1</b><c>text2</c></b></a>",'lxml')
print(sibling_soup.prettify())

<html>
 <body>
 <a>
  <b>
  text1
  </b>
  <c>
  text2
  </c>
 </a>
 </body>
</html>

1.next_sibling和previous_sibling

sibling_soup.b.next_sibling

<c>text2</c>

sibling_soup.c.previous_sibling

<b>text1</b>

在實(shí)際文檔中.next_sibling和previous_sibling通常是字符串或者空白符

soup.find_all('a')

[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1">Elsie</a>,
 <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>,
 <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>]

soup.a.next_sibling # 第一個(gè)<a></a>的next_sibling是,\n

',\n'

soup.a.next_sibling.next_sibling

<a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>

2.next_siblings和previous_siblings

for sibling in soup.a.next_siblings:
  print(repr(sibling))

',\n'
<a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>
' and\n'
<a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>
';\nand they lived at the bottom of a well.'

for sibling in soup.find(id="link3").previous_siblings:
  print(repr(sibling))

' and\n'
<a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>
',\n'
<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1">Elsie</a>
'Once upon a time there were three little sisters; and their names were\n'

四、回退與前進(jìn)

1.next_element和previous_element

指向下一個(gè)或者前一個(gè)被解析的對象(字符串或tag)，即深度優(yōu)先遍歷的后序節(jié)點(diǎn)和前序節(jié)點(diǎn)

last_a_tag = soup.find("a", id="link3")
print(last_a_tag.next_sibling)
print(last_a_tag.next_element)

;
and they lived at the bottom of a well.
Tillie

last_a_tag.previous_element

' and\n'

2.next_elements和previous_elements

通過.next_elements和previous_elements可以向前或向后訪問文檔的解析內(nèi)容，就好像文檔正在被解析一樣

for element in last_a_tag.next_elements:
  print(repr(element))

'Tillie'
';\nand they lived at the bottom of a well.'
'\n'
<p class="story">...</p>
'...'
'\n'

以上是“怎么使用Python爬蟲庫BeautifulSoup遍歷文檔樹并對標(biāo)簽進(jìn)行操作”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問一下細(xì)節(jié)

怎么使用Python爬蟲庫BeautifulSoup遍歷文檔樹并對標(biāo)簽進(jìn)行操作

python是什么意思

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽