溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

python網(wǎng)頁解析器掌握第三方lxml擴(kuò)展庫與xpath的使用示例

發(fā)布時間：2021-04-07 09:32:51 來源：億速云 閱讀：137 作者：小新 欄目：開發(fā)技術(shù)

這篇文章將為大家詳細(xì)講解有關(guān)python網(wǎng)頁解析器掌握第三方lxml擴(kuò)展庫與xpath的使用示例，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

1、導(dǎo)入 lxml 擴(kuò)展庫、并創(chuàng)建對象

# -*- coding: UTF-8 -*-

# 從 lxml 導(dǎo)入 etree
from lxml import etree

# 首先獲取到網(wǎng)頁下載器已經(jīng)下載到的網(wǎng)頁源代碼
# 這里直接取官方的案例
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

# 初始化網(wǎng)頁下載器的 html_doc 字符串,返回一個 lxml 的對象
html = etree.HTML(html_doc)

2、使用 xpath 語法提取網(wǎng)頁元素

按照節(jié)點的方式獲取元素

# xpath() 使用標(biāo)簽節(jié)點的方式獲取元素
print html.xpath('/html/body/p')
# [<Element p at 0x2ebc908>, <Element p at 0x2ebc8c8>, <Element p at 0x2eb9a48>]
print html.xpath('/html')
# [<Element html at 0x34bc948>]
# 在當(dāng)前節(jié)點的子孫節(jié)點中查找 a 節(jié)點
print html.xpath('//a')
# 在當(dāng)前節(jié)點的子節(jié)點中查找 html 節(jié)點
print html.xpath('/html')

按照篩選的方式獲取元素

'''
根據(jù)單一屬性獲取元素
'''
# 獲取子孫節(jié)點中,屬性 class=bro 的 a 標(biāo)簽
print html.xpath('//a[@class="bro"]')

# 獲取子孫節(jié)點中,屬性 id=link3 的 a 標(biāo)簽
print html.xpath('//a[@id="link3"]')

'''
根據(jù)多個屬性獲取元素
'''
# 獲取class屬性等于sister，并且id等于link3的a標(biāo)簽
print html.xpath('//a[contains(@class,"sister") and contains(@id,"link1")]')

# 獲取class屬性等于bro，或者id等于link1的a標(biāo)簽
print html.xpath('//a[contains(@class,"bro") or contains(@id,"link1")]')

# 使用 last() 函數(shù)，獲取子孫代的a標(biāo)簽的最后一個a標(biāo)簽
print html.xpath('//a[last()]')
# 使用 1 函數(shù)，獲取子孫代的a標(biāo)簽的第一個a標(biāo)簽
print html.xpath('//a[1]')
# 標(biāo)簽篩選，position()獲取子孫代的a標(biāo)簽的前兩個a標(biāo)簽
print html.xpath('//a[position() < 3]')

'''
使用計算的方式，獲取多個元素
'''
# 標(biāo)簽篩選，position()獲取子孫代的a標(biāo)簽的第一個與第三個標(biāo)簽
# 可以使用的計算表達(dá)式：>、<、=、>=、<=、+、-、and、or
print html.xpath('//a[position() = 1 or position() = 3]')

獲取元素的屬性與文本

'''
使用@獲取屬性值，使用text() 獲取標(biāo)簽文本
'''
# 獲取屬性值
print html.xpath('//a[position() = 1]/@class')
# ['sister']
# 獲取標(biāo)簽的文本值
print html.xpath('//a[position() = 1]/text()')

關(guān)于“python網(wǎng)頁解析器掌握第三方lxml擴(kuò)展庫與xpath的使用示例”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手