Python中Lxml與Xpath解析庫如何使用

本篇文章給大家分享的是有關(guān)Python中Lxml與Xpath解析庫如何使用，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

一、xpath 概念、xpath節(jié)點、xpath語法、xpath軸、xpath運算符

二、lxml的安裝、lxml的使用、lxml案例

一、xpath

1.xpath概念

XPath 是一門在 XML 文檔中查找信息的語言。XPath 使用路徑表達式在 XML 文檔中進行導航 。XPath 包含一個標準函數(shù)庫 。XPath  是 XSLT 中的主要元素 。XPath 是一個 W3C 標準 。

2.xpath節(jié)點

xpath有七種類型的節(jié)點：元素、屬性、文本、命名空間、處理指令、注釋以及文檔(根)節(jié)點。

節(jié)點關(guān)系：父、子、兄弟、先輩、后輩。

3.xpath語法

xpath語法在W3c網(wǎng)站上有詳細的介紹，這里截取部分知識，供大家學習。

XPath 使用路徑表達式在 XML 文檔中選取節(jié)點。節(jié)點是通過沿著路徑或者 step 來選取的。下面列出了最有用的路徑表達式：

在下面的表格中，我們已列出了一些路徑表達式以及表達式的結(jié)果：

謂語(Predicates)

謂語用來查找某個特定的節(jié)點或者包含某個指定的值的節(jié)點。

謂語被嵌在方括號中。

在下面的表格中，我們列出了帶有謂語的一些路徑表達式，以及表達式的結(jié)果：

選取未知節(jié)點

XPath 通配符可用來選取未知的 XML 元素。

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結(jié)果：

選取若干路徑

通過在路徑表達式中使用"|"運算符，您可以選取若干個路徑。

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結(jié)果：

4.xpath 軸

軸可定義相對于當前節(jié)點的節(jié)點集。

5.xpath運算符

下面列出了可用在 XPath 表達式中的運算符：

好了，xpath的內(nèi)容就這么多了。接下來我們要介紹一個神器lxml，他的速度很快，曾經(jīng)一直是我使用beautifulsoup時最鐘愛的解析器，沒有之一，因為他的速度的確比其他的html.parser  和html5lib快了許多。

二、lxml

1.lxml安裝

lxml 是一個xpath格式解析模塊，安裝很方便，直接pip install lxml 或者easy_install lxml即可。

2.lxml 使用

lxml提供了兩種解析網(wǎng)頁的方式，一種是你解析自己寫的離線網(wǎng)頁時，另一種 則是解析線上網(wǎng)頁。

導入包：

from lxml import  etree

1.解析離線網(wǎng)頁：

html=etree.parse('xx.html',etree.HTMLParser()) aa=html.xpath('//*[@id="s_xmancard_news"]/div/div[2]/div/div[1]/h3/a[1]/@href') print(aa)

2.解析在線網(wǎng)頁：

from lxml import etree import requests rep=requests.get('https://www.baidu.com') html=etree.HTML(rep.text) aa=html.xpath('//*[@id="s_xmancard_news"]/div/div[2]/div/div[1]/h3/a[1]/@href') print(aa)

那么我們怎么獲取這些標簽和標簽對應的屬性值了，很簡單，首先獲取標簽只需你這樣做：

然后我們可以，比方說，你要獲取a標簽內(nèi)的文本和它的屬性href所對應的值，有兩種方法，

1.表達式內(nèi)獲取

aa=html.xpath('//*[@id="s_xmancard_news"]/div/div[2]/div/div[1]/h3/a[1]/text()')  ab=html.xpath('//*[@id="s_xmancard_news"]/div/div[2]/div/div[1]/h3/a[1]/@href')

2.表達式外獲取

aa=html.xpath('//*[@id="s_xmancard_news"]/div/div[2]/div/div[1]/h3/a[1]')  aa.text  aa.attrib.get('href')

這樣就完成了獲取，怎么樣，是不是很簡單了，哈哈哈。

下面再來lxml的解析規(guī)則：

html = lxml.etree.HTML(text) #使用text構(gòu)造一個XPath解析對象,etree模塊可以自動修正HTML文本 html = lxml.etree.parse('./ex.html',etree.HTMLParser()) #直接讀取文本進行解析 from lxml import etree result = html.xpath('//*') #選取所有節(jié)點 result = html.xpath('//li') #獲取所有l(wèi)i節(jié)點 result = html.xpath('//li/a') #獲取所有l(wèi)i節(jié)點的直接a子節(jié)點 result = html.xpath('//li//a') #獲取所有l(wèi)i節(jié)點的所有a子孫節(jié)點 result = html.xpath('//a[@href="link.html"]/../@class') #獲取所有href屬性為link.html的a節(jié)點的父節(jié)點的class屬性 result = html.xpath('//li[@class="ni"]') #獲取所有class屬性為ni的li節(jié)點 result = html.xpath('//li/text()') #獲取所有l(wèi)i節(jié)點的文本 result = html.xpath('//li/a/@href') #獲取所有l(wèi)i節(jié)點的a節(jié)點的href屬性 result = html.xpath('//li[contains(@class,"li")]/a/text()) #當li的class屬性有多個值時，需用contains函數(shù)完成匹配 result = html.xpath('//li[contains(@class,"li") and @name="item"]/a/text()') #多屬性匹配 result = html.xpath('//li[1]/a/text()') result = html.xpath('//li[last()]/a/text()') result = html.xpath('//li[position()<3]/a/text()') result = html.xpath('//li[last()-2]/a/text()') #按序選擇，中括號內(nèi)為XPath提供的函數(shù) result = html.xpath('//li[1]/ancestor::*') #獲取祖先節(jié)點 result = html.xpath('//li[1]/ancestor::div') result = html.xpath('//li[1]/attribute::*') #獲取屬性值 result = html.xpath('//li[1]/child::a[@href="link1.html"]') #獲取直接子節(jié)點 result = html.xpath('//li[1]/descendant::span') #獲取所有子孫節(jié)點 result = html.xpath('//li[1]/following::*[2]') #獲取當前節(jié)點之后的所有節(jié)點的第二個 result = html.xpath('//li[1]/following-sibling::*') #獲取后續(xù)所有同級節(jié)點

3.lxml案例

以上就是Python中Lxml與Xpath解析庫如何使用，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。