利用lxml從網(wǎng)頁HTML/XML中提取數(shù)據(jù)

今天就跟大家聊聊有關(guān)利用lxml從網(wǎng)頁HTML/XML中提取數(shù)據(jù)，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

Python 的 lxml 模塊是一個(gè)非常好用且性能高的HTML、XML解析工具，通過它解析網(wǎng)頁，爬蟲就可以輕松的從網(wǎng)頁中提取想要的數(shù)據(jù)。lxml是基于C語言的libxml2和libxslt庫開發(fā)的，所以速度是相當(dāng)?shù)目臁?br/>

使用lxml提取網(wǎng)頁數(shù)據(jù)的流程

要從網(wǎng)頁里面提取數(shù)據(jù)，使用lxml需要兩步：

第一步，用lxml把網(wǎng)頁（或xml）解析成一個(gè)DOM樹。這個(gè)過程，我們可以選擇etree、etree.HTML 和 lxml.html 這三種來實(shí)現(xiàn)，它們基本類似但又有些許差別，后面我們會(huì)詳細(xì)講到。

第二步，使用xpath遍歷這棵DOM 樹，找到你想要的數(shù)據(jù)所在的節(jié)點(diǎn)并提取。這一步要求我們對(duì)xpath規(guī)則比較熟練，xpath規(guī)則很多，但別怕，我來總結(jié)一些常用的套路。

生成DOM樹

上面我們說了，可以有三種方法來把網(wǎng)頁解析成DOM樹，有選擇困難癥的同學(xué)要犯難了，選擇那種好呢？別急，我們逐一探究一下。下面我通過實(shí)例來解析一下下面這段html代碼：

<div class="1">
    <p class="p_1 item">item_1</p>
    <p class="p_2 item">item_2</p>
</div>
<div class="2">
    <p id="p3"><a href="/go-p3">item_3</a></p>
</div>

使用etree.fromstring()函數(shù)

先看看這個(gè)函數(shù)的說明(docstring)：

In [3]: etree.fromstring?
Signature:      etree.fromstring(text, parser=None, *, base_url=None)
Call signature: etree.fromstring(*args, **kwargs)
Type:           cython_function_or_method
String form:    <cyfunction fromstring at 0x7fe538822df0>
Docstring:
fromstring(text, parser=None, base_url=None)

Parses an XML document or fragment from a string.  Returns the
root node (or the result returned by a parser target).

To override the default parser with a different parser you can pass it to
the ``parser`` keyword argument.

The ``base_url`` keyword argument allows to set the original base URL of
the document to support relative Paths when looking up external entities
(DTD, XInclude, ...).

這個(gè)函數(shù)就是把輸入的html解析成一棵DOM樹，并返回根節(jié)點(diǎn)。它對(duì)輸入的字符串text有什么要求嗎？首先，必須是合法的html字符串，然后我們看看下面的例子：

In [19]: html = ''' 
...: <div class="1"> 
...:     <p class="p_1 item">item_1</p> 
...:     <p class="p_2 item">item_2</p> 
...: </div> 
...: <div class="2"> 
...:     <p id="p3"><a href="/go-p3">item_3</a></p> 
...: </div> 
...: '''

In [20]: etree.fromstring(html)
Traceback (most recent call last):

    File "/home/veelion/.virtualenvs/py3.6/lib/python3.6/site-packages/IPython/core/interactiveshell.py", 
    line 3267, in run_code
exec(code_obj, self.user_global_ns, self.user_ns)

    File "<ipython-input-20-aea2e2c2317e>", line 1, in <module>
etree.fromstring(html)

    File "src/lxml/etree.pyx", line 3213, in lxml.etree.fromstring

    File "src/lxml/parser.pxi", line 1877, in lxml.etree._parseMemoryDocument

    File "src/lxml/parser.pxi", line 1758, in lxml.etree._parseDoc

    File "src/lxml/parser.pxi", line 1068, in lxml.etree._BaseParser._parseUnicodeDoc

    File "src/lxml/parser.pxi", line 601, in lxml.etree._ParserContext._handleParseResultDoc

    File "src/lxml/parser.pxi", line 711, in lxml.etree._handleParseResult

    File "src/lxml/parser.pxi", line 640, in lxml.etree._raiseParseError

    File "<string>", line 6
    XMLSyntaxError: Extra content at the end of the document, line 6, column 1

竟然報(bào)錯(cuò)了！究其原因，我們的html是兩個(gè)并列的<div>標(biāo)簽，沒有一個(gè)單獨(dú)的root節(jié)點(diǎn)。那么給這個(gè)html再加一個(gè)最外層的<div>標(biāo)簽?zāi)兀?/p>

In [22]: etree.fromstring('<div>' + html + '</div>')
Out[22]: <Element div at 0x7fe53aa978c8>

這樣就可以了，返回了root節(jié)點(diǎn)，它是一個(gè)Element對(duì)象，tag是div。

總結(jié)一下，etree.fromstring()需要最外層是一個(gè)單獨(dú)的節(jié)點(diǎn)，否則會(huì)出錯(cuò)。這個(gè)方法也適用于生成 XML 的DOM樹。

使用etree.HTML()函數(shù)

這個(gè)函數(shù)更像是針對(duì) HTML 的，看看它的docstring：

In [23]: etree.HTML?
Signature:      etree.HTML(text, parser=None, *, base_url=None)
Call signature: etree.HTML(*args, **kwargs)
Type:           cython_function_or_method
String form:    <cyfunction HTML at 0x7fe538822c80>
Docstring:     
HTML(text, parser=None, base_url=None)

Parses an HTML document from a string constant.  Returns the root
node (or the result returned by a parser target).  This function
can be used to embed "HTML literals" in Python code.

To override the parser with a different ``HTMLParser`` you can pass it to
the ``parser`` keyword argument.

The ``base_url`` keyword argument allows to set the original base URL of
the document to support relative Paths when looking up external entities
(DTD, XInclude, ...).

接口參數(shù)跟etree.fromstring()一模一樣，實(shí)操一下：

In [24]: etree.HTML(html)
Out[24]: <Element html at 0x7fe53ab03748>

輸入兩個(gè)并列節(jié)點(diǎn)的html也沒有問題。等等，返回的root節(jié)點(diǎn)對(duì)象Element的標(biāo)簽是html？把它用etree.tostring()還原成html代碼看看：

In [26]: print(etree.tostring(etree.HTML(html)).decode())
<html><body><div class="1">
    <p class="p_1 item">item_1</p>
    <p class="p_2 item">item_2</p>
</div>
<div class="2">
    <p id="p3"><a href="/go-p3">item_3</a></p>
</div>
</body></html>

In [27]: print(html)

<div class="1">
    <p class="p_1 item">item_1</p>
    <p class="p_2 item">item_2</p>
</div>
<div class="2">
    <p id="p3"><a href="/go-p3">item_3</a></p>
</div>

也就是說，etree.HTML()函數(shù)會(huì)補(bǔ)全html代碼片段，給它們加上<html>和<body>標(biāo)簽。

使用lxml.html函數(shù)

lxml.html是lxml的子模塊，它是對(duì)etree的封裝，更適合解析html網(wǎng)頁。用這個(gè)子模塊生成DOM樹的方法有多個(gè)：
lxml.html.document_fromstring()
lxml.html.fragment_fromstring()
lxml.html.fragments_fromstring()
lxml.html.fromstring()

它們的docstring可以在ipython里面查一下，這里就不再列舉。通常，我們解析網(wǎng)頁用最后一個(gè)fromstring()即可。這個(gè)fromstring()函數(shù)也會(huì)給我們的樣例html代碼最頂層的兩個(gè)并列節(jié)點(diǎn)加一個(gè)父節(jié)點(diǎn)div。

上面三種方法介紹完，相信你自己已經(jīng)有了選擇，那必須是lxml.html。

因?yàn)樗槍?duì)html做了封裝，所以也多了寫特有的方法:

比如我們要獲得某個(gè)節(jié)點(diǎn)下包含所有子節(jié)點(diǎn)的文本內(nèi)容時(shí)，通過etree得到的節(jié)點(diǎn)沒辦法，它的每個(gè)節(jié)點(diǎn)有個(gè)text屬性只是該節(jié)點(diǎn)的，不包括子節(jié)點(diǎn)，必須要自己遍歷獲得子節(jié)點(diǎn)的文本。而lxml.html有一個(gè)text_content()方法可以方便的獲取某節(jié)點(diǎn)內(nèi)包含的所有文本。

再比如，好多網(wǎng)頁的鏈接寫的都是相對(duì)路徑而不是完整url：<a href="/index.html">，我們提取鏈接后還要自己手動(dòng)拼接成完整的url。這個(gè)時(shí)候可以用lxml.html提供的make_links_absolute()方法，這個(gè)方法是節(jié)點(diǎn)對(duì)象Element的方法，etree的Element對(duì)象卻沒有。

使用xpath提取數(shù)據(jù)

我們還以下面這段html代碼為例，來看看如何定位節(jié)點(diǎn)提取數(shù)據(jù)。

<div class="1">
    <p class="p_1 item">item_1</p>
    <p class="p_2 item">item_2</p>
</div>
<div class="2">
    <p id="p3"><a href="/go-p3">item_3</a></p>
</div>

首先導(dǎo)入lxml.html模塊，生成DOM樹：

In [50]: import lxml.html as lh

In [51]: doc = lh.fromstring(html)

(1)通過標(biāo)簽屬性定位節(jié)點(diǎn)
比如我們要獲取<div class="2">這節(jié)點(diǎn)：

In [52]: doc.xpath('//div[@class="2"]')
Out[52]: [<Element div at 0x7fe53a492ea8>]

In [53]: print(lh.tostring(doc.xpath('//div[@class="2"]')[0]).decode())
<div class="2">
    <p id="p3"><a href="/go-p3">item_3</a></p>
</div>

(2)contains語法
html中有兩個(gè)<p>標(biāo)簽的class含有item，如果我們要提取這兩個(gè)<p>標(biāo)簽，則：

In [54]: doc.xpath('//p[contains(@class, "item")]')
Out[54]: [<Element p at 0x7fe53a6a3ea8>, <Element p at 0x7fe53a6a3048>]

## 獲取<p>的文本：
In [55]: doc.xpath('//p[contains(@class, "item")]/text()')
Out[55]: ['item_1', 'item_2']

(3)starts-with語法
跟（2）一樣的提取需求，兩個(gè)<p>標(biāo)簽的class都是以p_開頭的，所以：

In [60]: doc.xpath('//p[starts-with(@class, "p_")]')
Out[60]: [<Element p at 0x7fe53a6a3ea8>, <Element p at 0x7fe53a6a3048>]

## 獲取<p>的文本：
In [61]: doc.xpath('//p[starts-with(@class, "p_")]/text()')
Out[61]: ['item_1', 'item_2']

(4)獲取某一屬性的值
比如，我們想提取網(wǎng)頁中所有的鏈接：

In [63]: doc.xpath('//@href')
Out[63]: ['/go-p3']

看完上述內(nèi)容，你們對(duì)利用lxml從網(wǎng)頁HTML/XML中提取數(shù)據(jù)有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。