溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

python如何提取html文本

發(fā)布時(shí)間：2022-02-21 15:33:30 來源：億速云 閱讀：356 作者：iii 欄目：開發(fā)技術(shù)

本篇內(nèi)容主要講解“python如何提取html文本”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“python如何提取html文本”吧!

假設(shè)我們需要從各種網(wǎng)頁中提取全文，并且要?jiǎng)冸x所有HTML標(biāo)記。通常，默認(rèn)解決方案是使用BeautifulSoup軟件包中的get_text方法，該方法內(nèi)部使用lxml。這是一個(gè)經(jīng)過充分測(cè)試的解決方案，但是在處理成千上萬個(gè)HTML文檔時(shí)可能會(huì)非常慢。
通過用selectolax替換BeautifulSoup，您幾乎可以免費(fèi)獲得5-30倍的加速！
這是一個(gè)簡(jiǎn)單的基準(zhǔn)測(cè)試，可分析commoncrawl(`處理NLP問題時(shí)，有時(shí)您需要獲得大量的文本集?；ヂ?lián)網(wǎng)是文本的最大來源，但是不幸的是，從任意HTML頁面提取文本是一項(xiàng)艱巨而痛苦的任務(wù)。
假設(shè)我們需要從各種網(wǎng)頁中提取全文，并且要?jiǎng)冸x所有HTML標(biāo)記。通常，默認(rèn)解決方案是使用BeautifulSoup軟件包中的get_text方法，該方法內(nèi)部使用lxml。這是一個(gè)經(jīng)過充分測(cè)試的解決方案，但是在處理成千上萬個(gè)HTML文檔時(shí)可能會(huì)非常慢。
通過用selectolax替換BeautifulSoup，您幾乎可以免費(fèi)獲得5-30倍的加速！這是一個(gè)簡(jiǎn)單的基準(zhǔn)測(cè)試，可分析commoncrawl的10,000個(gè)HTML頁面：

# coding: utf-8

from time import time

import warc
from bs4 import BeautifulSoup
from selectolax.parser import HTMLParser


def get_text_bs(html):
    tree = BeautifulSoup(html, 'lxml')

    body = tree.body
    if body is None:
        return None

    for tag in body.select('script'):
        tag.decompose()
    for tag in body.select('style'):
        tag.decompose()

    text = body.get_text(separator='
')
    return text


def get_text_selectolax(html):
    tree = HTMLParser(html)

    if tree.body is None:
        return None

    for tag in tree.css('script'):
        tag.decompose()
    for tag in tree.css('style'):
        tag.decompose()

    text = tree.body.text(separator='
')
    return text


def read_doc(record, parser=get_text_selectolax):
    url = record.url
    text = None

    if url:
        payload = record.payload.read()
        header, html = payload.split(b'

', maxsplit=1)
        html = html.strip()

        if len(html) > 0:
            text = parser(html)

    return url, text


def process_warc(file_name, parser, limit=10000):
    warc_file = warc.open(file_name, 'rb')
    t0 = time()
    n_documents = 0
    for i, record in enumerate(warc_file):
        url, doc = read_doc(record, parser)

        if not doc or not url:
            continue

        n_documents += 1

        if i > limit:
            break

    warc_file.close()
    print('Parser: %s' % parser.__name__)
    print('Parsing took %s seconds and produced %s documents
' % (time() - t0, n_documents))
>>> ! wget https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2018-05/segments/1516084886237.6/warc/CC-MAIN-20180116070444-20180116090444-00000.warc.gz
>>> file_name = "CC-MAIN-20180116070444-20180116090444-00000.warc.gz"
>>> process_warc(file_name, get_text_selectolax, 10000)
Parser: get_text_selectolax
Parsing took 16.170367002487183 seconds and produced 3317 documents
>>> process_warc(file_name, get_text_bs, 10000)
Parser: get_text_bs
Parsing took 432.6902508735657 seconds and produced 3283 documents

顯然，這并不是對(duì)某些事物進(jìn)行基準(zhǔn)測(cè)試的最佳方法，但是它提供了一個(gè)想法，即selectolax有時(shí)比lxml快30倍。
selectolax最適合將HTML剝離為純文本。如果我有10,000多個(gè)HTML片段，需要將它們作為純文本索引到Elasticsearch中。（Elasticsearch有一個(gè)html_strip文本過濾器，但這不是我想要/不需要在此上下文中使用的過濾器）。事實(shí)證明，以這種規(guī)模將HTML剝離為純文本實(shí)際上是非常低效的。那么，最有效的方法是什么？

  • PyQuery

from pyquery import PyQuery as pq

text = pq(html).text()

  • selectolax

from selectolax.parser import HTMLParser

text = HTMLParser(html).text()

  • 正則表達(dá)式

import re

regex = re.compile(r'<.*?>')
text = clean_regex.sub('', html)

結(jié)果

我編寫了一個(gè)腳本來計(jì)算時(shí)間，該腳本遍歷包含HTML片段的10,000個(gè)文件。注意！這些片段不是完整的<html>文檔（帶有<head>和<body>等），只是HTML的一小部分。平均大小為10,314字節(jié)（中位數(shù)為5138字節(jié)）。結(jié)果如下：

pyquery
  SUM:    18.61 seconds
  MEAN:   1.8633 ms
  MEDIAN: 1.0554 ms
selectolax
  SUM:    3.08 seconds
  MEAN:   0.3149 ms
  MEDIAN: 0.1621 ms
regex
  SUM:    1.64 seconds
  MEAN:   0.1613 ms
  MEDIAN: 0.0881 ms

我已經(jīng)運(yùn)行了很多次，結(jié)果非常穩(wěn)定。重點(diǎn)是：selectolax比PyQuery快7倍。

正則表達(dá)式好用？真的嗎？

對(duì)于最基本的HTML Blob，它可能工作得很好。實(shí)際上，如果HTML是<p> Foo＆amp; Bar </ p>，我希望純文本轉(zhuǎn)換應(yīng)該是Foo＆Bar，而不是Foo＆amp; bar。
更重要的一點(diǎn)是，PyQuery和selectolax支持非常特定但對(duì)我的用例很重要的內(nèi)容。在繼續(xù)之前，我需要?jiǎng)h除某些標(biāo)簽（及其內(nèi)容）。例如：

<h5 class="warning">This should get stripped.</h5>
<p>Please keep.</p>
<div >This should also get stripped.</div>

正則表達(dá)式永遠(yuǎn)無法做到這一點(diǎn)。

2.0 版本

因此，我的要求可能會(huì)發(fā)生變化，但基本上，我想刪除某些標(biāo)簽。例如：<div class =“ warning”>  、 <div class =“ hidden”> 和 <div style =“ display：none”>。因此，讓我們實(shí)現(xiàn)一下：

  • PyQuery

from pyquery import PyQuery as pq

_display_none_regex = re.compile(r'display:s*none')

doc = pq(html)
doc.remove('div.warning, div.hidden')
for div in doc('div[style]').items():
    style_value = div.attr('style')
    if _display_none_regex.search(style_value):
        div.remove()
text = doc.text()

  • selectolax

from selectolax.parser import HTMLParser

_display_none_regex = re.compile(r'display:s*none')

tree = HTMLParser(html)
for tag in tree.css('div.warning, div.hidden'):
    tag.decompose()
for tag in tree.css('div[style]'):
    style_value = tag.attributes['style']
    if style_value and _display_none_regex.search(style_value):
        tag.decompose()
text = tree.body.text()

這實(shí)際上有效。當(dāng)我現(xiàn)在為10,000個(gè)片段運(yùn)行相同的基準(zhǔn)時(shí)，新結(jié)果如下：

pyquery
  SUM:    21.70 seconds
  MEAN:   2.1701 ms
  MEDIAN: 1.3989 ms
selectolax
  SUM:    3.59 seconds
  MEAN:   0.3589 ms
  MEDIAN: 0.2184 ms
regex
  Skip

同樣，selectolax擊敗PyQuery約6倍。

到此，相信大家對(duì)“python如何提取html文本”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手