python爬取網(wǎng)頁(yè)中文字的方法

這篇文章主要講解了python爬取網(wǎng)頁(yè)中文字的方法，內(nèi)容清晰明了，對(duì)此有興趣的小伙伴可以學(xué)習(xí)一下，相信大家閱讀完之后會(huì)有幫助。

用Python進(jìn)行爬取網(wǎng)頁(yè)文字的代碼：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import re
# 下載一個(gè)網(wǎng)頁(yè)
url = 'https://www.biquge.tw/75_75273/3900155.html'
# 模擬瀏覽器發(fā)送http請(qǐng)求
response = requests.get(url)
# 編碼方式
response.encoding='utf-8'
# 目標(biāo)小說(shuō)主頁(yè)的網(wǎng)頁(yè)源碼
html = response.text
print(html)

1、編寫爬蟲(chóng)思路：

確定下載目標(biāo)，找到網(wǎng)頁(yè)，找到網(wǎng)頁(yè)中需要的內(nèi)容。對(duì)數(shù)據(jù)進(jìn)行處理。保存數(shù)據(jù)。

2、知識(shí)點(diǎn)說(shuō)明：

1）確定網(wǎng)絡(luò)中需要的信息，打開(kāi)網(wǎng)頁(yè)后使用F12打開(kāi)開(kāi)發(fā)者模式。

在Network中可以看到很多信息，我們?cè)陧?yè)面上看到的文字信息都保存在一個(gè)html文件中。點(diǎn)擊文件后可以看到response，文字信息都包含在response中。

對(duì)于需要輸入的信息，可以使用ctrl+f，進(jìn)行搜索。查看信息前后包含哪些特定字段。

對(duì)于超鏈接的提取，可以使用最左邊的箭頭點(diǎn)擊超鏈接，這時(shí)Elements會(huì)打開(kāi)有該條超鏈接的信息，從中判斷需要提取的信息。從下載小說(shuō)來(lái)看，在目錄頁(yè)提取出小說(shuō)的鏈接和章節(jié)名。

2）注意編碼格式

輸入字符集一定要設(shè)置成utf-8。頁(yè)面大多為GBK字符集。不設(shè)置會(huì)亂碼。

內(nèi)容擴(kuò)展：

接下來(lái)我們了解一下爬取網(wǎng)頁(yè)信息的步驟。

想要獲得我們所需的數(shù)據(jù)分三步

第一步：使用BeautifulSoup解析網(wǎng)頁(yè)

Soup = BeautifulSoup(html,'lxml')

第二步：描述想要爬去信息的東西在哪里。

信息 = Soup.select('???')

要知道它叫什么名字，如何去定位。

第三步：從標(biāo)簽中獲得你想要的信息

<p>Something</p>

從標(biāo)簽中獲取我們需要的信息，去掉一些沒(méi)有用的結(jié)構(gòu)，并且把我們獲取的信息按照一定格式裝在數(shù)據(jù)容器中，方便我們?nèi)ゲ樵儭?/p>

看完上述內(nèi)容，是不是對(duì)python爬取網(wǎng)頁(yè)中文字的方法有進(jìn)一步的了解，如果還想學(xué)習(xí)更多內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道。