python如何使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)

小編給大家分享一下python如何使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

python的數(shù)據(jù)類型有哪些?

python的數(shù)據(jù)類型：1. 數(shù)字類型，包括int（整型）、long（長整型）和float（浮點(diǎn)型）。2.字符串，分別是str類型和unicode類型。3.布爾型，Python布爾類型也是用于邏輯運(yùn)算，有兩個(gè)值：True（真）和False（假）。4.列表，列表是Python中使用最頻繁的數(shù)據(jù)類型，集合中可以放任何數(shù)據(jù)類型。5. 元組，元組用”()”標(biāo)識(shí)，內(nèi)部元素用逗號(hào)隔開。6. 字典，字典是一種鍵值對(duì)的集合。7. 集合，集合是一個(gè)無序的、不重復(fù)的數(shù)據(jù)組合。

1. xpath 的介紹

xpath是一門在XML文檔中查找信息的語言

優(yōu)點(diǎn)：

• 可以在xml中找信息

• 支持HTML的查找

• 可以通過元素和屬性進(jìn)行導(dǎo)航
  

但是Xpath需要依賴xml的庫，所以我們需要去安裝lxml的庫。

安裝lxml庫

我們先要安裝lxml的庫，直接在pycharm里安裝即可：

XML的樹形結(jié)構(gòu)：

元素-元素-屬性-文本

使用XPath選取節(jié)點(diǎn)：

• nodename: 選取此節(jié)點(diǎn)的所有節(jié)點(diǎn)

• /從根節(jié)點(diǎn)選擇

• // 從匹配選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn)，而不考慮他們的位置

• . 選擇當(dāng)前節(jié)點(diǎn)

• .. 選擇當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)（此處是兩個(gè)點(diǎn)，瀏覽器默認(rèn)顯示3個(gè)..）

• /text() 獲取當(dāng)前路徑下的文本內(nèi)容

• /@xxx 提取當(dāng)前路徑下標(biāo)簽的屬性值
  

選取節(jié)點(diǎn)的表達(dá)式舉例：

2. 爬取起點(diǎn)小說網(wǎng)

在瀏覽器中獲取書名和作者測(cè)試

在谷歌里安裝一個(gè)xpath的插件

在html中查找book-mid-info

我們要獲取小說的名稱： 也就是 //div[@class='book-mid-info']/h5/a/txt()

再加一個(gè)獲取作者：

使用xpath獲取起點(diǎn)小說網(wǎng)的數(shù)據(jù)

import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#發(fā)送請(qǐng)求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #類型轉(zhuǎn)換，把str轉(zhuǎn)變?yōu)閏lass 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h5/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名稱和作者對(duì)應(yīng)
for name,authors in zip(names,authors):
    print(name,":",authors)

以上是“python如何使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！