Xpath元素選擇器怎么在Scrapy中使用

這期內(nèi)容當中小編將會給大家?guī)碛嘘PXpath元素選擇器怎么在Scrapy中使用，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

1. 元素的多級定位與跳級定位

多級定位：依靠html中的多級元素逐步縮小范圍

response.xpath('//table/tbody/tr/td')

//如果知道元素所屬的下標可以用下標選擇
response.xpath('//table/tbody/tr[1]/td')

跳級定位：符號“//”表示跳級定位，即對當前元素的所有層數(shù)的子元素（不僅是第一層子元素）進行查找，一般xpath的開頭都是跳級定位

response.xpath('//span//table')

2. 依靠元素的屬性定位

每個html元素都有很多屬性，如id、class、title、href、text(href和text往往可以配合正則表達式）等，這些屬性往往具有很強的特殊性，結合元素多級定位或跳級定位會更準確高效，下面舉幾個典型的例子，其他的舉一反三

利用class定位

response.xpath('//td[@class="mc_content"]')

利用href配合正則表達式定位

response.xpath('//a[re:test(@href,"^\/index\.php\?m=News&a=details&id=1&NewsId=\d{1,4}")]')

利用text結合正則表達式定位

a=response.xpath('//a[re:test(text(),"\w{4}")]')

此外，xpath還有對于html元素操作的兩個實用的函數(shù)（可以用正則表達式代替）——starts-with和contains；

a=response.xpath('//a[starts-with(@title,"注冊時間")]')

a=response.xpath('//a[contains(text(),"聞")]')

3. 提取元素或元素的屬性值

首先是最基本的extract()函數(shù)，提取被定為的元素對象

a=response.xpath('//a[contains(text(),"聞")]').extract()

//如果被定為的元素對象有多個，可以有用下標指定
a=response.xpath('//a[contains(text(),"聞")]').extract()[1]

提取元素的屬性

//提取text
a=response.xpath('//a[contains(text(),"聞")]/text()').extract()

//獲取href
a=response.xpath('//a[contains(text(),"聞")]/@href').extract()

//獲取name
a=response.xpath('//a[contains(text(),"聞")]/@name').extract()

此時我們的正則表達式又閑不住了（scrapy自帶的函數(shù)），可以對提取的元素進行選擇

//對href中的部分字符串進行選擇
response.xpath('//a[@name="_l_p_n"]/@href').re('\/s.*?list\.htm')

在這里關于xpath的所有用法基本總結完畢，只是由于xpath是對靜態(tài)元素進行匹配選擇，對于javascript往往束手無策，這時不得不用一個自動化測試工具——selenium，可以實現(xiàn)各種動態(tài)事件和靜態(tài)元素的選擇，只是selenium往往比較吃內(nèi)存，響應時間也比較慢，對于大型的爬蟲任務盡量不要使用，畢竟有一些javascript元素是內(nèi)嵌在網(wǎng)頁代碼中的，這時候結合萬能的正則表達式，xpath往往能夠實現(xiàn)。如下：

link = re.search("javascript:goToPage\('(.*?)'", value) //value為包含該段的字符串

上述就是小編為大家分享的Xpath元素選擇器怎么在Scrapy中使用了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業(yè)資訊頻道。