溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何利用selenium庫(kù)爬取京東python書(shū)籍一百頁(yè)存入csv

發(fā)布時(shí)間:2021-10-11 18:36:16 來(lái)源:億速云 閱讀:197 作者:柒染 欄目:大數(shù)據(jù)

本篇文章為大家展示了如何利用selenium庫(kù)爬取京東python書(shū)籍一百頁(yè)存入csv,內(nèi)容簡(jiǎn)明扼要并且容易理解,絕對(duì)能使你眼前一亮,通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

1、分析頁(yè)面。

我們以前利用requests庫(kù)等獲取獲取很麻煩。

利用selenium庫(kù)可以省很多事情,我們只需要獲取點(diǎn)擊到下一頁(yè),

爬取我們需要的商品信息,存入csv。

所以我們要寫(xiě)三個(gè)方法來(lái)實(shí)現(xiàn)。

2、實(shí)現(xiàn)獲取商品信息get_products方法。

我們需要抓取,編號(hào),書(shū)名,價(jià)格,評(píng)價(jià)數(shù)量,出版社,

我們打開(kāi)京東頁(yè)面,切換到開(kāi)發(fā)者模式,如圖:

如何利用selenium庫(kù)爬取京東python書(shū)籍一百頁(yè)存入csv

  1. 所有的商品都有一個(gè)類名:gl-item

  2. data-sku為一個(gè)編號(hào),后面的class名需要用到。

  3. 價(jià)格的class是J_加上編號(hào)

  4. 評(píng)價(jià)數(shù)的id是J_comment_加上編號(hào)

  5. 書(shū)名的class是p-name

  6. 出版社的class是curr-shop

于是乎我們可以實(shí)現(xiàn)get_products獲取商品的信息:

如何利用selenium庫(kù)爬取京東python書(shū)籍一百頁(yè)存入csv

3、實(shí)現(xiàn)點(diǎn)擊下一頁(yè)

如何利用selenium庫(kù)爬取京東python書(shū)籍一百頁(yè)存入csv

4、存入csv

如何利用selenium庫(kù)爬取京東python書(shū)籍一百頁(yè)存入csv

上述內(nèi)容就是如何利用selenium庫(kù)爬取京東python書(shū)籍一百頁(yè)存入csv,你們學(xué)到知識(shí)或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備,歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI