溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Pandas如何借助Python爬蟲爬取HTML網(wǎng)頁(yè)表格保存到Excel文件

發(fā)布時(shí)間:2021-10-12 15:49:47 來(lái)源:億速云 閱讀:402 作者:柒染 欄目:大數(shù)據(jù)

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Pandas如何借助Python爬蟲爬取HTML網(wǎng)頁(yè)表格保存到Excel文件,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。

如果一個(gè)HTML網(wǎng)頁(yè)中有表格,怎樣爬取下來(lái)?

Pandas的read_html可以很方便的解析URL地址或者HTML代碼中的表格,直接轉(zhuǎn)換成dataframe,用于后續(xù)的處理、分析、導(dǎo)出。

比如有這么一個(gè)案例,我自己經(jīng)常使用網(wǎng)易有道詞典查英文單詞,經(jīng)常將新單詞加入到單詞本,日積月累單詞就越來(lái)越多,我想把這些單詞都導(dǎo)出到excel,怎樣可以集中復(fù)習(xí)甚至打印出來(lái)看。

可是網(wǎng)易有道詞典沒(méi)這個(gè)導(dǎo)出全部單詞本的功能。

幸好,我在網(wǎng)易有道有道的PC版,發(fā)現(xiàn)了這樣的單詞本網(wǎng)頁(yè):

Pandas如何借助Python爬蟲爬取HTML網(wǎng)頁(yè)表格保存到Excel文件

使用這樣的技術(shù)組合,我可以很簡(jiǎn)單的爬取整個(gè)網(wǎng)頁(yè),并實(shí)現(xiàn)表格解析,輸出到Excel文件:

  • Python爬蟲,使用requests下載網(wǎng)頁(yè),其中的cookies參數(shù)能讓我繞過(guò)登錄驗(yàn)證;

  • Pandas的read_html能解析出來(lái)網(wǎng)頁(yè)中的表格,然后使用to_excel能將結(jié)果保存成excel文件

流程是這樣的:

Pandas如何借助Python爬蟲爬取HTML網(wǎng)頁(yè)表格保存到Excel文件

而最終保存的excel,就是我要的所有單詞列表:

Pandas如何借助Python爬蟲爬取HTML網(wǎng)頁(yè)表格保存到Excel文件

Python爬蟲+Pandas數(shù)據(jù)解析處理的絕佳搭檔

上述就是小編為大家分享的Pandas如何借助Python爬蟲爬取HTML網(wǎng)頁(yè)表格保存到Excel文件了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI