Python基于pandas如何爬取網(wǎng)頁(yè)表格數(shù)據(jù)

這篇文章主要講解了Python基于pandas如何爬取網(wǎng)頁(yè)表格數(shù)據(jù)，內(nèi)容清晰明了，對(duì)此有興趣的小伙伴可以學(xué)習(xí)一下，相信大家閱讀完之后會(huì)有幫助。

該網(wǎng)站數(shù)據(jù)存在table標(biāo)簽，直接用requests，需要結(jié)合bs4解析正則/xpath/lxml等，沒(méi)有幾行代碼是搞不定的。

今天介紹的黑科技是pandas自帶爬蟲(chóng)功能，pd.read_html()，只需傳人url，一行代碼搞定。

原網(wǎng)頁(yè)結(jié)構(gòu)如下：

python代碼如下：

import pandas as pd
url='http://www.kuaidaili.com/free/'
df=pd.read_html(url)[0] 
# [0]：表示第一個(gè)table，多個(gè)table需要指定，如果不指定默認(rèn)第一個(gè)
# 如果沒(méi)有【0】，輸入dataframe格式組成的list
df

輸出dataframe格式數(shù)據(jù)

再次保存到本地，csv格式，注意中文編碼：utf_8_sig

print(type(df))df.to_csv('free ip.csv',mode='a', encoding='utf_8_sig', header=1, index=0)print('done!')

查看csv文件

先來(lái)了解一下read_html函數(shù)的api:

pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, tupleize_cols=None, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)

常用的參數(shù)：

• io:可以是url、html文本、本地文件等；
• flavor：解析器；
• header：標(biāo)題行；
• skiprows：跳過(guò)的行；
• attrs：屬性，比如 attrs = {'id': 'table'}；
• parse_dates：解析日期

注意：返回的結(jié)果是**DataFrame**組成的**list**。

若要dataframe，直接取list【0】

看完上述內(nèi)容，是不是對(duì)Python基于pandas如何爬取網(wǎng)頁(yè)表格數(shù)據(jù)有進(jìn)一步的了解，如果還想學(xué)習(xí)更多內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道。