python pandas中DataFrame類型數(shù)據(jù)操作函數(shù)的示例分析

這篇文章主要介紹了python pandas中DataFrame類型數(shù)據(jù)操作函數(shù)的示例分析，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

python數(shù)據(jù)分析工具pandas中DataFrame和Series作為主要的數(shù)據(jù)結(jié)構(gòu).

本文主要是介紹如何對(duì)DataFrame數(shù)據(jù)進(jìn)行操作并結(jié)合一個(gè)實(shí)例測(cè)試操作函數(shù)。

1）查看DataFrame數(shù)據(jù)及屬性

df_obj = DataFrame() #創(chuàng)建DataFrame對(duì)象
df_obj.dtypes #查看各行的數(shù)據(jù)格式
df_obj['列名'].astype(int)#轉(zhuǎn)換某列的數(shù)據(jù)類型
df_obj.head() #查看前幾行的數(shù)據(jù),默認(rèn)前5行
df_obj.tail() #查看后幾行的數(shù)據(jù),默認(rèn)后5行
df_obj.index #查看索引
df_obj.columns #查看列名
df_obj.values #查看數(shù)據(jù)值
df_obj.describe() #描述性統(tǒng)計(jì)
df_obj.T #轉(zhuǎn)置
df_obj.sort_values(by=['',''])#同上

2）使用DataFrame選擇數(shù)據(jù):

df_obj.ix[1:3] #獲取1-3行的數(shù)據(jù),該操作叫切片操作,獲取行數(shù)據(jù)
df_obj.ix[columns_index] #獲取列的數(shù)據(jù)
df_obj.ix[1:3，[1,3]]#獲取1列3列的1~3行數(shù)據(jù)
df_obj[columns].drop_duplicates() #剔除重復(fù)行數(shù)據(jù)

3）使用DataFrame重置數(shù)據(jù):

df_obj.ix[1:3，[1,3]]=1#所選位置數(shù)據(jù)替換為1

4）使用DataFrame篩選數(shù)據(jù)(類似SQL中的WHERE):

alist = ['023-18996609823']
df_obj['用戶號(hào)碼'].isin(alist) #將要過濾的數(shù)據(jù)放入字典中,使用isin對(duì)數(shù)據(jù)進(jìn)行篩選,返回行索引以及每行篩選的結(jié)果,若匹配則返回ture
df_obj[df_obj['用戶號(hào)碼'].isin(alist)] #獲取匹配結(jié)果為ture的行

5）使用DataFrame模糊篩選數(shù)據(jù)(類似SQL中的LIKE):

df_obj[df_obj['套餐'].str.contains(r'.*?語音CDMA.*')] #使用正則表達(dá)式進(jìn)行模糊匹配,*匹配0或無限次,?匹配0或1次

6）使用DataFrame進(jìn)行數(shù)據(jù)轉(zhuǎn)換(后期補(bǔ)充說明)

df_obj['支局_維護(hù)線'] = df_obj['支局_維護(hù)線'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正則表達(dá)式
可以設(shè)置take_last=ture 保留最后一個(gè),或保留開始一個(gè).補(bǔ)充說明:注意take_last=ture已過時(shí),請(qǐng)使用keep='last'

7）使用pandas中讀取數(shù)據(jù):

read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先輸入csv文本地址,然后分割符選擇等等
df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#寫入讀取excel數(shù)據(jù)，pd.read_excel讀取的數(shù)據(jù)是以DataFrame形式存儲(chǔ)
df.to_hdf('foo.h6','df');pd.read_hdf('foo.h6','df')#寫入讀取HDF5數(shù)據(jù)

8）使用pandas聚合數(shù)據(jù)(類似SQL中的GROUP BY 或HAVING):

data_obj['用戶標(biāo)識(shí)'].groupby(data_obj['支局_維護(hù)線'])
data_obj.groupby('支局_維護(hù)線')['用戶標(biāo)識(shí)'] #上面的簡(jiǎn)單寫法
adsl_obj.groupby('支局_維護(hù)線')['用戶標(biāo)識(shí)'].agg([('ADSL','count')])#按支局進(jìn)行匯總對(duì)用戶標(biāo)識(shí)進(jìn)行計(jì)數(shù),并將計(jì)數(shù)列的列名命名為ADSL

9）使用pandas合并數(shù)據(jù)集(類似SQL中的JOIN):

merge(mxj_obj2, mxj_obj1 ,on='用戶標(biāo)識(shí)',how='inner')# mxj_obj1和mxj_obj2將用戶標(biāo)識(shí)當(dāng)成重疊列的鍵合并兩個(gè)數(shù)據(jù)集,inner表示取兩個(gè)數(shù)據(jù)集的交集.

10）清理數(shù)據(jù)

df[df.isnull()]
df[df.notnull()]
df.dropna()#將所有含有nan項(xiàng)的row刪除
df.dropna(axis=1,thresh=3) #將在列的方向上三個(gè)為NaN的項(xiàng)刪除
df.dropna(how='ALL')#將全部項(xiàng)都是nan的row刪除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) #對(duì)第一列nan值賦0，第二列賦值0.5
df.fillna(method='ffill') #在列方向上以前一個(gè)值作為值賦給NaN

實(shí)例

1. 讀取excel數(shù)據(jù)

代碼如下

import pandas as pd# 讀取高爐數(shù)據(jù)，注意文件名不能為中文
data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])
print data

測(cè)試結(jié)果如下

   燃料比 頂溫西南 頂溫西北 頂溫東南 頂溫東北
0  531.46  185  176  176  174
1  510.35  184  173  184  188
2  533.49  180  165  182  177
3  511.51  190  172  179  188
4  531.02  180  167  173  180
5  511.24  174  164  178  176
6  532.62  173  170  168  179
7  583.00  182  175  176  173
8  530.70  158  149  159  156
9  530.32  168  156  169  171
10 528.62  164  150  171  169

2. 切片處理，選取行或列，修改數(shù)據(jù)

代碼如下：

data_1row=data.ix[1]
data_5row_2col=data.ix[0:5,[u'燃料比',u'頂溫西南']
print data_1row,data_5row_2col
data_5row_2col.ix[0:1,0:2]=3

測(cè)試結(jié)果如下：

燃料比   510.35
頂溫西南  184.00
頂溫西北  173.00
頂溫東南  184.00
頂溫東北  188.00
Name: 1, dtype: float64  
  燃料比 頂溫西南
0 531.46  185
1 510.35  184
2 533.49  180
3 511.51  190
4 531.02  180
5 511.24  174
   燃料比 頂溫西南
0  3.00   3
1  3.00   3
2 533.49  180
3 511.51  190
4 531.02  180
5 511.24  174

格式說明，data_5row_2col.ix[0:1,0:2]，data_5row_2col.ix[0:1,[0,2]],選取部分行和列需加”[]”

3. 排序

代碼如下：

print data_1row.sort_values()
print data_5row_2col.sort_values(by=u'燃料比')

測(cè)試結(jié)果如下：

頂溫西北  173.00
頂溫西南  184.00
頂溫東南  184.00
頂溫東北  188.00
燃料比   510.35
Name: 1, dtype: float64
   燃料比 頂溫西南
1 510.35  184
5 511.24  174
3 511.51  190
4 531.02  180
0 531.46  185
2 533.49  180

4. 刪除重復(fù)的行

代碼如下：

print data_5row_2col[u'頂溫西南'].drop_duplicates()#剔除重復(fù)行數(shù)據(jù)

測(cè)試結(jié)果如下：

0  185
1  184
2  180
3  190
5  174
Name: 頂溫西南, dtype: int64

說明：從測(cè)試結(jié)果3中可以看出頂溫西南index=2的數(shù)據(jù)與index=4的數(shù)據(jù)重復(fù)，測(cè)試結(jié)果4顯示將index=4的頂溫西南數(shù)據(jù)刪除

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“python pandas中DataFrame類型數(shù)據(jù)操作函數(shù)的示例分析”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!