淺析Python數(shù)據(jù)處理

Numpy、Pandas是Python數(shù)據(jù)處理中經(jīng)常用到的兩個(gè)框架，都是采用C語(yǔ)言編寫，所以運(yùn)算速度快。Matplotlib是Python的的畫圖工具，可以把之前處理后的數(shù)據(jù)通過(guò)圖像繪制出來(lái)。之前只是看過(guò)語(yǔ)法，沒有系統(tǒng)學(xué)習(xí)總結(jié)過(guò)，本博文總結(jié)了這三個(gè)框架的API。

以下是這三個(gè)框架的的簡(jiǎn)單介紹和區(qū)別：

• Numpy：經(jīng)常用于數(shù)據(jù)生成和一些運(yùn)算
• Pandas：基于Numpy構(gòu)建的，是Numpy的升級(jí)版本
• Matplotlib：Python中強(qiáng)大的繪圖工具
  

Numpy

Numpy快速入門教程可參考：Numpy tutorial

Numpy屬性

ndarray.ndim：維度

ndarray.shape：行數(shù)和列數(shù)，例如(3, 5)

ndarray.size：元素的個(gè)數(shù)

ndarray.dtype：元素類型

Numpy創(chuàng)建

array(object, dtype=None)：使用Python的list或者tuple創(chuàng)建數(shù)據(jù)

zeors(shape, dtype=float)：創(chuàng)建全為0的數(shù)據(jù)

ones(shape, dtype=None)：創(chuàng)建全為1的數(shù)據(jù)

empty(shape, dtype=float)：創(chuàng)建沒有初始化的數(shù)據(jù)

arange([start, ]stop, [step, ]dtype=None)：創(chuàng)建固定間隔的數(shù)據(jù)段

linspace(start, stop, num=50, dtype=None)：在給定的范圍，均勻的創(chuàng)建數(shù)據(jù)

Numpy運(yùn)算

加、減：a + b、a - b

乘：b*2、10*np.sin(a)

次方：b**2

判斷：a<35，輸出True或False的數(shù)組

矩陣乘：np.dot(A,B) 或 A.dot(B)

其他：+=、-+、sin、cos、exp

Numpy索引

數(shù)組索引方式：A[1, 1]

切片：A[1, 1:3]

迭代：for item in A.flat

Numpy其他

reshape(a, newshape)：改變數(shù)據(jù)形狀，不會(huì)對(duì)原始數(shù)據(jù)進(jìn)行修改，返回一組新數(shù)據(jù)

resize(a, new_shape)：改變數(shù)據(jù)形狀，會(huì)對(duì)原始數(shù)據(jù)進(jìn)行修改，不返回?cái)?shù)據(jù)

ravel(a)：將成一維返回

vstack(tup)：上下合并

hstack(tup)：左右合并

hsplit(ary, indices_or_sections)：水平分割n份

vsplit(ary, indices_or_sections)：垂直分割n份

copy(a)：深度拷貝

Pandas

Pandas快速入門教程可參考：10 Minutes to pandas

Pandas數(shù)據(jù)結(jié)構(gòu)

Pandas的數(shù)據(jù)結(jié)構(gòu)有兩種：Series和DataFrame。

Series：索引在左邊，值在右邊。創(chuàng)建方式如下：

In [4]: s = pd.Series([1,3,5,np.nan,6,8])
In [5]: s
Out[5]: 
0  1.0
1  3.0
2  5.0
3  NaN
4  6.0
5  8.0
dtype: float64

DataFrame：是一個(gè)表格型的數(shù)據(jù)結(jié)構(gòu)，既有行索引也有列索引， 它可以被看做由Series組成的大字典。創(chuàng)建方式如下：

In [6]: dates = pd.date_range('20130101', periods=6)

In [7]: dates
Out[7]: 
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
        '2013-01-05', '2013-01-06'],
       dtype='datetime64[ns]', freq='D')

In [8]: df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))

Pandas查看數(shù)據(jù)

index：索引

columns：列索引

values：值

head(n=5)：返回前n項(xiàng)數(shù)據(jù)

tail(n=5)：返回后n項(xiàng)數(shù)據(jù)

describe()：打印出數(shù)據(jù)的數(shù)量、平均值等各項(xiàng)數(shù)據(jù)

sort_index(axis=1, ascending=False)：根據(jù)索引排序

sort_values(by='B')：根據(jù)索引值排序

Pandas選擇數(shù)據(jù)

數(shù)組選擇方式：df[‘A']

切片選擇方式：df[0:3] 或 df[‘20130102':'20130104']

根據(jù)標(biāo)簽選擇：df.loc[‘20130102':'20130104',[‘A','B']]

根據(jù)位置選擇：df.iloc[3:5,0:2]

混合選擇：df.ix[:3,[‘A','C']]

條件判斷選擇：df[df.A > 0]

Pandas處理丟失數(shù)據(jù)

刪除丟失數(shù)據(jù)的行：df.dropna(how='any')

填充丟失數(shù)據(jù)：df.fillna(value=5)

數(shù)據(jù)值是否為NaN：pd.isna(df1)

Pandas合并數(shù)據(jù)

pd.concat([df1, df2, df3], axis=0)：合并df

pd.merge(left, right, on='key')：根據(jù)key字段合并

df.append(s, ignore_index=True)：添加數(shù)據(jù)

Pandas導(dǎo)入導(dǎo)出

df.to_csv(‘foo.csv')：保存到csv文件

pd.read_csv(‘foo.csv')：從csv文件讀取

df.to_excel(‘foo.xlsx', sheet_name='Sheet1')：保存到excel文件

pd.read_excel(‘foo.xlsx', ‘Sheet1', index_col=None, na_values=[‘NA'])：從excel文件讀取

Matplotlib

這里只介紹最簡(jiǎn)單的出圖方式：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 隨機(jī)生成1000個(gè)數(shù)據(jù)
data = pd.Series(np.random.randn(1000),index=np.arange(1000))
# 為了方便觀看效果, 我們累加這個(gè)數(shù)據(jù)
data.cumsum()
# pandas 數(shù)據(jù)可以直接觀看其可視化形式
data.plot()
plt.show()