python pandas 學(xué)習(xí)筆記

Pandas使用一個(gè)二維的數(shù)據(jù)結(jié)構(gòu)DataFrame來(lái)表示表格式的數(shù)據(jù)
DataFrame有四個(gè)重要的屬性：
index：行索引。
columns：列索引。
values：值的二維數(shù)組。
name：名字
data = pd.DataFrame(rec, columns = [u"姓名",u"業(yè)績(jī)" ])
DataFrame方法函數(shù)的第一個(gè)參數(shù)是數(shù)據(jù)源，第二個(gè)參數(shù)columns是輸出數(shù)據(jù)表的表頭，或者說(shuō)是表格的字段名
DataFrame(sequence)，通過(guò)序列構(gòu)建，序列中的每個(gè)元素是一個(gè)字典
data.groupby([u'業(yè)績(jī)']).sum() 以業(yè)務(wù)為分組統(tǒng)計(jì)某一列的總和size()：就是count sum()：分組求和
導(dǎo)出數(shù)據(jù)csvdata.to_csv(u"D:\scripts\learn\Result.csv", index= True, header=[u'雇員', u'銷(xiāo)售業(yè)績(jī)'], encoding="utf_8_sig")
解決保存csv文件后，中文亂碼問(wèn)題。encoding="utf_8_sig"
Sorted = data.sort_values([u"業(yè)績(jī)"], ascending=False) 以某列進(jìn)行排序，然后取前幾的值 Sorted.head(3)
pd.read_csv('f:\1024.csv') 讀取CSV文件
print df.head() 讀取前幾行數(shù)據(jù),默認(rèn)5
print df.dtypes 讀物數(shù)據(jù)類(lèi)型
print df.describe(include='all') 讀取統(tǒng)計(jì)信息
print df.columns 打印出列的信息
print df.index 打印出行的索引信息
print df.T 行列互置
print df.ix[:, 0].head() ix[行,列] 讀取指定的行列數(shù)據(jù), head() 默認(rèn)讀取前5行
df.drop(df.columns[[1, 2]], axis = 1).head() 刪除指定的列
bric = pd.read_excel('/usr/test.xlsx') 處理xlsx文件
print bric.loc['Br'] #讀取行用函數(shù).loc,但顯示是以列顯示的
#顯示'Br'這行的'language'的值有下面幾種方法：
1.一起選擇
print bric.loc['Br','language']
2.取列再取行
print bric['language'].loc['Br']
3.取行再取列
print bric.loc['Br']['language']
4.值就直接['列名']
print bric['language']
插入列：直接bric['要插入的列名']=[要插入的列表數(shù)據(jù)] ric['aa']=['123','kk','123','mm']
#插入行：bric.loc['Afric']=[25,20,'english','aa']
數(shù)據(jù)清洗
loandata=pd.DataFrame(pd.read_excel('loandata.xlsx'))
1.數(shù)據(jù)表中的重復(fù)值
loandata.duplicated() 判斷重復(fù)值
loandata.drop_duplicates() 刪除重復(fù)值
2.數(shù)據(jù)表中的空值/缺失值
loandata.isnull() 空值 loandata['列名'].isnull().value_counts() #統(tǒng)計(jì)某個(gè)列的非空值數(shù)量
loandata.notnull() 非空值
空值有兩種處理的方法，第一種是使用fillna函數(shù)對(duì)空值進(jìn)行填充，可以選擇填充0值或者其他任意值。第二種方法是使用dropna函數(shù)直接將包含空值的數(shù)據(jù)刪除
loandata.fillna(0) 填充空值
loandata.dropna() 刪除空值
3.數(shù)據(jù)間的空格
loandata['term']=loandata['term'].map(str.strip) 利用strip 進(jìn)行清查數(shù)據(jù)間的空格
loandata['term']=loandata['term'].map(str.upper) 大寫(xiě)
loandata['term']=loandata['term'].map(str.lower) 小寫(xiě)
loandata['term']=loandata['term'].map(str.title) 首字母大寫(xiě)
loandata['emp_length'].apply(lambda x: x. isalnum ())判斷是否是數(shù)字
loandata['emp_length'].apply(lambda x: x. isdigit ())
loandata['emp_length'].apply(lambda x: x.isalpha())
4更改數(shù)據(jù)格式
loandata['loan_amnt']=loandata['loan_amnt'].astype(np.int64)
6.數(shù)據(jù)分組
bins = [0, 5, 10, 15, 20]
group_names = ['A', 'B', 'C', 'D']
loandata['categories'] = pd.cut(loandata['open_acc'], bins, labels=group_names)
對(duì)某一列的值進(jìn)行等級(jí)分類(lèi)
7.數(shù)據(jù)分列
grade_split = pd.DataFrame((x.split('-') for x in loandata.grade),index=loandata.index,columns=['grade','sub_grade']) 指定分列的數(shù)據(jù)行所有保持不變
loandata=pd.merge(loandata,grade_split,right_index=True, left_index=True) 合并數(shù)據(jù)