您好,登錄后才能下訂單哦!
本篇文章給大家分享的是有關(guān)如何在Python中使用pandas自定義函數(shù),小編覺得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
自定義函數(shù)的使用
import numpy as np import pandas as pd # todo 將自定義的函數(shù)作用到dataframe的行和列 或者Serise的行上 ser1 = pd.Series(np.random.randint(-10,10,5),index=list('abcde')) df1 = pd.DataFrame(np.random.randint(-10,10,(4,5)),index=list('ACBD'),columns=list('abcde')) # todo 定義一個函數(shù),求其和,絕對值,最大值減最小值的差值,平方 def func(x): # print(x) print('--------------') num= np.max(x)-np.min(x) a = abs(x) b= x**2 # return num # return a return b print(ser1.apply(func)) def func1(x): # print(x) print('--------------') # num= np.max(x)-np.min(x) a = abs(x) b= x**2 # return num # return a return b print(df1.apply(func1,axis = 1)) # todo 使用匿名函數(shù)實(shí)現(xiàn)----求其和,絕對值,最大值減最小值的差值, print(df1.apply(lambda x:x**2,axis=1)) print('------') print(df1.apply(lambda x:np.max(x)-np.min(x),axis=1)) print('---------') print(df1.apply(lambda x:abs(x),axis=1)) # applymap的使用 # todo 使用applymap 因?yàn)閍pplymap作用在每個元素上,所以不需要指定axis print(df1.applymap(lambda x:x**2)) print('---------') print(df1.applymap(lambda x:abs(x)))
import numpy as np import pandas as pd ser1 = pd.Series(np.random.randint(-10,10,10),index=list('acbdfeghji')) df1 = pd.DataFrame(np.random.randint(-10,10,(4,5)),index=list('ADBC'),columns=list('abcde')) print(ser1) print(df1) print('------------------') # todo 按照索引排序 sort_index() # print(ser1.sort_index())#默認(rèn)升序 # print(ser1.sort_index(ascending=False))#指定ascending為降序 # print(df1.sort_index())#默認(rèn)行升序 # print(df1.sort_index(ascending=False))#行降序 # print(df1.sort_index(axis=1))#列升序 # print(df1.sort_index(ascending=False,axis=1))#列降序 # todo 按照值排序 print(ser1.sort_values())#默認(rèn)升序 print(ser1.sort_values(ascending=False))#指定ascending為降序 # dataframe 對象比較復(fù)雜,需要按照哪一列來進(jìn)行排序 print(df1.sort_values(by='a'))#默認(rèn)列升序 print(df1.sort_values(by='a',ascending=False))#列降序 print(df1.sort_values(by='A',axis=1))#行升序 print(df1.sort_values(by='A',ascending=False,axis=1))#行降序
import numpy as np import pandas as pd ser1 = pd.Series(np.random.randint(-10,10,10),index=[list('aabbccddee'),[1,2,1,2,1,2,1,2,1,2]]) df1 = pd.DataFrame(np.random.randint(-10,10,(4,5)),index=list('aabb'),columns=list('abcde')) print(ser1) print(df1) print('-----------------------') # todo 外層索引取值 print(ser1['a'])#獲取單個外層索引 print(ser1['a':'e'])#獲取多個外層 # todo 內(nèi)層索引取值 print(ser1[:,1]) # todo 指定外層,內(nèi)層索引取值 print(ser1['a',1]) # todo 交換分層-----swaplevel() print(ser1.swaplevel()) # todo 將Sterise轉(zhuǎn)為dataframe對象外層索引作為行索引,內(nèi)層索引作為列索引 print(ser1.unstack()) # todo 將dataframe轉(zhuǎn)為Sterise對象行索引作為外層索引行索引,列索引作為內(nèi)層索引列 print(df1.stack()) # todo dataframe 轉(zhuǎn)字典 print(df1.to_dict()) # todo dataframe 轉(zhuǎn)csv文件 print(df1.to_csv())
import numpy as np import pandas as pd df1 = pd.DataFrame( {'key1':list('abcdefgh'),'data1':np.random.randint(-5,10,8)} ) df2 = pd.DataFrame( {'key2':list('defgh'),'data2':np.random.randint(-5,10,5)} ) print(df1) print(df2) print('--------------------------') # todo 鏈接 # print(pd.merge(df1,df2,on='key'))# key相同時 通過key連接df1,df2 # print(pd.merge(df1,df2))#不指定,連接df1,df2默認(rèn)通過相同的列來連接 # print(pd.merge(df1,df2,on=data1))#data1相同時 通過data1連接df1,df2 #todo 交集 print(pd.merge(df1,df2,left_on='key1',right_on='key2')) #todo 并集 print(pd.merge(df1,df2,how='outer',left_on='key1',right_on='key2')) #todo 左連接 print(pd.merge(df1,df2,how='left',left_on='key1',right_on='key2')) #todo 右連接 print(pd.merge(df1,df2,how='right',left_on='key1',right_on='key2')) # todo 通過行索引來指定 print(pd.merge(df1,df2,left_on='data1',right_index=True))#left_on指定左表的列索引為外健,right_index作業(yè)為右表的行索引作為外檢 print(pd.merge(df1,df2,left_index=True,right_index=True))#left_index,right_index,默認(rèn)的情況下,將兩張表按照航索引的相同情況,合成一條數(shù)據(jù) print(pd.merge(df1,df2,how='left',left_index=True,right_index=True))# 按照行進(jìn)行連接,也能指定鏈接方式
注意點(diǎn):
1.how = inner,默認(rèn)的,內(nèi)連接,多表的交集
2.how = outer,外連接,多表的并集
3.how = left,指定為左連接,展示左表的完整數(shù)據(jù),不管右表有沒有匹配
4.how = right,指定為右連接,展示右表的完整數(shù)據(jù),不管左表有沒有匹配
import numpy as np import pandas as pd # todo np數(shù)組的合并 np.concatenate() ,參與合并的數(shù)組,緯度大小是一致的,axis=1 為行排序 # arr1 = np.random.randint(10,20,(3,4)) # arr2 = np.random.randint(10,20,(3,4)) # print(arr1) # print(arr2) # print('-------------') # print(np.concatenate((arr1,arr2),axis=0)) #列合并 # print('----------') # print(np.concatenate((arr1,arr2),axis=1)) # 行合并 # todo pd的合并 pd.concat() # ser1 = pd.Series(np.random.randint(10,20,3)) # ser2 = pd.Series(np.random.randint(10,20,5)) # ser3 = pd.Series(np.random.randint(10,20,7)) # print(ser1) # print(ser2) # print(ser3) # print('-------------') # # print(pd.concat([ser1,ser2,ser3]))#多個Serise 對象需要用【】包起來,默認(rèn)是列合并 # print(pd.concat([ser1,ser2,ser3],axis=1))# axis=1 行合并 ,不夠的部分用NAN填充 # print(pd.concat([ser1,ser2,ser3],axis=1,join='outer'))# 默認(rèn)是outer 并集 df1 = pd.DataFrame( {'key1':list('abcdefgh'),'data1':np.random.randint(-5,10,8)} ) df2 = pd.DataFrame( {'key2':list('abcde'),'data2':np.random.randint(-5,10,5)} ) print(pd.concat((df1,df2)))# 默認(rèn)按照列合并 print(pd.concat((df1,df2),axis=1))# 按照行合并 print(pd.concat((df1,df2),axis=1,join='inner'))# 交集合并
import pandas as pd import numpy as np df1 = pd.DataFrame( {'key1':list('abcdefgh'),'data1':np.random.randint(-5,10,8),'key2':list('11223344'),'data2':np.random.randint(-5,10,8)} ) print(df1) df2 = pd.DataFrame( {'key2':list('abcde'),'data2':np.random.randint(-5,10,5)} ) print('----------------') # todo 分組 groupby() group_obj = df1.groupby(by='key2')#通過key1進(jìn)行分組,返回一個分組對象,分組之后可以用函數(shù)進(jìn)行下一步處理,計(jì)算過程中,非數(shù)字的數(shù)據(jù)不參與計(jì)算 # print(group_obj) # print('--------rrrr-------') # print(group_obj.sum()) # 分組求和 # print(group_obj.mean()) # 分組求均值 # print(group_obj.size()) # 每個分組的元素個數(shù) # print(group_obj.count()) # 每個分組之后,列名里面的個數(shù) # # # todo 迭代分組對象 注意點(diǎn):1.每一個元素形式(分組名,屬于分組的數(shù)據(jù))2.屬于該分組的數(shù)據(jù),也是dataframe對象 # for i in group_obj: # print(i) # print('----------') # # todo 迭代分組對象的拆分 # for name,data in group_obj: # print('---') # print(name) # print(data) # # # todo 分組對象轉(zhuǎn)列表 # print(list(group_obj)) # # todo 分組對象轉(zhuǎn)字典 # print(dict(list(group_obj))) # # # # # # todo 聚合(數(shù)組產(chǎn)生標(biāo)量的過程,常常用于分組之后的數(shù)據(jù)運(yùn)算) # # todo 內(nèi)置的聚合函數(shù) # # todo sum() 求和 # # todo mean()平均值 # # todo size() # # todo max() # # todo min() # # todo count # # print(group_obj.describe()) #查看具體的聚合數(shù)據(jù) # todo 使用單個內(nèi)置函數(shù) # print(group_obj.agg('max'))#agg里面可以填寫內(nèi)置函數(shù),如果需要使用內(nèi)置的函數(shù),要用字符串的形式填寫 # print(group_obj.agg('min')) # # todo 使用多個內(nèi)置函數(shù) # print(group_obj.agg(['max','min','mean']))#需要用列表的形式 # # todo 使用內(nèi)置的函數(shù)取中文別名 # print(group_obj.agg([('最大值','max'),('最小值','min'),('均值','mean')]))# 第一個參數(shù)是別名 # todo 自定義函數(shù) def print1(x): # print(x) ret = x.max()-x.min() return ret print(group_obj.agg([('差值',print1)])) # todo 匿名函數(shù) print(lambda x:x.max()-x.min()) # todo data1求最大值,data2 求最小值 不同的列用不同的函數(shù) print(group_obj.agg( { 'data1':['max'], 'data2':[('最小值','min')] }))
import pandas as pd import numpy as np # todo 分組聚合之后數(shù)據(jù)的處理 dict_new = { 'data1':np.random.randint(5,15,8), 'data2':np.random.randint(5,15,8), 'data3':4, 'key1':list('aabbccdd'), 'key2':['one','two','three','one','two','three','one','two'] } df1 = pd.DataFrame(dict_new,index=list('ADCBFEGH')) print(df1) # # todo 按照key1進(jìn)行分組, # groupy_obj = df1.groupby(by='key1') # print(groupy_obj) # for name,data in groupy_obj: # print(name) # print(data) # # todo 分組之后進(jìn)行求和操作 # sum_data_group = groupy_obj.sum() # print(sum_data_group) # # todo 分組之后增加前綴 # sum_data_group = sum_data_group.add_prefix('group_key1') # print(sum_data_group) # # todo 先用merge進(jìn)行關(guān)聯(lián) # merge_df = pd.merge(df1,sum_data_group,left_on='key1',right_index=True)#左表的列名,右表的行索引名 # print(merge_df) # todo 取數(shù)據(jù)的兩列分組 groupby_obj = df1.loc[:,['data1','data2']].groupby(df1['key1'])#選區(qū)數(shù)據(jù)其中的數(shù)據(jù),按照數(shù)據(jù)中的列進(jìn)行分組 # todo 求和 data = groupby_obj.sum() data1 = groupby_obj.transform('sum').add_prefix('trans_group')#transform 來計(jì)算會維持原來的數(shù)據(jù)結(jié)構(gòu) # todo 按行合并 print(pd.concat([df1,data1],axis=1))
以上就是如何在Python中使用pandas自定義函數(shù),小編相信有部分知識點(diǎn)可能是我們?nèi)粘9ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。