您好,登錄后才能下訂單哦!
python中怎么利用pandas合并數(shù)據(jù),相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策,為此本文總結(jié)了問題出現(xiàn)的原因和解決方法,通過這篇文章希望你能解決這個(gè)問題。
Pandas有concat、append、join和merge四種方法用于dataframe拼接,
concat、append、join、merge 區(qū)別如下:
1、.concat():pandas的頂級(jí)方法,提供了axis設(shè)置可用于df間行方向(增加行,下同)或列方向(增加列,下同)進(jìn)行內(nèi)聯(lián)或外聯(lián)拼接操作
2、.append():dataframe數(shù)據(jù)類型的方法,提供了行方向的拼接操作
3、.join():dataframe數(shù)據(jù)類型的方法,提供了列方向的拼接操作,支持左聯(lián)、右聯(lián)、內(nèi)聯(lián)和外聯(lián)四種操作類型
4、.merge():pandas的頂級(jí)方法,提供了類似于SQL數(shù)據(jù)庫(kù)連接操作的功能,支持左聯(lián)、右聯(lián)、內(nèi)聯(lián)和外聯(lián)等全部四種SQL連接操作類型
concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
keys=None, levels=None, names=None, verify_integrity=False,
copy=True)
"""
常用參數(shù)說(shuō)明:
axis:拼接軸方向,默認(rèn)為0,沿行拼接;若為1,沿列拼接
join:默認(rèn)外聯(lián)'outer',拼接另一軸所有的label,缺失值用NaN填充;內(nèi)聯(lián)'inner',只拼接另一軸相同的label;
join_axes: 指定需要拼接的軸的labels,可在join既不內(nèi)聯(lián)又不外聯(lián)的時(shí)候使用
ignore_index:對(duì)index進(jìn)行重新排序
keys:多重索引
"""
import pandas as pd
def df_maker(cols, idxs):
return pd.DataFrame({c:[c+str(i) for i in idxs] for c in cols}, index=idxs)
df1 = df_maker('abc',[1,2,3])
df2 = df_maker('cde',[3,4,5])
print(df1)
print(df2)
print(pd.concat([df1,df2])) # 默認(rèn)沿axis=0,join=‘out’的方式進(jìn)行concat
print(pd.concat([df1,df2], ignore_index=True)) # 重新設(shè)定index(效果類似于pd.concat([df1,df2]).reset_index(drop=True))
print(pd.concat([df1,df2], axis=1)) # 沿列進(jìn)行合并
print(pd.concat([df1,df2], axis=1, join='inner')) # 沿列進(jìn)行合并,采用外聯(lián)方式因?yàn)樾兄兄挥衖ndex=3是重復(fù)的,所以只有一行
print(pd.concat([df1,df2], axis=1, join_axes=[df1.index])) # 指定只取df1的index
from pandas import Index
index = Index([1,2,4])
print(pd.concat([df1,df2], axis=1, join_axes=[index])) # 自定義index
print(pd.concat([df1,df2], axis=0,keys=["第一組","第二組"])) # 通過key定義多重索引
append(self, other, ignore_index=False, verify_integrity=False)
"""
常用參數(shù)說(shuō)明:
other:另一個(gè)df
ignore_index:若為True,則對(duì)index進(jìn)行重排
verify_integrity:對(duì)index的唯一性進(jìn)行驗(yàn)證,若有重復(fù),報(bào)錯(cuò)。若已經(jīng)設(shè)置了ignore_index,則該參數(shù)無(wú)效
"""
import pandas as pd
def df_maker(cols, idxs):
return pd.DataFrame({c:[c+str(i) for i in idxs] for c in cols}, index=idxs)
df1 = df_maker('abc',[1,2,3])
df2 = df_maker('cde',[3,4,5])
print(df1.append(df2)) # 效果類似于pd.concat([df1,df2])
print(df1.append(df2,ignore_index=True)) # index重排,效果類似于pd.concat([df1, df2], ignore_index=True)
#print(df1.append(df2,verify_integrity=True)) # 因?yàn)閮蓚€(gè)df均有index=3,所以報(bào)錯(cuò)
join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False)
"""
常用參數(shù)說(shuō)明:
on:參照的左邊df列名key(可能需要先進(jìn)行set_index操作),若未指明,按照index進(jìn)行join
how:{‘left’, ‘right’, ‘outer’, ‘inner’}, 默認(rèn)‘left’,即按照左邊df的index(若聲明了on,則按照對(duì)應(yīng)的列);若為‘right’abs照左邊的df
若‘inner’為內(nèi)聯(lián)方式;若為‘outer’為全連聯(lián)方式。
sort:是否按照join的key對(duì)應(yīng)的值大小進(jìn)行排序,默認(rèn)False
lsuffix,rsuffix:當(dāng)left和right兩個(gè)df的列名出現(xiàn)沖突時(shí)候,通過設(shè)定后綴的方式避免錯(cuò)誤
"""
import pandas as pd
import numpy as np
df3 = pd.DataFrame({'lkey':['foo','bar','baz','foo'], 'value':np.arange(1,5)})
df4 = pd.DataFrame({'rkey':['foo','bar','qux','bar'], 'value':np.arange(3,7)})
print(df3)
print(df4)
#print(df3.join(df4)) # 兩者有相同的列名‘value’,所以報(bào)錯(cuò)
print(df3.join(df4 , lsuffix='_df3', rsuffix='_df4')) # 通過添加后綴避免沖突
print(df3.set_index('lkey').join(df4.set_index('rkey'), how='outer',lsuffix='_df3',rsuffix='_df4')) # 可以通過將兩邊的key進(jìn)行set_index
print(df3.join(df4.set_index('rkey'), on='lkey',lsuffix='_df3',rsuffix='_df4'))
# 也可以通過設(shè)置后邊df中key,并通過on與指定的左邊df中的列進(jìn)行合并,返回的index不變
pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=False,
suffixes=('_x', '_y'), copy=True, indicator=False,
validate=None):
"""
既可作為pandas的頂級(jí)方法使用,也可作為DataFrame數(shù)據(jù)結(jié)構(gòu)的方法進(jìn)行調(diào)用
常用參數(shù)說(shuō)明:
how:{'left’, ‘right’, ‘outer’, ‘inner’}, 默認(rèn)‘inner’,類似于SQL的內(nèi)聯(lián)。'left’類似于SQL的左聯(lián);'right’類似于SQL的右聯(lián);
‘outer’類似于SQL的全聯(lián)。
on:進(jìn)行合并的參照列名,必須一樣。若為None,方法會(huì)自動(dòng)匹配兩張表中相同的列名
left_on: 左邊df進(jìn)行連接的列
right_on: 右邊df進(jìn)行連接的列
suffixes: 左、右列名稱前綴
validate:默認(rèn)None,可定義為“one_to_one” 、“one_to_many” 、“many_to_one”和“many_to_many”,即驗(yàn)證是否一對(duì)一、一對(duì)多、多對(duì)一或
多對(duì)多關(guān)系
"""
"""
SQL語(yǔ)句復(fù)習(xí):
內(nèi)聯(lián):SELECT a.*, b.* from table1 as a inner join table2 as b on a.ID=b.ID
左聯(lián):SELECT a.*, b.* from table1 as a left join table2 as b on a.ID=b.ID
右聯(lián):SELECT a.*, b.* from table1 as a right join table2 as b on a.ID=b.ID
全聯(lián):SELECT a.*, b.* from table1 as a full join table2 as b on a.ID=b.ID
"""
import pandas as pddf3 = pd.DataFrame({'lkey':['foo','bar','baz','foo'], 'value':np.arange(1,5)})df4 = pd.DataFrame({'rkey':['foo','bar','qux','bar'], 'value':np.arange(3,7)})print(df3)print(df4)print(pd.merge(df3,df4)) # on為None,自動(dòng)找尋相同的列名,即為'value',且默認(rèn)為內(nèi)聯(lián)print(pd.merge(df3,df4,how='outer')) # 外聯(lián)模式下print(pd.merge(df3, df4, left_on='lkey',right_on='rkey')) # 默認(rèn)內(nèi)聯(lián),2個(gè)foo*2個(gè)barprint(pd.merge(df3, df4, left_on='lkey',right_on='rkey', how='left')) # 以左邊的df3為標(biāo)準(zhǔn)進(jìn)行連接print(pd.merge(df3, df4, left_on='lkey',right_on='rkey', how='right')) # 以右邊的df4為標(biāo)準(zhǔn)進(jìn)行連接print(pd.merge(df3, df4, left_on='lkey',right_on='rkey', how='outer')) # 全連接print(pd.merge(df3, df4, left_on='lkey',right_on='rkey', how='inner')) # 內(nèi)連接
看完上述內(nèi)容,你們掌握python中怎么利用pandas合并數(shù)據(jù)的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。