python?pandas中如何實(shí)現(xiàn)合并與拼接

小編給大家分享一下python pandas中如何實(shí)現(xiàn)合并與拼接，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

前言

在許多應(yīng)用中，數(shù)據(jù)可能來自不同的渠道，在數(shù)據(jù)處理的過程中常常需要將這些數(shù)據(jù)集進(jìn)行組合合并拼接，形成更加豐富的數(shù)據(jù)集。pandas提供了多種方法完全可以滿足數(shù)據(jù)處理的常用需求。具體來說包括有join、merge、concat、append等。

一般來說

下面就來逐一介紹每個(gè)方法

一、join

join主要用于基于索引的橫向合并拼接

在介紹pandas的join之前我們來看一下SQL對(duì)數(shù)據(jù)集join的幾種模式。如果大家對(duì)SQL比較熟悉的話應(yīng)該對(duì)SQL操作數(shù)據(jù)集進(jìn)行各種合并拼接印象深刻。SQL中各種JOIN的方法如下：

pandas的join實(shí)現(xiàn)了left join、right jion、inner join、out jion常用的4中join方法

來自官網(wǎng)的參數(shù)說明：

dataframe.join(other,  # 待合并的另一個(gè)數(shù)據(jù)集
                   on=None,  # 連接的鍵
                   how='left',   # 連接方式：‘left', ‘right', ‘outer', ‘inner' 默認(rèn)是left
                   lsuffix='',  # 左邊（第一個(gè)）數(shù)據(jù)集相同鍵的后綴
                   rsuffix='',  # 第二個(gè)數(shù)據(jù)集的鍵的后綴
                   sort=False)  # 是否根據(jù)連接的鍵進(jìn)行排序；默認(rèn)False

我們來看下實(shí)例，有兩個(gè)數(shù)據(jù)集一個(gè)是人員姓名，一個(gè)是人員的工資

left=pd.DataFrame(['張三','李四','王五','趙六','錢七'], index=[3,4,5,6,7],columns=['姓名'])
right=pd.DataFrame([13000,15000,9000,8600,10000], index=[3,4,5,6,8],columns=['工資'])

注意，left和right的數(shù)據(jù)集分別都指定了index，因?yàn)閖oin主要用于基于索引的橫向合并拼接。

1、left join

left.join(right)  #默認(rèn)how='left'

jion操作默認(rèn)是left jion的操作，可以看到left索引為7姓名為錢七，在right中沒有索引為7的對(duì)應(yīng)所以顯示left的姓名但right的工資為NaN，right中索引為8的數(shù)據(jù)在left中沒有索引為8的，所以沒有顯示。left join合并left的數(shù)據(jù)

left join 如下圖所示

2、right join

left.join(right,how='right')

右鏈接合并時(shí)可以看到，left的數(shù)據(jù)集沒有索引為8的項(xiàng)，所以索引為8的項(xiàng)顯示right數(shù)據(jù)集的工資數(shù)據(jù)但姓名為NaN，在left中索引為7的項(xiàng)因?yàn)閞ight中不存在，所以沒有顯示。right join合并right的數(shù)據(jù)

right join 如下圖所示

3、inner join

left.join(right,how='inner')

內(nèi)鏈接合并時(shí)，可以看到left數(shù)據(jù)集中的索引為7姓名為錢七因?yàn)樵趓ight數(shù)據(jù)集中找不到對(duì)應(yīng)的索引，right數(shù)據(jù)集中索引為8的在left找不到對(duì)應(yīng)的索引所以內(nèi)連接合并時(shí)索引7和8都沒有進(jìn)行合并，inner join只合并兩個(gè)數(shù)據(jù)集共有的數(shù)據(jù)

inner join 如下圖所示

4、out join

left.join(right,how='outer')

外鏈接合并時(shí)，可以看到不管是left中的數(shù)據(jù)還是right中的數(shù)據(jù)都進(jìn)行了合并。right join合并兩個(gè)數(shù)據(jù)集中所有的數(shù)據(jù)。

outer join 如下圖所示

join很簡單，但是它有局限性，因?yàn)樗荒芨鶕?jù)索引來合并。不能指定鍵來進(jìn)行合并。比如我要根據(jù)編號(hào)和姓名來合并，join就比較難辦了。但是pandas提供了merge的方法，可以指定列來進(jìn)行合并拼接。

二、merge

merge最常用，主要用戶基于指定列和橫向合并拼接，語法如下：

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=True,suffixes=('_x', '_y'), copy=True)

我們來看下面的數(shù)據(jù)集，在上面的數(shù)據(jù)集中l(wèi)eft數(shù)據(jù)集加入了員工的編號(hào)，right數(shù)據(jù)集加入了編號(hào)及姓名。索引就按默認(rèn)的索引。

left=pd.DataFrame([[3,'張三'],[4,'李四'],[5,'王五'],[6,'趙六'],[7,'錢七']],
columns=['編號(hào)','姓名'])

right=pd.DataFrame([[3,'張三',13000],[4,'李四',15000],[5,'王五',9000],[6,'趙六',8600],[8,'孫八',10000]],
columns=['編號(hào)','姓名','工資'])

pd.merge(left,right)

沒有指定連接鍵，默認(rèn)用重疊列名，沒有指定連接方式，默認(rèn)inner內(nèi)連接（取left和right編號(hào)和姓名的交集）

和join一樣通過how來指定連接方式如：

pd.merge(left,right,how='left')

how的連接方式和join一樣支持left、right、inner、outer

merge還可以指定多個(gè)列進(jìn)行合并鏈接，也就是和SQL一樣設(shè)置多個(gè)關(guān)聯(lián)的列。

pd.merge(left,right,how='outer',on=['編號(hào)','姓名'])

如果兩個(gè)對(duì)象的列名不同，可以使用left_on，right_on分別指定，如我們把right數(shù)據(jù)集的“編碼”列標(biāo)簽改成“ID”后如果需要left數(shù)據(jù)集的"編號(hào)"和right數(shù)據(jù)集的"ID"進(jìn)行關(guān)聯(lián)

right=pd.DataFrame([[3,'張三',13000],[4,'李四',15000],[5,'王五',9000],[6,'趙六',8600],[8,'孫八',10000]],columns=['ID','姓名','工資'])

pd.merge(left,right,how='outer',left_on='編號(hào)',right_on='ID')

雖然說merge已經(jīng)很強(qiáng)大了，但是pandas愿意給你更多，它提供了concat，可以實(shí)現(xiàn)橫向和縱向的合并與拼接。也就是說不但實(shí)現(xiàn)了SQL中的join還實(shí)現(xiàn)了union

三、concat

concat() 函數(shù)用于沿某個(gè)特定的軸執(zhí)行連接操作，語法如下：

pd.concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False)

來看具體的例子

left2=pd.DataFrame([[1,'陳一'],[2,'周二']],columns=['編號(hào)','姓名'])

1、縱向合并

concat默認(rèn)縱向拼接，我們要在left1數(shù)據(jù)集的基礎(chǔ)上把left2數(shù)據(jù)集給合并上去，很簡單用concat直接就可以合并。

df=pd.concat([left,left2])

2、橫向合并

df_outer=pd.concat([left,right],axis=1,join='outer')#外鏈接
df_inner=pd.concat([left,right],axis=1,join='inner')#內(nèi)鏈接

注意：因?yàn)閏oncat的鏈接和join一樣是通過索引來鏈接合并，并不能指定通過某個(gè)特定的列來鏈接進(jìn)行合并，所以看到的合并后的數(shù)據(jù)集left和right的編號(hào)和姓名是錯(cuò)位的。

如果要根據(jù)編號(hào)來關(guān)聯(lián)可以指定編號(hào)作為索引再進(jìn)行橫向合并，這樣就沒有問題了。

left.index=left['編號(hào)'].values
right.index=right['編號(hào)'].values
df_outer=pd.concat([left,right],axis=1,join='outer')
df_inner=pd.concat([left,right],axis=1,join='inner')

四、append

df.append 可以將其他行附加到調(diào)用方的末尾，并返回一個(gè)新對(duì)象。它是最簡單常用的數(shù)據(jù)合并方式。語法如下：

df.append(self, other, ignore_index=False,verify_integrity=False, sort=False)

其中：

• other 是它要追加的其他 DataFrame 或者類似序列內(nèi)容

• ignore_index 如果為 True 則重新進(jìn)行自然索引

• verify_integrity 如果為 True 則遇到重復(fù)索引內(nèi)容時(shí)報(bào)錯(cuò)

• sort 進(jìn)行排序

來看下面的例子：

1、同結(jié)構(gòu)數(shù)據(jù)追加

將同結(jié)構(gòu)的數(shù)據(jù)追加在原數(shù)據(jù)后面，在left數(shù)據(jù)集后面追加left2數(shù)據(jù)集，left2的數(shù)據(jù)集內(nèi)容如下：

left2=pd.DataFrame([[1,'陳一'],[2,'周二']],columns=['編號(hào)','姓名'])
left2

left.append(left2)

2、不同結(jié)構(gòu)數(shù)據(jù)追加

不同結(jié)構(gòu)數(shù)據(jù)追加，原數(shù)據(jù)沒有的列會(huì)增加，沒有對(duì)應(yīng)內(nèi)容的會(huì)為空NaN。

如：left3的數(shù)據(jù)集列有"編號(hào)"、“姓名”、“工資”

left3=pd.DataFrame([[8,'孫八',10000],[9,'何九',15000]],columns=['編號(hào)','姓名','工資'])
left3

left.append(left3)

當(dāng)left后追加left3后的數(shù)據(jù)集會(huì)增加“工資列”，沒有對(duì)應(yīng)內(nèi)容的會(huì)為空。

3、追加合并多個(gè)數(shù)據(jù)集

append參數(shù)可帶數(shù)據(jù)集列表，可以將多個(gè)數(shù)據(jù)集追加到原數(shù)據(jù)集

如我們將left2和left3都追加到left

left.append([left2,left3])

五、combine_first

combine_first可用于合并重復(fù)數(shù)據(jù)，用其他數(shù)據(jù)集填充沒有的數(shù)據(jù)。如一個(gè)DataFrame數(shù)據(jù)集中出現(xiàn)了缺失數(shù)據(jù)，就可以用其他DataFrame數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行填充。語法格式如下：

combine_first(other) #只有一個(gè)參數(shù)other，該參數(shù)用于接收填充缺失值的DataFrame對(duì)象。

如left數(shù)據(jù)集中沒有"工資"的數(shù)據(jù)，我們可以用right數(shù)據(jù)集有的數(shù)據(jù)去填充left數(shù)據(jù)集中的數(shù)據(jù)。

left.combine_first(right) #用right去填充left

六、update

update和combine_first比較類似，區(qū)別在于：

1、填充合并方式稍有差異

combine_first：如果s1中c的值為空，用s2的值替換，否則保留s1的值

update：如果s2中的值不為空，那么替換s1，否則保留s1的值

2、update是更新原數(shù)據(jù)，combine_first會(huì)返回一個(gè)填充后的新數(shù)據(jù)集，對(duì)原數(shù)據(jù)不做更新。

left.update(right) #用right的數(shù)據(jù)更新left中的數(shù)據(jù)。

看完了這篇文章，相信你對(duì)“python pandas中如何實(shí)現(xiàn)合并與拼接”有了一定的了解，如果想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！