怎么在Python中使用Dataframe 指定多列去重

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)怎么在Python中使用Dataframe 指定多列去重，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

1）去重

指定多列去重，這是在dataframe沒(méi)有獨(dú)一無(wú)二的字段作為PK（主鍵）時(shí)，需要指定多個(gè)字段一起作為該行的PK，在這種情況下對(duì)整體數(shù)據(jù)進(jìn)行去重。

Attention：主要用到了drop_duplicates方法，并設(shè)置參數(shù)subset為多個(gè)字段名構(gòu)成的數(shù)組。

具體代碼如下：

 >>>import pandas as pd 
>>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}
>>>frame=pd.DataFrame(data) 
>>>frame
	pop	state
0	a	1
1	b	1
2	c	2
3	d	2
4	b	1
5	c	2
6	d	2
>>>frame.drop_duplicates(subset=['pop','state'])
	pop	state
0	a	1
1	b	1
2	c	2
3	d	2

2）求差集

假設(shè)有兩個(gè)dataframe為a和b，a和b可以是相互包含的關(guān)系，現(xiàn)在想要將a中和b重復(fù)的內(nèi)容去掉，也就是求差集，步驟如下：

（1）需要對(duì)兩個(gè)dataframe進(jìn)行去重。

（2）利用append方法，a=a.append(b)

（3）再次利用append方法，a=a.append(b)

（4）去重，利用drop_duplicates方法，a=a.drop_duplicates()，以及設(shè)置參數(shù)keep=False，意思就是只要有重復(fù)，重復(fù)的記錄都去掉。（keep默認(rèn)='first',也就是保留第一條記錄）

具體代碼如下：

>>>data_a={'state':[1,1,2],'pop':['a','b','c']}
>>>data_b={'state':[1,2,3],'pop':['b','c','d']}
>>>a=pd.DataFrame(data_a)
>>>a 
	pop	state
0	a	1
1	b	1
2	c	2
>>>b=pd.DataFrame(data_b) 
>>>b
	pop	state
0	b	1
1	c	2
2	d	3
>>>a = a.append(b)
>>>a = a.append(b)
>>>result = a.drop_duplicates(subset=['pop','state'],keep=False)
>>>result
	pop	state
0	a	1

python可以做什么

Python是一種編程語(yǔ)言，內(nèi)置了許多有效的工具，Python幾乎無(wú)所不能，該語(yǔ)言通俗易懂、容易入門、功能強(qiáng)大，在許多領(lǐng)域中都有廣泛的應(yīng)用，例如最熱門的大數(shù)據(jù)分析，人工智能，Web開(kāi)發(fā)等。

上述就是小編為大家分享的怎么在Python中使用Dataframe 指定多列去重了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。