pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法

發(fā)布時(shí)間：2020-10-16 13:09:46 來(lái)源：腳本之家閱讀：606 作者：我是小螞蟻欄目：開(kāi)發(fā)技術(shù)

數(shù)據(jù)去重可以使用duplicated()和drop_duplicates()兩個(gè)方法。

DataFrame.duplicated（subset = None，keep =‘first' ）返回boolean Series表示重復(fù)行

參數(shù)：
subset：列標(biāo)簽或標(biāo)簽序列，可選
僅考慮用于標(biāo)識(shí)重復(fù)項(xiàng)的某些列，默認(rèn)情況下使用所有列
keep：{‘first'，‘last'，F(xiàn)alse}，默認(rèn)'first'

first：標(biāo)記重復(fù)，True除了第一次出現(xiàn)。
last：標(biāo)記重復(fù)，True除了最后一次出現(xiàn)。
錯(cuò)誤：將所有重復(fù)項(xiàng)標(biāo)記為True。

import numpy as np
import pandas as pd
from pandas import Series, DataFrame

df = pd.read_csv('./demo_duplicate.csv')
print(df)
print(df['Seqno'].unique()) # [0. 1.]

# 使用duplicated 查看 重復(fù)值
# 參數(shù) keep 可以標(biāo)記重復(fù)值 {'first'，'last'，F(xiàn)alse}
print(df['Seqno'].duplicated())
'''
0  False
1   True
2   True
3   True
4  False
Name: Seqno, dtype: bool
'''

# 刪除 series 重復(fù)數(shù)據(jù)
print(df['Seqno'].drop_duplicates())
'''
0  0.0
4  1.0
Name: Seqno, dtype: float64
'''

# 刪除 dataframe 重復(fù)數(shù)據(jù)
print(df.drop_duplicates(['Seqno'])) # 按照 Seqno 來(lái) 去重
'''
  Price Seqno Symbol    time
0 1623.0  0.0  APPL 1473411962
4 1649.0  1.0  APPL 1473411963
'''
# drop_dujplicates() 第二個(gè)參數(shù) keep 包含的值 有： first、last、False
print(df.drop_duplicates(['Seqno'], keep='last')) # 保存最后一個(gè)
'''
  Price Seqno Symbol    time
3 1623.0  0.0  APPL 1473411963
4 1649.0  1.0  APPL 1473411963
'''

pandas 去除重復(fù)行

DataFrame.drop_duplicates（subset = None，keep ='first'，inplace = False ）

subset ：指定列，默認(rèn)情況下使用所有列

keep ： {'first'，'last'，F(xiàn)alse}，默認(rèn)'first'

first ：刪除重復(fù)項(xiàng)保留第一次出現(xiàn)的。last ：刪除重復(fù)項(xiàng)保留最后一次出現(xiàn)的。false：刪除所有重復(fù)項(xiàng)。

inplace ：布爾值，默認(rèn)為False 是否刪除重復(fù)項(xiàng)或返回副本

栗子：

pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法

到此這篇關(guān)于pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法的文章就介紹到這了,更多相關(guān)Pandas 數(shù)據(jù)去重內(nèi)容請(qǐng)搜索億速云以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持億速云！

向AI問(wèn)一下細(xì)節(jié)

pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽