如何使用pandas中DataFrame檢測(cè)重復(fù)值

這篇文章主要介紹如何使用pandas中DataFrame檢測(cè)重復(fù)值，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

本文詳解如何使用pandas查看dataframe的重復(fù)數(shù)據(jù)，判斷是否重復(fù)，以及如何去重

DataFrame.duplicated(subset=None, keep='first')

subset：如果你認(rèn)為幾個(gè)字段重復(fù)，則數(shù)據(jù)重復(fù)，就把那幾個(gè)字段以列表形式放到subset后面。默認(rèn)是所有字段重復(fù)為重復(fù)數(shù)據(jù)。

keep:

• 默認(rèn)為'first' ,也就是如果有重復(fù)數(shù)據(jù)，則第一條出現(xiàn)的定義為False，后面的重復(fù)數(shù)據(jù)為True。

• 如果為'last'，也就是如果有重復(fù)數(shù)據(jù)，則最后一條出現(xiàn)的定義為False，后面的重復(fù)數(shù)據(jù)為True。

• 如果為False，則所有重復(fù)的為True

下面舉例

df = pd.DataFrame({
    'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
    'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
    'rating': [4, 4, 3.5, 15, 5]
})
df

# 默認(rèn)為keep="first",第一條重復(fù)的為False,后面重復(fù)的為True
# 一般不會(huì)設(shè)置keep，保持keep為默認(rèn)值。
df.duplicated()

結(jié)果
0    False
1     True
2    False
3    False
4    False
dtype: bool

# keep="last",,最后一條重復(fù)的為False,后面重復(fù)的為True
df.duplicated(keep="last")

結(jié)果
0     True
1    False
2    False
3    False
4    False
dtype: bool

# keep=False,,所有重復(fù)的為True
df.duplicated(keep=False)

結(jié)果
0     True
1     True
2    False
3    False
4    False
dtype: bool

# sub是子，subset是子集
# 標(biāo)記只要brand重復(fù)為重復(fù)值。
df.duplicated(subset='brand')

結(jié)果

0    False
1     True
2    False
3     True
4     True
dtype: bool


# 只要brand重復(fù)brand和style重復(fù)的為重復(fù)值。
df.duplicated(subset=['brand','style'])

結(jié)果

0    False
1     True
2    False
3    False
4     True
dtype: bool


# 顯示重復(fù)記錄，通過(guò)布爾索引
df[df.duplicated()]

# 查詢重復(fù)值的個(gè)數(shù)。
df.duplicated().sum()

結(jié)果
1

以上是“如何使用pandas中DataFrame檢測(cè)重復(fù)值”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！