python?pandas怎么遍歷每行并累加進(jìn)行條件過(guò)濾

今天小編給大家分享一下python pandas怎么遍歷每行并累加進(jìn)行條件過(guò)濾的相關(guān)知識(shí)點(diǎn)，內(nèi)容詳細(xì)，邏輯清晰，相信大部分人都還太了解這方面的知識(shí)，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來(lái)了解一下吧。

pandas遍歷每行并累加進(jìn)行條件過(guò)濾

 本次記錄主要實(shí)現(xiàn)對(duì)每行進(jìn)行排序，并保留前80%以前的偏好。

思路：

將每行的概率進(jìn)行排序，然后累加，累加值小于等于0.8的偏好保留，獲得一個(gè)累加過(guò)濾的dataframe,然后映射回原始數(shù)據(jù)中，保留每行的偏好。接下來(lái)是代碼的實(shí)現(xiàn)

a = [[0.2, 0.35, 0.45], [0.1,0.2, 0.7], [0.3, 0.5, 0.2]]
data = pd.DataFrame(a, index=['user1','user2','user3'], columns=["a", "b", "c"])

sum_df=[]
for index,row in data.iterrows():
    df = row.sort_values(ascending=False).cumsum()
    if df[0]>0.8:
        new_df = df[:1]
    else:
        new_df = df[df<=0.8]
    sum_df.append(new_df)
sum_df = pd.DataFrame(sum_df)
print(sum_df)

這是累加之后每個(gè)用戶保留的前80%偏好的類型，接下來(lái)如何將這個(gè)特征映射回去，將累加后的dataframe通過(guò)空值將其轉(zhuǎn)化為0-1dataframe,再和原數(shù)據(jù)集一一對(duì)應(yīng)相乘，就可以映射回去了，代碼如下

d = (sum_df.notnull())*1
print(d)

final_df = d*data #將保留地特征映射到原始數(shù)據(jù)中
print(final_df)

本節(jié)內(nèi)容目標(biāo)明確，實(shí)現(xiàn)了每個(gè)用戶的前80%偏好，不知道正在看的小伙伴有沒(méi)有懂？可以一起討論哦！

接下來(lái)，考慮優(yōu)化這個(gè)實(shí)現(xiàn)的代碼，前面的思路是通過(guò)兩個(gè)dataframe相乘實(shí)現(xiàn)的，當(dāng)數(shù)據(jù)集非常大的時(shí)候，效率很低，于是不用list,利用字典的形式實(shí)現(xiàn)

sum_df=[]
for index,row in data.iterrows():
    df = row.sort_values(ascending=False).cumsum()
    origin = row.to_dict() #原始每個(gè)用戶值
    if df[0]>0.8:
        new_df = df[:1]
    else:
        new_df = df[df<=0.8]
    name = new_df.name  #user
    tmp = new_df.to_dict()
    for key in tmp.keys(): # 原始值映射
        tmp[key] = origin[key]
    tmp['user'] = name
    sum_df.append(tmp)
sum_df = pd.DataFrame(sum_df).set_index('user').fillna(0)
print(sum_df)

通過(guò)字典映射效率很高，新測(cè)有效！

python DataFrame遍歷

在數(shù)據(jù)分析的過(guò)程中，往往需要用到DataFrame的類型，因?yàn)檫@個(gè)類型就像EXCEL表格一樣，便于我們個(gè)中連接、計(jì)算、統(tǒng)計(jì)等操作。在數(shù)據(jù)分析的過(guò)程中，避免不了的要對(duì)數(shù)據(jù)進(jìn)行遍歷，那么，DataFrame如何遍歷呢？之前，小白每次使用時(shí)都是Google或百度，想想，還是總結(jié)一下~

小白經(jīng)常用到的有三種方式，如下：

首先，先讀入一個(gè)DataFrame

import pandas as pd
#讀入數(shù)據(jù)
df = pd.read_table('d:/Users/chen_lib/Desktop/tmp.csv',sep=',', header='infer')
df.head()
 
-----------------result------------------
        mas  effectdate     num
0    371379    2019-07-15    361
1    344985    2019-07-13    77
2    425090    2019-07-01    105
3    344983    2019-02-19    339
4    432430    2019-02-21    162

1.DataFrame.iterrows()       

將DataFrame的每一行迭代為{索引，Series}對(duì)，對(duì)DataFrame的列，用row['cols']讀取元素

for index, row in df.iterrows():
    print(index,row['mas'],row['num']) 
  
 
------------result---------------
0 371379 361
1 344985 77
2 425090 105
3 344983 339
4 432430 162

從結(jié)果可以看出，第一列就是對(duì)應(yīng)的index，也就是索引，從0開(kāi)始，第二第三列是自定義輸出的列，這樣就完成了對(duì)DataFrame的遍歷。

2.DataFrame.itertuples()

將DataFrame的每一行迭代為元祖，可以通過(guò)row['cols']對(duì)元素進(jìn)行訪問(wèn)，方法一效率高。

for row in df.itertuples():
    print(getattr(row, 'mas'), getattr(row, 'num')) # 輸出每一行
 
 
-------------result-----------------
371379 361
344985 77
425090 105
344983 339
432430 162

從結(jié)果可以看出，這種方法是沒(méi)有index的，直接輸出每一行的結(jié)果。

3.DataFrame.iteritems()

這種方法和上面兩種不同，這個(gè)是按列遍歷，將DataFrame的每一列迭代為(列名, Series)對(duì)，可以通過(guò)row['cols']對(duì)元素進(jìn)行訪問(wèn)。

for index, row in df.iteritems():
    print(index,row[0],row[1],row[2])
 
 
-------------result------------------
masterhotelid 371379 344985 425090
effectdate 2019-07-15 2019-07-13 2019-07-01
quantity 361 77 105

從結(jié)果可以看出，index輸出的是列名，row是用來(lái)讀取第幾行的數(shù)據(jù)，結(jié)果是按列展示 

以上就是“python pandas怎么遍歷每行并累加進(jìn)行條件過(guò)濾”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會(huì)為大家更新不同的知識(shí)，如果還想學(xué)習(xí)更多的知識(shí)，請(qǐng)關(guān)注億速云行業(yè)資訊頻道。