Python如何通過兩個(gè)dataframe用for循環(huán)求笛卡爾積

發(fā)布時(shí)間：2020-07-29 13:52:16 來源：億速云閱讀：531 作者：小豬欄目：開發(fā)技術(shù)

這篇文章主要為大家展示了Python如何通過兩個(gè)dataframe用for循環(huán)求笛卡爾積，內(nèi)容簡(jiǎn)而易懂，希望大家可以學(xué)習(xí)一下，學(xué)習(xí)完之后肯定會(huì)有收獲的，下面讓小編帶大家一起來看看吧。

合并兩個(gè)沒有共同列的dataframe，相當(dāng)于按行號(hào)求笛卡爾積。

最終效果如下

以下代碼是參考別人的代碼修改的：

def cartesian_df(A,B):
    new_df = pd.DataFrame(columns=list(A).extend(list(B)))
    for _,A_row in A.iterrows():
      for _,B_row in B.iterrows():
        row = A_row.append(B_row)
        new_df = new_df.append(row,ignore_index=True)
    return new_df
#這個(gè)方法，如果兩張表列名重復(fù)會(huì)出錯(cuò)

這段代碼的思路是對(duì)兩個(gè)表的每一行進(jìn)行循環(huán)，運(yùn)行速度比較慢，復(fù)雜度應(yīng)該是O(m*n)，m是A表的行數(shù)，n是B表的行數(shù)。

因?yàn)槲矣玫降暮喜⒈硇袛?shù)比較多，時(shí)間太慢，所以針對(duì)上面的代碼進(jìn)行了優(yōu)化。

思路是利用dataframe的merge功能，先循環(huán)復(fù)制A表，將循環(huán)次數(shù)添加為列，直接使用merge合并，復(fù)雜度應(yīng)該為O(n)（n是B表的行數(shù)），代碼如下：

def cartesian_df(df_a,df_b):
  '求兩個(gè)dataframe的笛卡爾積'
  #df_a 復(fù)制n次，索引用復(fù)制次數(shù)
  new_df_a = pd.DataFrame(columns=list(df_a))
  for i in range(0,df_b.shape[0]):
    df_a['merge_index'] = i
    new_df_a = new_df_a.append(df_a,ignore_index=True)
  #df_b 設(shè)置索引為行數(shù)
  df_b.reset_index(inplace = True, drop =True)
  df_b['merge_index'] = df_b.index
  #merge
  new_df = pd.merge(new_df_a,df_b,on=['merge_index'],how='left').drop(['merge_index'],axis = 1)
  return new_df

#兩個(gè)原始表中不能有列名'merge_index'

使用一張8行的表和一張142行的表進(jìn)行測(cè)試，優(yōu)化前的方法用時(shí)：5.560689926147461秒

Python如何通過兩個(gè)dataframe用for循環(huán)求笛卡爾積

優(yōu)化后的方法用時(shí)：0.1296539306640625秒（142行的表作為b表）

Python如何通過兩個(gè)dataframe用for循環(huán)求笛卡爾積

根據(jù)計(jì)算原理，將行數(shù)少的表放在b表可以更快，測(cè)試用時(shí)：0.021603107452392578秒（8行的表作為b表）

Python如何通過兩個(gè)dataframe用for循環(huán)求笛卡爾積

這個(gè)速度已經(jīng)達(dá)到預(yù)期，基本感覺不到等待，優(yōu)化完成。

以上就是關(guān)于Python如何通過兩個(gè)dataframe用for循環(huán)求笛卡爾積的內(nèi)容，如果你們有學(xué)習(xí)到知識(shí)或者技能，可以把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

Python如何通過兩個(gè)dataframe用for循環(huán)求笛卡爾積

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽