如何解決基于python等頻分箱qcut的問(wèn)題

小編給大家分享一下如何解決基于python等頻分箱qcut的問(wèn)題，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

在python 較新的版本中，pandas.qcut()這個(gè)函數(shù)中是有duplicates這個(gè)參數(shù)的，它能解決在等頻分箱中遇到的重復(fù)值過(guò)多引起報(bào)錯(cuò)的問(wèn)題；

在比較舊版本的python中，提供一下解決辦法：

import pandas as pd
 
def pct_rank_qcut(series, n):
  '''
  series：要分箱的列
  n：箱子數(shù)
  '''
  edages = pd.series([i/n for i in range(n)] # 轉(zhuǎn)換成百分比
  func = lambda x: (edages >= x).argmax() #函數(shù)：(edages >= x)返回fasle/true列表中第一次出現(xiàn)true的索引值
  return series.rank(pct=1).astype(float).apply(func) #series.rank(pct=1)每個(gè)值對(duì)應(yīng)的百分位數(shù)，最終返回對(duì)應(yīng)的組數(shù);rank()函數(shù)傳入的數(shù)據(jù)類型若為object，結(jié)果會(huì)有問(wèn)題，因此進(jìn)行了astype

補(bǔ)充拓展：Python數(shù)據(jù)離散化:等寬及等頻

在處理數(shù)據(jù)時(shí)，我們往往需要將連續(xù)性變量進(jìn)行離散化，最常用的方式便是等寬離散化，等頻離散化，在此處我們討論離散化的概念，只給出在python中的實(shí)現(xiàn)以供參考

1. 等寬離散化

使用pandas中的cut()函數(shù)進(jìn)行劃分

import numpy as np
import pandas as pd
 
# Discretization: Equal Width #
# Datas: Sample * Feature
def Discretization_EqualWidth(K, Datas, FeatureNumber):
  DisDatas = np.zeros_like(Datas)
  for i in range(FeatureNumber):
    DisOneFeature = pd.cut(Datas[:, i], K, labels=range(1, K+1))
    DisDatas[:, i] = DisOneFeature
  return DisDatas

2. 等頻離散化

pandas中有qcut()可以使用，但是邊界易出現(xiàn)重復(fù)值，如果為了刪除重復(fù)值設(shè)置 duplicates=‘drop'，則易出現(xiàn)于分片個(gè)數(shù)少于指定個(gè)數(shù)的問(wèn)題，因此在此處不使用qcut()

import numpy as np
import pandas as pd
 
# Discretization: Equal Frequency #
# vector: single feature
def Rank_qcut(vector, K):
  quantile = np.array([float(i) / K for i in range(K + 1)]) # Quantile: K+1 values
  funBounder = lambda x: (quantile >= x).argmax()
  return vector.rank(pct=True).apply(funBounder)
 
# Discretization: Equal Frequency #
# Datas: Sample * Feature
def Discretization_EqualFrequency(K, Datas, FeatureNumber):
  DisDatas = np.zeros_like(Datas)
  w = [float(i) / K for i in range(K + 1)]
  for i in range(FeatureNumber):
    DisOneFeature = Rank_qcut(pd.Series(Datas[:, i]), K)
    #print(DisOneFeature)
    DisDatas[:, i] = DisOneFeature
  return DisDatas

看完了這篇文章，相信你對(duì)“如何解決基于python等頻分箱qcut的問(wèn)題”有了一定的了解，如果想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！