如何Python進行Lasso回歸選取關(guān)鍵特征

我們選取部分GDP指標如下所示：

Lasso回歸方法屬于正則化方法的一種，是壓縮估計。它通過構(gòu)造一個懲罰函數(shù)得到一個較對精煉的模型。使用它壓縮一些系數(shù)，同時設(shè)定一些系數(shù)為零，保留了子集收縮的優(yōu)點，是一種處理具有復共線性數(shù)據(jù)的有偏估計。

Lasso基本原理

Lasso以縮小特征集（降階）為思想，是一種收縮估計方法。Lasso方法可以將特征的系數(shù)進行壓縮并使某些回歸系數(shù)變?yōu)?，進而達到特征選擇的目的，可以廣泛地應(yīng)用于模型改進與選擇。通過選擇懲罰函數(shù)，借用Lasso思想和方法實現(xiàn)特征選擇的目的。模型選擇本質(zhì)上是尋求模型稀疏表達的過程，而這種過程可以通過優(yōu)化一個“損失”+“懲罰”的函數(shù)問題來完成。

其中，為非負正則參數(shù)，控制著模型的復雜程度。越大，對特征較多的線性模型的懲罰力度就越大，從而最終獲得一個特征較少的模型，稱為懲罰項。參數(shù)的確定可以采用交叉驗證法，選取交叉驗證誤差最小的值。最后，按照得到的值，用全部數(shù)據(jù)重新擬合模型即可。

Lasso適用場景

當原始特征中存在多重共線性時，Laso回歸不失為一種很好的處理共線性的方法，它可以有效地對存在多重共線性的特征進行篩選。在機器學習中，面對海量的數(shù)據(jù)，首先想到的就是降維，爭取用盡可能少的數(shù)據(jù)解決問題，從這層意義上說，用Lasso模型進行特征選擇也是一種有效的降維方法。從理論上說，Lasso對數(shù)據(jù)類型沒有太多限制，可以接收任何類型的數(shù)據(jù)，而且一般不需要對特征進行標準化處理。

Lasso回歸方法優(yōu)缺點

Lasso回歸方法的優(yōu)點是可以彌補最小二乘估計法和逐步回歸局部最優(yōu)估計的不足，可以很好地進行特征的選擇，有效地解決各特征之間存在多重共線性的問題。缺點是當存在一組高度相關(guān)的特征時，Lasso回歸方法傾向于選擇其中的一個特征，而忽視其他所有的特征，這種情況會導致結(jié)果的不穩(wěn)定性。雖然Lasso回歸方法存在弊端，但是在合適的場景中還是可以發(fā)揮不錯的效果的。

得出Lasso回歸后，各個特征的值如下表所示

用Lasso回歸，剔除值為0.000的系數(shù)，得出，影響國內(nèi)生產(chǎn)總值的關(guān)鍵因素為，X1、X2、X3、X4、X5 、X6、X7、X8、X9、X11、X12，用這些特征進行下一步的研究。

     

   

#Lasso模型程序

import numpy as np

import pandas as pd

from sklearn.linear_model import Lasso

inputfile = 'C:\\Users\\27342\\Desktop\\data.csv' #輸入的數(shù)據(jù)文件

data = pd.read_csv(inputfile) #讀取數(shù)據(jù)

lasso = Lasso(1000)  #調(diào)用Lasso()函數(shù)，設(shè)置λ的值為1000

lasso.fit(data.iloc[:,0:12],data['y'])

print('相關(guān)系數(shù)為：',np.round(lasso.coef_,5))  #輸出結(jié)果，保留五位小數(shù)

## 計算相關(guān)系數(shù)非零的個數(shù)

print('相關(guān)系數(shù)非零個數(shù)為：',np.sum(lasso.coef_ != 0))

mask = lasso.coef_ != 0  #返回一個相關(guān)系數(shù)是否為零的布爾數(shù)組

print('相關(guān)系數(shù)是否為零：',mask)

outputfile = 'C:\\Users\\27342\\Desktop\\new_reg_data.csv'  #輸出的數(shù)據(jù)文件

new_reg_data = data.iloc[:, mask]  #返回相關(guān)系數(shù)非零的數(shù)據(jù)

new_reg_data.to_csv(outputfile)  #存儲數(shù)據(jù)

print('輸出數(shù)據(jù)的維度為：',new_reg_data.shape)  #查看輸出數(shù)據(jù)的維度