大數(shù)據(jù)中損失函數(shù)的正則化

這篇文章將為大家詳細(xì)講解有關(guān)大數(shù)據(jù)中損失函數(shù)的正則化，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

范數(shù)(Norm): 用來(lái)度量某個(gè)向量空間(或矩陣)中每個(gè)向量的長(zhǎng)度或大小。

向量范數(shù)——L1和L2最常用

矩陣范數(shù)

線性回歸的正則化

使用訓(xùn)練集擬合線性回歸方程時(shí)，如使用多項(xiàng)式擬合時(shí)，一般來(lái)說(shuō)擬合方程的次數(shù)越高擬合效果越好，損失函數(shù)越小，但擬合函數(shù)也變得更加復(fù)雜。

在某些異常的情況下，如訓(xùn)練的數(shù)據(jù)量較小或者特征過(guò)多時(shí)，測(cè)試集中如果出現(xiàn)先前訓(xùn)練集中沒(méi)有的樣本，預(yù)測(cè)結(jié)果未必有效，使得分類(lèi)結(jié)果的方差較大，出現(xiàn)過(guò)擬合，由此可見(jiàn)損失函數(shù)過(guò)小也不可取，意味著模型的通用性不夠，即需要提高泛化能力，因而加上正則化項(xiàng)。此處正則化參數(shù)的標(biāo)識(shí)是α，有些資料中會(huì)顯示為λ，因?yàn)樵趕klearn庫(kù)中，此項(xiàng)參數(shù)的標(biāo)識(shí)為α，為方便使用，標(biāo)識(shí)采用α。

線性回歸正則化后的梯度更新方法

與線性回歸的梯度更新公式相同，當(dāng)θk等于θj時(shí)，可以對(duì)式子求導(dǎo)，得到新的梯度更新公式。

為什么

為加強(qiáng)對(duì)正則化的理解，舉例說(shuō)明回歸為什么要正則化-Regularization

    多項(xiàng)式的次數(shù)提高，對(duì)于擬合性能的提升不大。

    當(dāng)把訓(xùn)練樣本數(shù)從500降低至498時(shí)，發(fā)現(xiàn)高次多項(xiàng)式對(duì)于擬合的效果反而下降，對(duì)數(shù)據(jù)的預(yù)測(cè)能力下降，出現(xiàn)過(guò)擬合的現(xiàn)象。

正則化的基本方法是將所有多項(xiàng)式的系數(shù)的絕對(duì)值之和-L1正則化，或者多項(xiàng)式的系數(shù)絕對(duì)值的平方和再開(kāi)方-L2正則化加入到懲罰項(xiàng)中，并制定一個(gè)懲罰力度因子來(lái)避免產(chǎn)生畸形的系數(shù)；即通過(guò)使用Lasso回歸-采取L1正則化，嶺回歸-采取L2正則化，或者彈性網(wǎng)回歸-L1+L2正則化來(lái)降低過(guò)擬合。上面通過(guò)舉例使用嶺回歸，可以發(fā)現(xiàn)模型克服了100次多項(xiàng)式帶來(lái)的過(guò)擬合問(wèn)題。

嶺回歸中正則權(quán)重的作用

正則強(qiáng)度α是正則化系數(shù)或懲罰力度因子，weights權(quán)重系數(shù)是回歸方程中的系數(shù)，一條不同顏色的曲線代表權(quán)重系數(shù)向量的一個(gè)不同的分量。α往左越大，往右趨向于0，因此可以α可以對(duì)權(quán)重系數(shù)進(jìn)行約束。

通過(guò)交叉驗(yàn)證找到最佳超參數(shù)α

交叉驗(yàn)證Cross Validation 是將訓(xùn)練集分成幾份，分別用來(lái)訓(xùn)練，測(cè)試和驗(yàn)證，以尋找到最佳的超參數(shù)，在程序中設(shè)置好一組alpha后，程序可自行驗(yàn)證并返回最佳的alpha。

關(guān)于“大數(shù)據(jù)中損失函數(shù)的正則化”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。