大數(shù)據(jù)中正則化是什么意思

這篇文章給大家分享的是有關(guān)大數(shù)據(jù)中正則化是什么意思的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

前言

通過設(shè)計(jì)不同層數(shù)、大小的網(wǎng)絡(luò)模型，可以為優(yōu)化算法提供初始的函數(shù)假設(shè)空間（或者所示網(wǎng)絡(luò)容量）。但是隨著網(wǎng)絡(luò)參數(shù)的優(yōu)化更新，模型的實(shí)際容量是可以隨之變化的。
以多項(xiàng)式函數(shù)模型為例：
 y = r 0 + r 1 x + r 2 x 2 + r 3 x 3 … + r n x n + e r r o r y=r_0+r_1x+r_2x^2+r_3x^3…+r_nx^n+error y=r0+r1x+r2x2+r3x3…+rnxn+error
上述模型容量可以通過n來簡(jiǎn)單衡量。在訓(xùn)練的過程中，如果模型參數(shù) r i = 0 r_i=0 ri=0，表征的函數(shù)模型也就降維了，那么網(wǎng)絡(luò)的實(shí)際容量也就相應(yīng)的減小了。因此，通過限制網(wǎng)絡(luò)的稀疏性，可以來約束網(wǎng)絡(luò)的實(shí)際容量。

正則化

正則化正是通過在損失函數(shù)上添加額外的參數(shù)稀疏性懲罰項(xiàng)（正則項(xiàng)），來限制網(wǎng)絡(luò)的稀疏性，以此約束網(wǎng)絡(luò)的實(shí)際容量，從而防止模型出現(xiàn)過擬合。

因此，對(duì)模型的參數(shù)添加稀疏性懲罰項(xiàng)后，我們的目標(biāo)損失函數(shù)就變?yōu)椋?br/>
式子中的第一項(xiàng)為原始的損失函數(shù)，第二項(xiàng)是對(duì)網(wǎng)絡(luò)參數(shù)的稀疏性約束函數(shù)，也就是正則項(xiàng)。
下面我們重點(diǎn)來研究一下正則項(xiàng)。一般地，參數(shù)的稀疏性約束通過約束參數(shù) θ \theta θ的L范數(shù)實(shí)現(xiàn)，即：

新的優(yōu)化目標(biāo)除了要最小化原來的損失函數(shù)之外，還需要約束網(wǎng)絡(luò)參數(shù)的稀疏性，優(yōu)化算法會(huì)在降低損失函數(shù)的同時(shí)，盡可能地迫使網(wǎng)絡(luò)參數(shù) θ \theta θ變得稀疏，他們之間的權(quán)重關(guān)系通過超參數(shù)????來平衡，較大的????意味著網(wǎng)絡(luò)的稀疏性更重要；較小的????則意味著網(wǎng)絡(luò)的訓(xùn)練誤差更重要。通過選擇合適的????超參數(shù)可以獲得較好的訓(xùn)練性能，同時(shí)保證網(wǎng)絡(luò)的稀疏性，從而獲得不錯(cuò)的泛化能力。
常用的正則化方式有 L0，L1，L2 正則化。即0范數(shù)、1范數(shù)、2范數(shù)。

L0 正則化

L0 正則化是指采用 L0 范數(shù)作為稀疏性懲罰項(xiàng) Ω ( θ ) \Omega(\theta) Ω(θ)的正則化方式，即

其中，L0范數(shù)定義為： θ i \theta_i θi中非零元素的個(gè)數(shù)。通過約束 Ω ( θ ) \Omega(\theta) Ω(θ)的大小，可以迫使網(wǎng)絡(luò)中的連接權(quán)值大部分為0。但是由于L0范數(shù)并不可導(dǎo)，不能利用梯度下降法進(jìn)行優(yōu)化，所以在神經(jīng)網(wǎng)絡(luò)中的使用并不多。

L1 正則化

采用 L1 范數(shù)作為稀疏性懲罰項(xiàng) Ω ( θ ) \Omega(\theta) Ω(θ)的正則化方式叫做 L1 正則化，即

其中，L1范數(shù)定義為： θ i \theta_i θi中所有元素的絕對(duì)值之和。L1 正則化也叫 Lasso
Regularization，它是連續(xù)可導(dǎo)的，在神經(jīng)網(wǎng)絡(luò)中使用廣泛。

L2正則化

采用 L2 范數(shù)作為稀疏性懲罰項(xiàng) Ω ( θ ) \Omega(\theta) Ω(θ)的正則化方式叫做 L2 正則化，即
其中L2范數(shù)定義為： θ i \theta_i θi中所有元素的平方和。L2 正則化也叫Ridge Regularization，它和 L1 正則化一樣，也是連續(xù)可導(dǎo)的，在神經(jīng)網(wǎng)絡(luò)中使用廣泛。

正則化效果

下面實(shí)驗(yàn)，在維持網(wǎng)絡(luò)結(jié)構(gòu)等其他超參數(shù)不變的條件下，在損失函數(shù)上添加L2正則化項(xiàng)，并通過改變超參數(shù) λ \lambda λ來獲得不同程度的正則化效果。
實(shí)驗(yàn)效果如下：

可以看到，隨著正則化系數(shù)????的增加，網(wǎng)絡(luò)對(duì)參數(shù)稀疏性的懲罰變大，從而迫使優(yōu)化算法搜索而得到網(wǎng)絡(luò)容量更小的模型。在???? = 0.00001時(shí)，正則化的作用比較微弱，網(wǎng)絡(luò)出現(xiàn)了過擬合現(xiàn)象；但是???? = 0.1時(shí)，網(wǎng)絡(luò)已經(jīng)能夠優(yōu)化到合適的容量，并沒有出現(xiàn)明顯過擬合和欠擬合的現(xiàn)象。
需要注意的是，實(shí)際訓(xùn)練時(shí)，一般先嘗試較小的正則化系數(shù)????，觀測(cè)網(wǎng)絡(luò)是否出現(xiàn)過擬合現(xiàn)象。然后嘗試逐漸增大????參數(shù)來增加網(wǎng)絡(luò)參數(shù)稀疏性，提高泛化能力。但是，過大的????
參數(shù)有可能導(dǎo)致網(wǎng)絡(luò)不收斂，需要根據(jù)實(shí)際任務(wù)調(diào)節(jié)。

感謝各位的閱讀！關(guān)于“大數(shù)據(jù)中正則化是什么意思”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！