Python常見的歸一化方法有什么作用

這篇“Python常見的歸一化方法有什么作用”文章的知識點大部分人都不太理解，所以小編給大家總結了以下內(nèi)容，內(nèi)容詳細，步驟清晰，具有一定的借鑒價值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“Python常見的歸一化方法有什么作用”文章吧。

數(shù)據(jù)歸一化是深度學習數(shù)據(jù)預處理中非常關鍵的步驟，可以起到統(tǒng)一量綱，防止小數(shù)據(jù)被吞噬的作用。

一：歸一化的概念

歸一化就是把所有數(shù)據(jù)都轉化成[0,1]或者[-1,1]之間的數(shù)，其目的是為了取消各維數(shù)據(jù)之間的數(shù)量級差別，避免因為輸入輸出數(shù)據(jù)數(shù)量級差別大而造成網(wǎng)絡預測誤差過大。

二：歸一化的作用

1. 為了后面數(shù)據(jù)處理的方便，歸一化可以避免一些不必要的數(shù)值問題。

2. 為了程序運行時收斂速度更快

3. 統(tǒng)一量綱。樣本數(shù)據(jù)的評價標準不一樣，需要對其量綱化，統(tǒng)一評價標準，這算是應用層面的需求。

4. 避免神經(jīng)元飽和。就是說當神經(jīng)元的激活在接近0或者1時，在這些區(qū)域，梯度幾乎為0，這樣在反向傳播過程中，局部梯度就會接近于0，這樣非常不利于網(wǎng)絡的訓練。

5. 保證輸出數(shù)據(jù)中數(shù)值小的不被吞食。

三：歸一化的類型

1：線性歸一化

線性歸一化也被稱為最小-最大規(guī)范化；離散標準化，是對原始數(shù)據(jù)的線性變換，將數(shù)據(jù)值映射到[0,1]之間。用公式表示為：

差標準化保留了原來數(shù)據(jù)中存在的關系，是消除量綱和數(shù)據(jù)取值范圍影響的最簡單的方法。代碼實現(xiàn)如下：

def MaxMinNormalization(x,Max,Min):
    x = (x - Min) / (Max - Min);
    return x

適用范圍：比較適用在數(shù)值比較集中的情況

缺點：

1. 如果max和min不穩(wěn)定，很容易使得歸一化的結果不穩(wěn)定，使得后續(xù)使用效果也不穩(wěn)定。如果遇到超過目前屬性[min,max]取值范圍的時候，會引起系統(tǒng)報錯。需要重新確定min和max。

2. 如果數(shù)值集中的某個數(shù)值很大，則規(guī)范化后各值接近于0，并且將會相差不大。（如 1,1.2,1.3,1.4,1.5,1.6,10）這組數(shù)據(jù)。

2：零-均值歸一化（Z-score標準化）

Z-score標準化也被稱為標準差標準化，經(jīng)過處理的數(shù)據(jù)的均值為0，標準差為1。其轉化公式為：

其中為原始數(shù)據(jù)的均值，為原始數(shù)據(jù)的標準差，是當前用的最多的標準化公式

這種方法給予原始數(shù)據(jù)的均值（mean）和標準差（standard deviation）進行數(shù)據(jù)的標準化。經(jīng)過處理的數(shù)據(jù)符合標準正態(tài)分布，即均值為0，標準差為1，這里的關鍵在于復合標準正態(tài)分布

代碼實現(xiàn)如下：

def Z_ScoreNormalization(x,mu,sigma):
    x = (x - mu) / sigma;
    return x

3：小數(shù)定標規(guī)范化

這種方法通過移動屬性值的小數(shù)數(shù)位，將屬性值映射到[-1,1]之間，移動的小數(shù)位數(shù)取決于屬性值絕對值的最大值。轉換公式為：

4:非線性歸一化 

這個方法包括log，指數(shù)，正切

適用范圍：經(jīng)常用在數(shù)據(jù)分析比較大的場景，有些數(shù)值很大，有些很小，將原始值進行映射。

四：批歸一化（BatchNormalization）

1：引入

在以往的神經(jīng)網(wǎng)絡訓練時，僅僅只對輸入層數(shù)據(jù)進行歸一化處理，卻沒有在中間層進行歸一化處理。雖然我們對輸入數(shù)據(jù)進行了歸一化處理，但是輸入數(shù)據(jù)經(jīng)過了這樣的矩陣乘法之后，其數(shù)據(jù)分布很可能發(fā)生很大改變，并且隨著網(wǎng)絡的層數(shù)不斷加深。數(shù)據(jù)分布的變化將越來越大。因此這種在神經(jīng)網(wǎng)絡中間層進行的歸一化處理，使得訓練效果更好的方法就被稱為批歸一化（BN）

2：BN算法的優(yōu)點

1. 減少了人為選擇參數(shù)

2. 減少了對學習率的要求，我們可以使用初始狀態(tài)下很大的學習率或者當使用較小的學習率時，算法也能夠快速訓練收斂。

3. 破換了原來的數(shù)據(jù)分布，一定程度上緩解了過擬合（防止每批訓練中某一個樣本經(jīng)常被挑選到）

4. 減少梯度消失，加快收斂速度，提高訓練精度。

3：批歸一化（BN）算法流程

輸入：上一層輸出結果X={x1,x2,.....xm},學習參數(shù)，

算法流程：

1）計算上一層輸出數(shù)據(jù)的均值：

其中，m是此次訓練樣本batch的大小。

2）計算上一層輸出數(shù)據(jù)的標準差：

3)歸一化處理得到

公式中的是為了避免分母為0而加進去接近于0的很小的值。

4）重構，對經(jīng)過上面歸一化處理得到的數(shù)據(jù)進行重構，得到：

其中，為可學習的參數(shù)。

以上就是關于“Python常見的歸一化方法有什么作用”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對大家有幫助，若想了解更多相關的知識內(nèi)容，請關注億速云行業(yè)資訊頻道。