Dropout正則化對抗及過擬合是什么

這篇“Dropout正則化對抗及過擬合是什么”文章的知識點大部分人都不太理解，所以小編給大家總結(jié)了以下內(nèi)容，內(nèi)容詳細，步驟清晰，具有一定的借鑒價值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“Dropout正則化對抗及過擬合是什么”文章吧。

1. 簡介

過擬合是我們大多數(shù)人在訓(xùn)練和使用機器學(xué)習模型時已經(jīng)或最終會遇到的常見挑戰(zhàn)。自機器學(xué)習誕生以來，研究人員一直在努力對抗過擬合。他們提出的一種技術(shù)是 dropout 正則化，其中模型中的神經(jīng)元被隨機移除。

1.1. 什么是過擬合

過擬合是指模型在其訓(xùn)練數(shù)據(jù)上過度訓(xùn)練，導(dǎo)致它在新數(shù)據(jù)上表現(xiàn)不佳。從本質(zhì)上講，在模型力求盡可能準確的過程中，它過分關(guān)注訓(xùn)練數(shù)據(jù)集中的細節(jié)和噪聲。這些屬性通常不存在于真實世界的數(shù)據(jù)中，因此模型往往表現(xiàn)不佳。當模型的參數(shù)相對于數(shù)據(jù)量而言太多時，就會發(fā)生過擬合。這可能導(dǎo)致模型過度關(guān)注與模型必須開發(fā)的一般模式無關(guān)的較小細節(jié)。例如，假設(shè)訓(xùn)練了一個復(fù)雜模型（許多參數(shù)）來識別圖片中是否有馬。在這種情況下，它可能會開始關(guān)注天空或環(huán)境的細節(jié)，而不是馬本身。這可能發(fā)生在：

• 該模型太復(fù)雜（具有太多參數(shù)）而不利于其自身。

• 模型訓(xùn)練時間過長。

• 訓(xùn)練模型的數(shù)據(jù)集太小。

• 該模型在相同的數(shù)據(jù)上進行訓(xùn)練和測試。

• 訓(xùn)練模型的數(shù)據(jù)集具有重復(fù)的特征，使其容易過擬合。

1.2. 重要性

過擬合不僅僅是一個簡單的煩惱——它會破壞整個模型。它給人一種模型表現(xiàn)良好的錯覺，即使它無法對所提供的數(shù)據(jù)進行適當?shù)母爬ā?/p>

過擬合會產(chǎn)生極其嚴重的后果，尤其是在人工智能越來越普及的醫(yī)療保健等領(lǐng)域。由于過擬合而未經(jīng)過適當訓(xùn)練或測試的 AI 可能導(dǎo)致錯誤診斷。

2. 什么是Dropout

• Dropout 是一種正則化技術(shù)

理想情況下，對抗過擬合的最佳方法是在同一數(shù)據(jù)集上訓(xùn)練大量不同架構(gòu)的模型，然后對它們的輸出進行平均。這種方法的問題在于它非常耗費資源和時間。雖然相對較小的模型可能負擔得起，但可能需要大量時間來訓(xùn)練的大型模型很容易壓垮任何人的資源。

Dropout 的工作原理是從輸入層或隱藏層中“丟棄”一個神經(jīng)元。多個神經(jīng)元從網(wǎng)絡(luò)中移除，這意味著它們實際上不存在——它們的傳入和傳出連接也被破壞。這人為地創(chuàng)建了許多更小、更不復(fù)雜的網(wǎng)絡(luò)。這迫使模型不再完全依賴于一個神經(jīng)元，這意味著它必須使其方法多樣化并開發(fā)多種方法來實現(xiàn)相同的結(jié)果。例如，回到馬的例子，如果一個神經(jīng)元主要負責馬的樹部分，它的被丟棄將迫使模型更多地關(guān)注圖像的其他特征。 Dropout 也可以直接應(yīng)用于輸入神經(jīng)元，這意味著整個特征都從模型中消失了。

• 將 Dropout 應(yīng)用于神經(jīng)網(wǎng)絡(luò)

通過在每一層（包括輸入層）中隨機丟棄神經(jīng)元，將 Dropout 應(yīng)用于神經(jīng)網(wǎng)絡(luò)。預(yù)定義的丟棄率決定了每個神經(jīng)元被丟棄的機會。例如，dropout rate 為 0.25 意味著神經(jīng)元有 25% 的幾率被丟棄。在模型訓(xùn)練期間的每個時期都會應(yīng)用 Dropout。

3. 應(yīng)用

3.1. 數(shù)據(jù)集

讓我們從一個可能容易過擬合的數(shù)據(jù)集開始：

# Columns: has tail, has face, has green grass, tree in background, has blue sky, 3 columns of noise | is a horse image (1) or not (0)
survey = np.array([
 [1, 1, 1, 1, 1, 1], # tail, face, green grass, tree, blue sky | is a horse image
 [1, 1, 1, 1, 1, 1], # tail, face, green grass, tree blue sky | is a horse image
 [0, 0, 0, 0, 0, 0], # no tail, no face, no green grass, no tree, no blue sky | is not a horse image
 [0, 0, 0, 0, 0, 0], # no tail, no face, no green grass, no tree, no blue sky | is not a horse image
])

此數(shù)據(jù)與我們的馬及其環(huán)境示例相關(guān)。我們將圖像的特性抽象為一種易于理解的簡單格式?？梢郧宄乜吹?，數(shù)據(jù)并不理想，因為其中有馬的圖像也恰好包含樹木、綠草或藍天——它們可能在同一張照片中，但一個不影響另一個。

3.2. 模型

讓我們使用 Keras 快速創(chuàng)建一個簡單的 MLP：

# Imports
from keras.models import Sequential
from keras.layers import Dense, Dropout
import numpy as np
# Columns: has tail, has face, has green grass, tree in background, has blue sky, 3 columns of noise | is a horse image (1) or not (0)
survey = np.array([
 [1, 1, 1, 1, 1, 1], # tail, face, green grass, tree, blue sky | is a horse image
 [1, 1, 1, 1, 1, 1], # tail, face, green grass, tree blue sky | is a horse image
 [0, 0, 0, 0, 0, 0], # no tail, no face, no green grass, no tree, no blue sky | is not a horse image
 [0, 0, 0, 0, 0, 0], # no tail, no face, no green grass, no tree, no blue sky | is not a horse image
])
# Define the model
model = Sequential([
    Dense(16, input_dim=5, activation='relu'),
    Dense(8, activation='relu'),
    Dense(1, activation='sigmoid')
])
# Compile the model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Train the model
X = survey[:, :-1]
y = survey[:, -1]
model.fit(X, y, epochs=1000, batch_size=1)
# Test the model on a new example
test_example = np.array([[1, 1, 0, 0, 0]])
prediction = model.predict(test_example)
print(prediction)

我強烈建議使用 Python notebook（例如 Jupyter Notebook）來組織代碼，這樣您就可以快速重新運行單元而無需重新訓(xùn)練模型。沿每個注釋拆分代碼。

讓我們進一步分析我們正在測試模型的數(shù)據(jù)：

test_example = np.array([[1, 1, 0, 0, 0]])

本質(zhì)上，我們有一張包含馬的所有屬性的圖像，但沒有包含在數(shù)據(jù)中的任何環(huán)境因素（綠草、藍天、樹木等）。模型輸出：

0.02694458

即使模型有臉和尾巴——我們用它來識別馬——也只有 2.7% 的概率確定圖像是馬。

3.3. Dropout

Keras 使實施 dropout 以及其他防止過擬合的方法變得非常簡單。我們只需要返回到包含模型層的列表：

# Define the model
model = Sequential([
    Dense(16, input_dim=5, activation='relu'),
    Dense(8, activation='relu'),
    Dense(1, activation='sigmoid')
])

并添加一些 dropout 層！

# Define the model
model = Sequential([
    Dense(16, input_dim=5, activation='relu'),
    Dropout(0.5),
    Dense(8, activation='relu'),
    Dropout(0.5),
    Dense(1, activation='sigmoid')
])

現(xiàn)在模型輸出：

0.98883545

馬圖像即使不包含環(huán)境變量，也有 99% 的把握是馬！

Dropout(0.5) 表示上層中的任何神經(jīng)元都有 50% 的機會被“丟棄”或從存在中移除。通過實施 dropout，我們基本上以資源高效的方式在數(shù)百個模型上訓(xùn)練了 MLP。

3.4. Dropout Rate

為你的模型找到理想的 Dropout 率的最好方法是通過反復(fù)試驗——沒有萬能的方法。從 0.1 或 0.2 左右的低丟失率開始，然后慢慢增加，直到達到所需的精度。使用我們的馬 MLP，0.05 的 dropout 導(dǎo)致模型有 16.5% 的置信度圖像是馬的圖像。另一方面，0.95 的 dropout 只是丟棄了太多神經(jīng)元以使模型無法運行——但仍然達到了 54.1% 的置信度。這些值不適用于此模型，但這確實意味著它們可能適合其他模型。

以上就是關(guān)于“Dropout正則化對抗及過擬合是什么”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對大家有幫助，若想了解更多相關(guān)的知識內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道。