大數(shù)據(jù)機(jī)器學(xué)習(xí)中的過擬合與解決辦法

什么是過擬合

對(duì)于機(jī)器學(xué)習(xí)項(xiàng)目而言，過擬合（overfitting）這個(gè)問題一般都會(huì)遇到。什么是過擬合呢？

維基百科：

• 在統(tǒng)計(jì)學(xué)中，過擬合現(xiàn)象是指在擬合一個(gè)統(tǒng)計(jì)模型時(shí)，使用過多參數(shù)。對(duì)比于可獲取的數(shù)據(jù)總量來說，一個(gè)荒謬的模型只要足夠復(fù)雜，是可以完美地適應(yīng)數(shù)據(jù)。過擬合一般可以視為違反奧卡姆剃刀原則。當(dāng)可選擇的參數(shù)的自由度超過數(shù)據(jù)所包含信息內(nèi)容時(shí)，這會(huì)導(dǎo)致最后（擬合后）模型使用任意的參數(shù)，這會(huì)減少或破壞模型一般化的能力更甚于適應(yīng)數(shù)據(jù)。過擬合的可能性不只取決于參數(shù)個(gè)數(shù)和數(shù)據(jù)，也跟模型架構(gòu)與數(shù)據(jù)的一致性有關(guān)。此外對(duì)比于數(shù)據(jù)中預(yù)期的噪聲或錯(cuò)誤數(shù)量，跟模型錯(cuò)誤的數(shù)量也有關(guān)。

• 過擬合現(xiàn)象的觀念對(duì)機(jī)器學(xué)習(xí)也是很重要的。通常一個(gè)學(xué)習(xí)算法是借由訓(xùn)練示例來訓(xùn)練的。亦即預(yù)期結(jié)果的示例是可知的。而學(xué)習(xí)者則被認(rèn)為須達(dá)到可以預(yù)測(cè)出其它示例的正確的結(jié)果，因此，應(yīng)適用于一般化的情況而非只是訓(xùn)練時(shí)所使用的現(xiàn)有數(shù)據(jù)（根據(jù)它的歸納偏向）。然而，學(xué)習(xí)者卻會(huì)去適應(yīng)訓(xùn)練數(shù)據(jù)中太特化但又隨機(jī)的特征，特別是在當(dāng)學(xué)習(xí)過程太久或示例太少時(shí)。在過擬合的過程中，當(dāng)預(yù)測(cè)訓(xùn)練示例結(jié)果的表現(xiàn)增加時(shí)，應(yīng)用在未知數(shù)據(jù)的表現(xiàn)則變更差。

• 相對(duì)于過擬合是指，使用過多參數(shù)，以致太適應(yīng)數(shù)據(jù)而非一般情況，另一種常見的現(xiàn)象是使用太少參數(shù)，以致于不適應(yīng)數(shù)據(jù)，這則稱為欠擬合（underfitting），或稱：擬合不足現(xiàn)象。

這里不展開說明欠擬合現(xiàn)象，后續(xù)補(bǔ)上。總的來說，是學(xué)習(xí)得過頭了，死記硬背的那種學(xué)習(xí)，對(duì)于訓(xùn)練數(shù)據(jù)預(yù)測(cè)得非常準(zhǔn)確，但當(dāng)遇到新的問題時(shí)候，泛化能力不行，無法作出正確的預(yù)測(cè)。

綠線代表過擬合模型，黑線代表正則化模型。雖然綠線完美的匹配訓(xùn)練數(shù)據(jù)，但太過依賴，并且與黑線相比，對(duì)于新的測(cè)試數(shù)據(jù)上具有更高的錯(cuò)誤率。

知乎

知乎上有個(gè)帖子：用簡(jiǎn)單易懂的語(yǔ)言描述「過擬合 overfitting」？

過擬合其實(shí)就是一種機(jī)器學(xué)習(xí)沒找到正確的規(guī)律情況，所以要搞懂什么是過擬合首先得搞懂為什么機(jī)器學(xué)習(xí)能找出正確規(guī)律。

具體情況

實(shí)際中遇到的問題，訓(xùn)練和測(cè)試曲線如下：

可以看到訓(xùn)練損失一直下降，但測(cè)試損失先下降后上升。

解決辦法

        在統(tǒng)計(jì)和機(jī)器學(xué)習(xí)中，為了避免過擬合現(xiàn)象，須要使用額外的技巧，以指出何時(shí)會(huì)有更多訓(xùn)練而沒有導(dǎo)致更好的一般化。具體有以下幾種方法：

• 獲取更多數(shù)據(jù)；

• 使用合適的模型；

• 結(jié)合多種模型；

• 貝葉斯方法；

增大訓(xùn)練數(shù)據(jù)后，加入earlystopping，曲線稍微好點(diǎn)。