R語(yǔ)言標(biāo)簽平滑是什么

什么是標(biāo)簽平滑？

標(biāo)簽平滑是一種損失函數(shù)的修正，已被證明是非常有效的訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)的方法。標(biāo)簽平滑提高了圖像分類、翻譯甚至語(yǔ)音識(shí)別的準(zhǔn)確性。我們的團(tuán)隊(duì)用它來(lái)打破許多 FastAI 排行榜記錄：

簡(jiǎn)單的解釋是，它將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)從“1”調(diào)整為“1-label smoothing adjustment”，這意味著神經(jīng)網(wǎng)絡(luò)被訓(xùn)練得對(duì)自己的答案不那么自信。默認(rèn)值通常是 0.1，這意味著目標(biāo)答案是 0.9(1 - 0.1)而不是 1。

例如:假設(shè)我們要將圖像分類為狗和貓。如果我們看到一張狗的照片，我們訓(xùn)練 NN(通過(guò)交叉熵?fù)p失)向 1 表示狗，0 表示貓的方向移動(dòng)。如果是一只貓，我們訓(xùn)練的方向正好相反，1 代表貓，0 代表狗。換句話說(shuō)，這是一個(gè) binary 或者說(shuō)“hard”的答案。

然而，NN 有一個(gè)壞習(xí)慣，就是在訓(xùn)練過(guò)程中對(duì)預(yù)測(cè)變得“過(guò)于自信”，這可能會(huì)降低它們的泛化能力，從而在新的、看不見(jiàn)的未來(lái)數(shù)據(jù)上表現(xiàn)得同樣出色。此外，大型數(shù)據(jù)集通常會(huì)包含標(biāo)簽錯(cuò)誤的數(shù)據(jù)，這意味著神經(jīng)網(wǎng)絡(luò)在本質(zhì)上應(yīng)該對(duì)“正確答案”持懷疑態(tài)度，以減少一定程度上圍繞錯(cuò)誤答案的極端情況下的建模。

因此，標(biāo)簽平滑所做的就是通過(guò)訓(xùn)練 NN 向“1-adjustment”目標(biāo)移動(dòng)，然后在其余的類上除以這個(gè) adjustment，從而使它對(duì)自己的答案不那么自信，而不是簡(jiǎn)單的設(shè)為 1。

對(duì)于我們的二分類貓/狗示例，0.1 的標(biāo)簽平滑意味著目標(biāo)答案將是 0.90(90%確信)這是一個(gè)狗的圖像，而 0.10(10%確信)這是一只貓，而不是先前的向 1 或 0 移動(dòng)的結(jié)果。由于不太確定，它作為一種正則化形式，提高了它對(duì)新數(shù)據(jù)的預(yù)測(cè)能力。

可以看到，代碼中的標(biāo)簽平滑有助于理解它如何比通常的數(shù)學(xué)運(yùn)算更好地工作(來(lái)自 FastAI github)。ε 是標(biāo)簽平滑調(diào)整因子：

標(biāo)簽平滑對(duì)神經(jīng)網(wǎng)絡(luò)的影響

現(xiàn)在我們進(jìn)入文章的核心部分，直觀地展示標(biāo)簽平滑對(duì)神經(jīng)網(wǎng)絡(luò)分類處理的影響。

首先，AlexNet 在訓(xùn)練中對(duì)“飛機(jī)、汽車和鳥(niǎo)類”進(jìn)行分類。

左：沒(méi)有使用標(biāo)簽平滑進(jìn)行訓(xùn)練，右：使用標(biāo)簽標(biāo)簽平滑進(jìn)行訓(xùn)練

驗(yàn)證集上的表現(xiàn):

你可以看到的，標(biāo)簽平滑強(qiáng)制對(duì)分類進(jìn)行更緊密的分組，同時(shí)強(qiáng)制在聚類之間進(jìn)行更等距的間隔。

“河貍、海豚和水獺”的 ResNet 例子更能說(shuō)明問(wèn)題：

正如圖像所顯示的，標(biāo)簽平滑為最終的激活產(chǎn)生了更緊密的聚類和更大的類別間的分離。

這是為什么標(biāo)簽平滑可以產(chǎn)生更多的正則化和魯棒的神經(jīng)網(wǎng)絡(luò)的主要原因，重要的是趨向于更好地泛化未來(lái)的數(shù)據(jù)。然而，除了得到了更好的激活值的中心，還有額外的好處。

標(biāo)簽平滑的隱式網(wǎng)絡(luò)校正功能

在本文中，Hinton 等人從可視化過(guò)程出發(fā)，展示了如何在不需要手動(dòng)調(diào)節(jié)溫度的情況下，自動(dòng)校準(zhǔn)網(wǎng)絡(luò)，減少網(wǎng)絡(luò)校準(zhǔn)誤差。

以前的研究(Guo et al)表明，神經(jīng)網(wǎng)絡(luò)常常過(guò)于自信，相對(duì)于它們的真實(shí)準(zhǔn)確性校準(zhǔn)得很差。為了證明這一點(diǎn)，Guo 等人開(kāi)發(fā)了一種名為 ECE(預(yù)期校準(zhǔn)誤差)的校準(zhǔn)度量。通過(guò)使用這種度量方法，他們能夠使用一種稱為溫度縮放的訓(xùn)練后的修改器來(lái)調(diào)整給定神經(jīng)網(wǎng)絡(luò)的校準(zhǔn)值，并使網(wǎng)絡(luò)更好地與它的真實(shí)能力保持一致(減少 ECE)，從而提高最終精度。(在傳遞給 softmax 函數(shù)之前，通過(guò)將最終 logits 與溫度標(biāo)量相乘來(lái)執(zhí)行溫度縮放)。

這篇論文展示了一些例子，但是最好的例子是在 ImageNet 上使用和不使用標(biāo)簽平滑訓(xùn)練的 ResNet，并將這兩個(gè)網(wǎng)絡(luò)與溫度調(diào)整網(wǎng)絡(luò)進(jìn)行了比較。

正如你所看到的，使用標(biāo)簽平滑訓(xùn)練產(chǎn)生的網(wǎng)絡(luò)具有更好的 ECE(預(yù)期校準(zhǔn)誤差)，更簡(jiǎn)單地說(shuō)，相對(duì)于它自己的精度有一個(gè)更理想的置信度。

實(shí)際上，經(jīng)過(guò)平滑處理的標(biāo)簽網(wǎng)絡(luò)并不是“過(guò)于自信”的，因此應(yīng)該能夠在未來(lái)的真實(shí)數(shù)據(jù)上進(jìn)行泛化并表現(xiàn)得更好。

知識(shí)蒸餾(什么時(shí)候不使用標(biāo)簽平滑)

論文的最后一部分討論了這樣一個(gè)發(fā)現(xiàn)，即盡管標(biāo)簽平滑可以產(chǎn)生用于各種任務(wù)的改進(jìn)的神經(jīng)網(wǎng)絡(luò)……如果最終的模型將作為其他“學(xué)生”網(wǎng)絡(luò)的老師，那么它不應(yīng)該被使用。

作者注意到，盡管使用標(biāo)簽平滑化訓(xùn)練提高了教師的最終準(zhǔn)確性，但與使用“硬”目標(biāo)訓(xùn)練的教師相比，它未能向?qū)W生網(wǎng)絡(luò)傳遞足夠多的知識(shí)(沒(méi)有標(biāo)簽平滑化)。

標(biāo)簽平滑“擦除”了在hard目標(biāo)訓(xùn)練中保留的一些細(xì)節(jié)。這樣的泛化有利于教師網(wǎng)絡(luò)的性能，但是它傳遞給學(xué)生網(wǎng)絡(luò)的信息更少。

標(biāo)簽平滑產(chǎn)生的模型是不好的教師模型的原因可以通過(guò)初始的可視化或多或少的表現(xiàn)出來(lái)。通過(guò)強(qiáng)制將最終的分類劃分為更緊密的集群，該網(wǎng)絡(luò)刪除了更多的細(xì)節(jié)，將重點(diǎn)放在類之間的核心區(qū)別上。

這種“舍入”有助于網(wǎng)絡(luò)更好地處理不可見(jiàn)數(shù)據(jù)。然而，丟失的信息最終會(huì)對(duì)它教授新學(xué)生模型的能力產(chǎn)生負(fù)面影響。

因此，準(zhǔn)確性更高的老師并不能更好地向?qū)W生提煉信息。