大數(shù)據(jù)中適用于少量數(shù)據(jù)的深度學(xué)習(xí)結(jié)構(gòu)是什么

傳統(tǒng)的CNNs (AlexNet, VGG, GoogLeNet, ResNet, DenseNet…)在數(shù)據(jù)集中每個(gè)類樣本數(shù)量較多的情況下表現(xiàn)良好。不幸的是，當(dāng)你擁有一個(gè)小數(shù)據(jù)集時(shí)，它們通常不能很好地工作。但是，在許多真實(shí)的場(chǎng)景中，收集數(shù)據(jù)是很有挑戰(zhàn)性的。例如，在人臉識(shí)別系統(tǒng)中，通常每個(gè)人的圖像都很少，或者在醫(yī)學(xué)領(lǐng)域中，一些罕見疾病的病例也很有限。

那么，當(dāng)你的類別中只有5個(gè)樣本，甚至每個(gè)類別只有一個(gè)樣本時(shí)，深度學(xué)習(xí)能提供什么呢？這個(gè)問題被稱為few-shot learning。這是一個(gè)活躍的研究領(lǐng)域，有許多成功的方法可以采用。在本文中，我將只提到一些最有前途的體系結(jié)構(gòu)。

這篇文章不會(huì)深入地解釋架構(gòu)，因?yàn)檫@會(huì)使文章變得很長(zhǎng)。相反，我將只介紹架構(gòu)的主要思想，以便任何希望處理小數(shù)據(jù)集的人都可以對(duì)模型有一個(gè)大致的了解。

Siamese Neural Networks

Siamese神經(jīng)網(wǎng)絡(luò)以兩個(gè)樣本作為輸入，輸出給定輸入是否屬于同一類的概率(或損失)。輸入樣本通過相同的網(wǎng)絡(luò)(共享權(quán)值)，它們的嵌入在損失函數(shù)中進(jìn)行比較(通常使用基于嵌入的差異的度量)。在訓(xùn)練過程中，“網(wǎng)絡(luò)”學(xué)會(huì)以更穩(wěn)健的方式對(duì)輸入進(jìn)行編碼。首先，在支持集(驗(yàn)證步驟)上對(duì)模型進(jìn)行訓(xùn)練，以學(xué)習(xí)相同/不同的配對(duì)。然后，將測(cè)試樣本與訓(xùn)練集中的每個(gè)樣本進(jìn)行比較，得到基于學(xué)習(xí)的編碼后的測(cè)試樣本與每個(gè)類(one-shot task)的相似度。它是在few-shot學(xué)習(xí)領(lǐng)域中第一個(gè)成功的模型之一，并成為其他模型的基礎(chǔ)。

Triplet Network and Triplet Loss

Triplet Network是對(duì)Siamese 網(wǎng)絡(luò)的擴(kuò)展。Triplet網(wǎng)絡(luò)不使用兩個(gè)樣本，而是使用三個(gè)樣本作為輸入：positive、anchor和negative樣本。Positive樣本和anchor樣本來自同一類，negative樣本來自不同類。Triplet損失的安排使得anchor的嵌入靠近positive而遠(yuǎn)離negative。通過這種方式，網(wǎng)絡(luò)在提取嵌入信息時(shí)變得更加健壯。Triplet Networks已應(yīng)用于人臉識(shí)別數(shù)據(jù)集，顯示出非常好的性能。

Matching Networks

匹配網(wǎng)絡(luò)將嵌入和分類相結(jié)合，形成端到端可微的最近鄰分類器。對(duì)于模型的預(yù)測(cè)，y?是標(biāo)簽的加權(quán)和，y?是訓(xùn)練集。權(quán)重是成對(duì)相似性函數(shù)a(?????, x?)，查詢(測(cè)試)樣本和支持(訓(xùn)練)樣本之間的相似性。匹配網(wǎng)絡(luò)的關(guān)鍵是相似函數(shù)的可微性。

其中C代表了余弦相似度函數(shù)，k是在訓(xùn)練集中的樣本總數(shù)，函數(shù)f* 和g是嵌入函數(shù)?？傮w而言，在測(cè)試樣本?????的嵌入和訓(xùn)練集樣本x?的嵌入之間計(jì)算相似性。這個(gè)工作的主要?jiǎng)?chuàng)新點(diǎn)就是對(duì)嵌入函數(shù)優(yōu)化得到最大的分類精度。

Prototypical Networks

原型網(wǎng)絡(luò)不將測(cè)試樣本與所有訓(xùn)練樣本進(jìn)行比較，而是將測(cè)試樣本與類原型(或平均類嵌入)進(jìn)行比較。其關(guān)鍵假設(shè)是對(duì)于每個(gè)類別，存在一個(gè)嵌入，簇樣本的表示是分布在這個(gè)原型的嵌入c?的周圍的。在他們的論文中，證明了它的性能優(yōu)于匹配網(wǎng)絡(luò)。

Meta-Learning

元學(xué)習(xí)意味著學(xué)會(huì)學(xué)習(xí)。元學(xué)習(xí)試圖訓(xùn)練模型的參數(shù)，使其通過一個(gè)或多個(gè)梯度步驟(像人類一樣)在新任務(wù)中表現(xiàn)最佳。模型的參數(shù)根據(jù)更新后的特定于任務(wù)的參數(shù)進(jìn)行更新，使得任何任務(wù)在完成單一步驟后，其性能都是最高的。

與模型無關(guān)的元學(xué)習(xí)(MAML)的目的是學(xué)習(xí)一個(gè)通用的模型，這個(gè)模型可以很容易地對(duì)許多任務(wù)進(jìn)行微調(diào)，只需要幾個(gè)迭代步驟。對(duì)于元批處理中的每個(gè)任務(wù)，使用基模型的權(quán)重初始化一個(gè)模型。采用隨機(jī)梯度下降(SGD)算法更新特定任務(wù)的權(quán)值。然后，使用更新后權(quán)重的損失總和來更新元學(xué)習(xí)者的權(quán)重。這里的目標(biāo)是，對(duì)于幾個(gè)不同的任務(wù)，這些參數(shù)的損失將會(huì)很小。

Bonus: MetaFGNet

除了目標(biāo)任務(wù)網(wǎng)絡(luò)外，MetaFGNet還使用輔助數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)。這兩個(gè)網(wǎng)絡(luò)共享初始層(基礎(chǔ)網(wǎng)絡(luò))以學(xué)習(xí)一般信息。這種方法也被稱為多任務(wù)學(xué)習(xí)。將輔助數(shù)據(jù)(S)與目標(biāo)數(shù)據(jù)(T)進(jìn)行訓(xùn)練，對(duì)目標(biāo)訓(xùn)練產(chǎn)生正則化效果。MetaFGNet還使用了一個(gè)名為sample selection的過程。輔助數(shù)據(jù)中的樣本通過網(wǎng)絡(luò)，對(duì)目標(biāo)分類器的相似度打分，同時(shí)也計(jì)算源分類器。如果相似性高，得分也會(huì)高。只選擇得分閾值以上的樣本進(jìn)行訓(xùn)練。這里主要假設(shè)輔助數(shù)據(jù)S應(yīng)該具有與目標(biāo)集T類似的分布。結(jié)果表明，該過程提高了整體性能。使用元學(xué)習(xí)方法進(jìn)行訓(xùn)練效果有提升。