大數(shù)據(jù)中怎么解決長(zhǎng)尾分布問(wèn)題以及解耦類(lèi)別特征并實(shí)現(xiàn)空間增廣

長(zhǎng)尾分布廣泛存在于視覺(jué)任務(wù)中。如圖所示在分類(lèi)和檢測(cè)任務(wù)中存在長(zhǎng)尾分布問(wèn)題。

長(zhǎng)尾分布帶來(lái)的主要問(wèn)題是在訓(xùn)練時(shí)，因?yàn)?strong>尾部類(lèi)數(shù)據(jù)量少，統(tǒng)計(jì)信息不夠豐富，因而模型并不能很好的表達(dá)尾部類(lèi)。現(xiàn)有的方法主要有數(shù)據(jù)增廣，下采樣，過(guò)采樣，和平衡損失函數(shù)的構(gòu)建等。但是這些方法當(dāng)尾部類(lèi)數(shù)量極少時(shí)，性能并不理想。如下圖所示。

本文提出了在特征空間中，將頭部類(lèi)的信息遷移到尾部類(lèi)上，具體方法如下。

本文首先用CAM方法提取注意力區(qū)域，得到每個(gè)類(lèi)的類(lèi)特有特征和類(lèi)共有特征。之后將尾部類(lèi)的類(lèi)特有特征和頭部類(lèi)的類(lèi)共有特征進(jìn)行融合。

首先來(lái)介紹一下CAM（Class Activation Map）。

M是我們得到的高亮圖。c是類(lèi)別，x，y是像素位置，k是通道，w是權(quán)重，f是特征向量。當(dāng)M越大，意味著x，y處的特征對(duì)于c這一類(lèi)別來(lái)說(shuō)越發(fā)重要。之后我們將M歸一化到0-1，給一個(gè)閾值，通過(guò)下面的公式，我們就能得到類(lèi)特有特征（s代表specific）和類(lèi)共有特征（g代表generic）。

其中，代表Hadamard乘積，而當(dāng)x大于等于0時(shí)，sgn（x）=1，小于0時(shí)，sgn（x）=0。

之后我們來(lái)看整體的訓(xùn)練流程。第一步是進(jìn)行全部數(shù)據(jù)的訓(xùn)練，得到提取特征的子網(wǎng)絡(luò)和基礎(chǔ)分類(lèi)器，用于之后的步驟中。第二步是根據(jù)剛剛得到的提取特征網(wǎng)絡(luò)和分類(lèi)器，以及之前的CAM，進(jìn)行尾部類(lèi)的增廣?？梢钥吹剑诙竭M(jìn)去一張尾部類(lèi)圖片和一張頭部類(lèi)圖片，選取頭部類(lèi)圖片時(shí)是選取的與尾部類(lèi)距離較近，容易混淆的頭部類(lèi)（根據(jù)置信度排序得到）。

第三步則是微調(diào)。注意第三步和第二步是同步進(jìn)行的，統(tǒng)稱為第二階段。第二階段整體算法流程如下。