「技術(shù)綜述」視頻分類/行為識(shí)別研究綜述，從數(shù)據(jù)集到方法

無(wú)監(jiān)督圖像分類問(wèn)題是圖像分類領(lǐng)域一項(xiàng)極具挑戰(zhàn)的研究課題，本文介紹了無(wú)監(jiān)督圖像分類算法的發(fā)展現(xiàn)狀，供大家參考學(xué)習(xí)。

作者 | 郭冰洋

編輯 | 言有三

1 簡(jiǎn)介

近年來(lái)，深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了前所未有的進(jìn)步，究其根本，可以歸功于數(shù)據(jù)集容量的擴(kuò)充和計(jì)算資源的提升。

現(xiàn)階段的圖像分類任務(wù)在很大程度上是靠監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的，即每個(gè)樣本都有其對(duì)應(yīng)的標(biāo)簽，通過(guò)深度神經(jīng)網(wǎng)絡(luò)來(lái)不斷學(xué)習(xí)每個(gè)標(biāo)簽所對(duì)應(yīng)的特征，并最終實(shí)現(xiàn)分類。這種情況下，數(shù)據(jù)集的容量、標(biāo)簽的質(zhì)量往往對(duì)模型的性能起到?jīng)Q定性的作用。

如果將神經(jīng)網(wǎng)絡(luò)看做一輛在賽道上奔馳的F1賽車，數(shù)據(jù)集則是為其不斷提供動(dòng)力的能源。如果沒(méi)有高質(zhì)量的數(shù)據(jù)集作為基礎(chǔ)，也就無(wú)法驅(qū)動(dòng)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

高質(zhì)量數(shù)據(jù)集自然會(huì)帶來(lái)標(biāo)注的困難，據(jù)統(tǒng)計(jì)，標(biāo)記單張圖像中的單個(gè)物體類別大約需要2到3秒的時(shí)間，但實(shí)際應(yīng)用中的數(shù)據(jù)集往往包含上千上萬(wàn)張圖片，整個(gè)標(biāo)注過(guò)程就會(huì)變得格外漫長(zhǎng)。尤其是在涉及到細(xì)粒度分類和多標(biāo)簽分類任務(wù)時(shí)，標(biāo)注成本會(huì)隨著目標(biāo)數(shù)量、可辨識(shí)難度呈指數(shù)級(jí)增長(zhǎng)。

在這一背景下，有關(guān)無(wú)監(jiān)督圖像分類的研究也變得愈發(fā)火熱，大致可以分為數(shù)據(jù)集變換和聚類分析兩種方向，本文將圍繞兩種方向?qū)o(wú)監(jiān)督圖像分類的研究現(xiàn)狀展開(kāi)介紹，從以供各位讀者參考。

2 基于數(shù)據(jù)集變換的算法

數(shù)據(jù)集變換即對(duì)現(xiàn)有數(shù)據(jù)集構(gòu)建新的表示方式，使其包含的特征更加容易被理解，也就是所謂的降維和降噪，主要方法有PCA、T-SNE。

1、PCA

PCA算法即主成分分析算法，是機(jī)器學(xué)習(xí)領(lǐng)域中一種典型的旋轉(zhuǎn)數(shù)據(jù)集的方法，旋轉(zhuǎn)后的特征在統(tǒng)計(jì)上不相關(guān)。通過(guò)數(shù)據(jù)集的旋轉(zhuǎn)，可以根據(jù)新特征對(duì)解釋數(shù)據(jù)的重要性來(lái)構(gòu)建子集，從而構(gòu)造新的數(shù)據(jù)集表示方式。

2、T-SNE

T-SNE作為近年來(lái)應(yīng)用廣泛的數(shù)據(jù)分析算法，其主要思想是找到數(shù)據(jù)的二維表示，并盡可能地保持?jǐn)?shù)據(jù)點(diǎn)之間的距離，然后嘗試讓在原始特征空間中距離較近的點(diǎn)更加靠近，原始特征空間中相距較遠(yuǎn)的點(diǎn)更加遠(yuǎn)離。其重點(diǎn)關(guān)注距離較近的點(diǎn)，而不是保持距離較遠(yuǎn)的點(diǎn)。

從原理上來(lái)說(shuō)上述兩種數(shù)據(jù)集變換的方法復(fù)雜度較高，并且其算法的目標(biāo)太明確，使得抽象后的低維數(shù)據(jù)中沒(méi)有次要信息，而這些次要信息可能在更高層看來(lái)是區(qū)分?jǐn)?shù)據(jù)的主要因素。所以這兩種算法大多運(yùn)用在網(wǎng)絡(luò)訓(xùn)練前的數(shù)據(jù)預(yù)處理階段，為后續(xù)操作提供相應(yīng)的先驗(yàn)知識(shí)。

3 基于聚類分析的算法

聚類分析是無(wú)監(jiān)督學(xué)習(xí)中最常用的方法之一，并在機(jī)器學(xué)習(xí)領(lǐng)域取得了非常廣泛的應(yīng)用，許多研究人員都試圖把成熟的聚類算法與深度學(xué)習(xí)相結(jié)合，以實(shí)現(xiàn)更加高效的學(xué)習(xí)策略。

目前的研究成果大致可以分為基于K-means算法的無(wú)監(jiān)督分類和基于信息不變性的無(wú)監(jiān)督分類兩種。

3.1、基于K-means算法的無(wú)監(jiān)督分類

DCN網(wǎng)絡(luò)[1]提出一種自編碼器（auto-encoder）的方法，同時(shí)進(jìn)行網(wǎng)絡(luò)的學(xué)習(xí)和聚類。編碼器學(xué)習(xí)輸入數(shù)據(jù)的潛在特征，將高維特征映射到低維子空間中，輸入給K-means聚類模型進(jìn)行聚類，而解碼器則對(duì)特征進(jìn)行還原，使得特征重構(gòu)成原始數(shù)據(jù)，這有利于網(wǎng)絡(luò)學(xué)習(xí)更加重要的特征，忽略一些不重要的特征。

Deep Cluster[2]在DCN網(wǎng)絡(luò)的靈感上同樣將聚類和分類兩個(gè)分支任務(wù)融合到一起，通過(guò)K-means算法實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)特征的聚類。其創(chuàng)新點(diǎn)在于將聚類的結(jié)果作為偽標(biāo)簽，更新網(wǎng)絡(luò)的參數(shù)，進(jìn)一步讓網(wǎng)絡(luò)預(yù)測(cè)這些偽標(biāo)簽。這兩個(gè)過(guò)程依次進(jìn)行，取得了相當(dāng)好的預(yù)測(cè)結(jié)果。

Associative Deep Clustering則提出一種直接利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行聚類的方案，而不是將網(wǎng)絡(luò)提取到的特征圖再送入聚類模型進(jìn)行額外的訓(xùn)練，其主要靈感是讓網(wǎng)絡(luò)在較深的層學(xué)習(xí)數(shù)據(jù)的結(jié)構(gòu)類型，從而提煉某類數(shù)據(jù)的質(zhì)心以完成聚類。

基于K-means實(shí)現(xiàn)的無(wú)監(jiān)督分類算法其主要思想均是將聚類模塊嵌入神經(jīng)網(wǎng)絡(luò)所提取到的特征層之后或者直接讓網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)的結(jié)構(gòu)特征。這一方法雖然取得了一定的成果，但是缺乏相應(yīng)的語(yǔ)義過(guò)濾過(guò)程，無(wú)法保證所利用的特征都是有意義的，這也在一定程度上會(huì)影響最終的分類結(jié)果。

3.2、基于信息不變性的無(wú)監(jiān)督分類

如上節(jié)中所說(shuō)，傳統(tǒng)聚類算法與深度學(xué)習(xí)的搭配并非天作之合，往往還需要借助前文中所述的數(shù)據(jù)集變換操作，以提供更多的先驗(yàn)知識(shí)。

因此，相關(guān)研究人員將目光聚集到神經(jīng)網(wǎng)絡(luò)本身，期望對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行相應(yīng)的改進(jìn)，以更好地利用圖像特征信息以實(shí)現(xiàn)聚類。信息不變性網(wǎng)絡(luò)（Invarient Information Clustering CNN[3]）便是其中的典型代表。

IIC-CNN通過(guò)對(duì)CNN稍作改動(dòng)，構(gòu)建兩個(gè)輸入分支，為了做到無(wú)監(jiān)督，模型對(duì)每張圖片x做一次轉(zhuǎn)換操作（ 平移、旋轉(zhuǎn)或crop ）得到另一張圖片 x’。輸入轉(zhuǎn)換圖像的分支作為輔助層直接進(jìn)行聚類訓(xùn)練。同時(shí)，為了讓模型更好辨認(rèn)相同類別的對(duì)象，IIC-CNN采用了互信息最大化目標(biāo)函數(shù)，盡可能使得網(wǎng)絡(luò)的聚類效果更好 。

這一方法相較于傳統(tǒng)聚類算法、深度學(xué)習(xí)與聚類融合的算法取得了非常大的進(jìn)步，在諸多數(shù)據(jù)集的對(duì)比訓(xùn)練中均取得了傲人的成績(jī)，這也是一個(gè)非常有意義的研究?jī)?nèi)容。

4 總結(jié)

現(xiàn)階段，基于深度學(xué)習(xí)的無(wú)監(jiān)督圖像分類研究尚處于發(fā)展階段，加之問(wèn)題的難度較大，其研究成果相較于其他方向較少，同時(shí)也僅在某些簡(jiǎn)單的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并未真正大規(guī)模的應(yīng)用到實(shí)際場(chǎng)景。

因此，為了更好的使無(wú)監(jiān)督圖像分類得到廣泛的應(yīng)用，我們必須探究傳統(tǒng)算法的優(yōu)勢(shì)，緊密結(jié)合神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，提出更多更有創(chuàng)意的思路，以實(shí)現(xiàn)更大的突破。

參考文獻(xiàn)

[1] Yang B, Fu X, Sidiropoulos N D, et al. Towards k-means-friendly spaces: Simultaneous deep learning and clustering[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 3861-3870.

[2] Caron M, Bojanowski P, Joulin A, et al. Deep clustering for unsupervised learning of visual features[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 132-149.

[3] Ji X, Henriques J F, Vedaldi A. Invariant information distillation for unsupervised image segmentation and clustering[J]. arXiv preprint arXiv:1807.06653, 2018.

https://www.toutiao.com/i6727839857348968972/