Science：有調(diào)查有真相！某些AI領(lǐng)域多年無(wú)實(shí)際進(jìn)展

作者 | 蔣寶尚

編輯 | 叢末

5月29日，Science刊登了一篇標(biāo)題為“人工智能某些領(lǐng)域的核心進(jìn)展一直停滯不前”的文章，在文章里，作者M(jìn)atthew Hutson提到：一些多年之前的“老算法”如果經(jīng)過(guò)微調(diào)，其性能足以匹敵當(dāng)前的SOTA。

另外，作者在文章中還列舉了一些論文，這些論文對(duì)當(dāng)前關(guān)鍵的AI建模技術(shù)進(jìn)行了分析，所有的分析結(jié)果主要有兩種：1、研究員聲稱的核心創(chuàng)新只是對(duì)原算法的微改進(jìn)；2、新技術(shù)與多年前的舊算法在性能上相差不大。

具體到技術(shù)層面，論文對(duì)比分析的AI建模方法包括：神經(jīng)網(wǎng)絡(luò)剪枝、神經(jīng)網(wǎng)絡(luò)推薦算法、深度度量學(xué)習(xí)、對(duì)抗性訓(xùn)練、語(yǔ)言模型。

科研有風(fēng)險(xiǎn)，入坑需謹(jǐn)慎。下面，AI科技評(píng)論簡(jiǎn)要介紹這幾篇論文，為大家提供避坑指南。

1 神經(jīng)網(wǎng)絡(luò)剪枝：評(píng)價(jià)指標(biāo)模糊

論文地址：

https://proceedings.mlsys.org/static/paper_files/mlsys/2020/73-Paper.pdf

對(duì)神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)進(jìn)行對(duì)比分析的論文是“What is the State of Neural Network Pruning?”，論文一作是來(lái)自麻省理工的研究員Davis Blalock。

他們通過(guò)對(duì)比81相關(guān)篇論文，并在對(duì)照條件下對(duì)數(shù)百個(gè)模型進(jìn)行修剪后，明顯發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)剪枝這一領(lǐng)域并沒(méi)有標(biāo)準(zhǔn)化的基準(zhǔn)和指標(biāo)。換句話說(shuō)，當(dāng)前最新論文發(fā)表的技術(shù)很難進(jìn)行量化，所以，很難確定該領(lǐng)域在過(guò)去的三十年中取得了多少進(jìn)展。

主要表現(xiàn)在：1、許多論文雖然聲明提高了技術(shù)水平，但忽略了與其他方法進(jìn)行比較（這些方法也聲稱達(dá)到了SOTA）。這種忽略體現(xiàn)兩個(gè)方面，一個(gè)是忽略2010年之前的剪枝技術(shù)，另一個(gè)是忽略了現(xiàn)在的剪枝技術(shù)。

2、數(shù)據(jù)集和架構(gòu)都呈現(xiàn)“碎片化”。81篇論文一共使用了49個(gè)數(shù)據(jù)集、132個(gè)體系結(jié)構(gòu)和195個(gè)(數(shù)據(jù)集、體系結(jié)構(gòu))組合。

3、評(píng)價(jià)指標(biāo)“碎片化”。論文使用了各種各樣的評(píng)價(jià)指標(biāo)，因此很難比較論文之間的結(jié)果。

4、混淆變量。有些混淆的變量使得定量分析變得十分困難。例如，初始模型的準(zhǔn)確度和效率、訓(xùn)練和微調(diào)中的隨機(jī)變化等等。

在論文的最后，Davis Blalock提出了具體的補(bǔ)救措施，并引入了開(kāi)源的框架ShrinkBench，用于促進(jìn)剪枝方法的標(biāo)準(zhǔn)化評(píng)估。另外，此篇論文發(fā)表在了3月份的MLSys會(huì)議上。

2 神經(jīng)網(wǎng)絡(luò)推薦算法：18種算法無(wú)一幸免

https://dl.acm.org/doi/pdf/10.1145/3298689.3347058

對(duì)神經(jīng)網(wǎng)絡(luò)推薦算法進(jìn)行分析的論文是 “ Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches ”，作者是來(lái)自意大利米蘭理工大學(xué)的研究員。

在論文中，作者對(duì)當(dāng)前排名靠前的幾種推薦算法進(jìn)行了系統(tǒng)分析，發(fā)現(xiàn)近幾年頂會(huì)中提出的18種算法，只有7種能夠合理的復(fù)現(xiàn)。還有另外6種，用相對(duì)簡(jiǎn)單的啟發(fā)式方法就能夠勝過(guò)。剩下的幾種，雖然明顯優(yōu)于baselines，但是卻打不過(guò)微調(diào)過(guò)的非神經(jīng)網(wǎng)絡(luò)線性排名方法。

導(dǎo)致這種現(xiàn)象的原因，作者分析了三點(diǎn)：1、弱基準(zhǔn)（ weak baselines）；2、建立弱方法作為新基準(zhǔn)；3、在比較或復(fù)制不同論文的結(jié)果方面存在差異。

為了得到上述結(jié)果，作者在論文中介紹，其共進(jìn)行了兩個(gè)步驟：第一步是用相關(guān)論文提供的源代碼、和數(shù)據(jù)嘗試復(fù)現(xiàn)論文結(jié)果；第二步，重新執(zhí)行了原始論文中報(bào)告的實(shí)驗(yàn)，但也在比較中加入了額外的基線方法，具體而言，其使用了基于用戶和基于項(xiàng)目的最近鄰啟發(fā)式方法，以及簡(jiǎn)單的基于圖形的方法（graph-based approach）進(jìn)行比較。

3 深度度量學(xué)習(xí)：該領(lǐng)域13年來(lái)并無(wú)進(jìn)展

https://arxiv.org/pdf/2003.08505.pdf

對(duì)深度度量學(xué)習(xí)進(jìn)行分析的文章來(lái)自Facebook AI 和 Cornell Tech 的研究人員，他們發(fā)表研究論文預(yù)覽文稿標(biāo)題為“A Metric Learning Reality Check”。

在論文中，研究員聲稱近十三年深度度量學(xué)習(xí)（deep metric learning） 領(lǐng)域的目前研究進(jìn)展和十三年前的基線方法(Contrastive, Triplet) 比較并無(wú)實(shí)質(zhì)提高。

研究員一共指出了現(xiàn)有文獻(xiàn)中的三個(gè)缺陷：不公平的比較、通過(guò)測(cè)試集反饋進(jìn)行訓(xùn)練、不合理的評(píng)價(jià)指標(biāo)。

不公平的比較：一般大家聲明一個(gè)算法性能優(yōu)于另一個(gè)算法，通常需要確保盡可能多的參數(shù)不變，而在度量學(xué)習(xí)的論文中不是如此。另外，一些論文中所提到的精度提高其實(shí)只是所選神經(jīng)網(wǎng)絡(luò)帶來(lái)的，并不是他們提出的“創(chuàng)新”方法。例如2017年的一篇論文聲稱使用ResNet50 獲得了巨大的性能提升，而實(shí)際上他的對(duì)比對(duì)象是精度較低的GoogleNet。

通過(guò)測(cè)試集反饋進(jìn)行訓(xùn)練：不僅是度量學(xué)習(xí)領(lǐng)域，大多數(shù)論文都有這一通病：將數(shù)據(jù)集一半拆分為測(cè)試集，一半拆分為訓(xùn)練集，不設(shè)驗(yàn)證集。在具體訓(xùn)練的過(guò)程中，定期檢查模型的測(cè)試集精度，并報(bào)告最佳測(cè)試集精度，也就是說(shuō)模型選擇和超參數(shù)調(diào)優(yōu)是通過(guò)來(lái)自測(cè)試集的直接反饋來(lái)完成的，這顯然會(huì)有過(guò)擬合的風(fēng)險(xiǎn)。

不合理的評(píng)價(jià)指標(biāo)：為了體現(xiàn)準(zhǔn)確性，大多數(shù)度量學(xué)習(xí)論文都會(huì)報(bào)告Recall@K、歸一化相互信息(NMI)和F1分?jǐn)?shù)。但這些一定是最好的衡量標(biāo)準(zhǔn)嗎？如下圖三個(gè)嵌入空間，每一個(gè)recall@1指標(biāo)評(píng)價(jià)都接近滿分，而事實(shí)上，他們之間的特征并不相同。此外，F(xiàn)1和NMI分?jǐn)?shù)也接近，這在一定程度上說(shuō)明，其實(shí)，這幾個(gè)指標(biāo)并沒(méi)帶來(lái)啥信息。

三個(gè) toy示例：不同的精確指標(biāo)如何評(píng)分。

在指出問(wèn)題的同時(shí)，F(xiàn)B和康奈爾的研究員自然也指出了改進(jìn)建議，針對(duì)上述三個(gè)缺點(diǎn)建議進(jìn)行公平比較和重復(fù)性實(shí)驗(yàn)、通過(guò)交叉驗(yàn)證進(jìn)行超參數(shù)搜索、采用更加準(zhǔn)確的信息性、準(zhǔn)確性度量。

4 對(duì)抗性訓(xùn)練：所有改進(jìn)都可通過(guò)“提前停止”實(shí)現(xiàn)

https://openreview.net/pdf?id=ByJHuTgA-

對(duì)“對(duì)抗性訓(xùn)練”進(jìn)行研究的論文標(biāo)題是“Overfitting in adversarially robust deep learning”，第一作者是來(lái)自卡內(nèi)基梅隴大學(xué)的研究員Leslie Rice。

在論文中，作者提到機(jī)器學(xué)習(xí)算法的進(jìn)步可以來(lái)自架構(gòu)、損失函數(shù)、優(yōu)化策略等的改變，對(duì)這三個(gè)因素中的任何一個(gè)進(jìn)行微調(diào)都能夠改變算法的性能。

他的研究領(lǐng)域是對(duì)抗訓(xùn)練，他說(shuō)：經(jīng)過(guò)訓(xùn)練的圖像識(shí)別模型可以免受黑客的 "對(duì)抗性攻擊"，早期的對(duì)抗訓(xùn)練方法被稱為投影梯度下降算法(projected gradient descent)。

近期的很多研究都聲稱他們的對(duì)抗訓(xùn)練算法比投影梯度下降算法要好的多，但是經(jīng)過(guò)研究發(fā)現(xiàn)，幾乎所有最近的算法改進(jìn)在對(duì)抗性訓(xùn)練上的性能改進(jìn)都可以通過(guò)簡(jiǎn)單地使用“提前停止”來(lái)達(dá)到。另外，在對(duì)抗訓(xùn)練模型中，諸如雙下降曲線之類的效應(yīng)仍然存在，觀察到的過(guò)擬合也不能很多的解釋。

最后，作者研究了幾種經(jīng)典的和現(xiàn)代的深度學(xué)習(xí)過(guò)擬合補(bǔ)救方法，包括正則化和數(shù)據(jù)增強(qiáng)，發(fā)現(xiàn)沒(méi)有一種方法能超得過(guò)“提前停止”達(dá)到的收益。所以，他們得出結(jié)論：PGD之類的創(chuàng)新很難實(shí)現(xiàn)，當(dāng)前的研究很少有實(shí)質(zhì)性改進(jìn)。

5 語(yǔ)言模型：LSTM仍然一枝獨(dú)秀

對(duì)語(yǔ)言翻譯進(jìn)行研究的論文名為“On the State of the Art of Evaluation in Neural Language Models，此論文是DeepMind和牛津大學(xué)合力完成。

在論文中，作者提到神經(jīng)網(wǎng)絡(luò)架構(gòu)的不斷創(chuàng)新，為語(yǔ)言建?；鶞?zhǔn)提供了穩(wěn)定的最新成果。這些成果都是使用不同的代碼庫(kù)和有限的計(jì)算資源進(jìn)行評(píng)估的，而這種評(píng)估是不可控的。

根據(jù)其論文內(nèi)容，作者一共主要研究了三個(gè)遞歸模型架構(gòu)（recurrent architectures），分別是：LSTM、 RHN（Recurrent Highway Network）、NAS。研究RHN是因?yàn)樗诙鄠€(gè)數(shù)據(jù)集上達(dá)到了SOTA，而研究NAS是因?yàn)樗募軜?gòu)是基于自動(dòng)強(qiáng)化學(xué)習(xí)的優(yōu)化過(guò)程的結(jié)果。

最后，作者通過(guò)大規(guī)模的自動(dòng)黑箱超參數(shù)調(diào)優(yōu)，重新評(píng)估了幾種流行的體系結(jié)構(gòu)和正則化方法，得出的一個(gè)結(jié)論是：標(biāo)準(zhǔn)的LSTM體系結(jié)構(gòu)在適當(dāng)?shù)恼齽t化后，其性能表現(xiàn)優(yōu)于“近期”的模型。

via

https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real

https://www.toutiao.com/i6832364243111641613/