「救救AI領域，救救孩子！」這是一個AI從業(yè)者的倡議

機器之心報道

參與：張倩、蛋醬

昨天，知乎上出現(xiàn)了一個「救救 AI 領域，救救孩子！」的帖子，在社區(qū)內(nèi)引起了廣泛關注。AI 領域出了什么問題？怎么拯救？這篇文章將重點探討這些問題。

原貼鏈接：https://zhuanlan.zhihu.com/p/127085043

發(fā)帖者認為，目前 AI 領域的「灌水」、造假亂象已經(jīng)到了不可忽視的地步，因此呼吁大家揭露在論文或代碼中發(fā)現(xiàn)的問題。為此，她創(chuàng)建了一個名為「AI 論文在線質(zhì)疑」的專欄，希望大家可以將發(fā)現(xiàn)的問題反饋出來，一起討論，借助大家的力量凈化 AI 社區(qū)。

這一倡議得到了清華大學副教授劉知遠等圈內(nèi)研究者的支持。畢竟學術(shù)造假、灌水對 AI 領域的長期發(fā)展非常不利，尤其是前者。正如發(fā)帖者所說，科學研究是一個不斷迭代的過程，「如果前人的頂會論文是造假的，后輩們后面 follow 的文章就如同建立在垃圾上的空中樓閣，岌岌可危?！?/span>

目前，很多頂會組委會、期刊編輯似乎都注意到了這個問題，因此越來越重視論文的可復現(xiàn)性，要求論文作者提交代碼、鼓勵重復性研究等。但投稿眾多，官方力量有限，因此也需要借助「民間」力量。

CVPR 2019 暴露出的問題

作為一個長期存在的問題，國內(nèi)社區(qū)對 AI 領域「灌水」、「造假」問題的關注似乎在 CVPR 2019 放榜之際達到了高潮。

CVPR 2019 最終收到有效投稿 5165 篇，比上一年投稿量足足增長了 50% 以上。當時，因為投稿量的大幅度增長，論文的在線協(xié)同編輯工具 overleaf 一度因為編輯人太多而崩潰。

華南理工譚明奎教授評論說:「當硬件領域的摩爾定律逐漸因為硬件極限而失效的時候，paper 發(fā)表數(shù)量接了班?！?/span>

從那時開始，越來越多的人意識到，今天的頂會已經(jīng)不再是原來的頂會了。

人們對 CVPR 以及其他頂會所存在問題的不滿，也終于爆發(fā)了出來。在知乎問題「2019 年 CVPR 有哪些糟糕的論文?」下面，多篇文章被拉出來，一條條地進行分析指責，這里面甚至包括 oral 論文，「讓人覺得 CVPR 也不過如此」。

這樣的「質(zhì)疑」也存在于各個頂會，人工智能火了，從業(yè)者暴增，論文投稿數(shù)量暴增，讓昔日光環(huán)加身的頂會顯得「臃腫不堪」。

NeurIPS 2019

，投稿上萬，1428 篇接收論文，57 場 workshop，13000 名參會者，遠遠看去，大會現(xiàn)場宛如演唱會……

ICLR 2020

，投稿量逐年上漲，2018 年 900 多篇，2019 年 1500 篇，2020 則達到了 2600 多篇。

CVPR 2020

，投稿論文 ID 破萬，有效投稿 6656 篇，比 CVPR 2018 相比整整翻了一番……

在 AI 領域待過的人，或多或少都有一個奇怪的焦慮（peer pressure）：投完 NIPS 就想著 AAAI 投什么好，投完 AAAI 就在想 CVPR 投什么好。為什么可以有那么多工作可以投？不排除有少部分大佬和巨佬是真的可以做到有源源不斷地產(chǎn)出 impressive 的 idea 并且能在短時間內(nèi)對 idea 從理論到實踐都進行詳盡地驗證，然而除了大佬以外的其他人呢？無他，純灌水耳。（引自 @ 信息門下跑狗）

如何拯救？

問題說了一大堆，怎么解決呢？從目前各大頂會、期刊動向及個人建議來看，大體可以可以分為兩個思路。一是從會議、期刊入手，制定更加嚴格的投稿政策（如要求提交代碼），同時積極接收重復性研究和得出無效結(jié)果的研究；二是社區(qū)自發(fā)的「打假」運動，充分利用社區(qū)資源，「大家一起來找茬」。針對這兩個思路，各方似乎已經(jīng)開始了嘗試。

NeurIPS 2020：「強烈建議」提交代碼

從 NeurIPS 2019 開始，組委會就啟動了鼓勵提交論文代碼的策略（非強制）。這一策略起到了一定的效果。在 NeurIPS 2019 的最后提交階段，有 75% 的被接收論文附帶了代碼，相比 2018 年的 50% 有了很大的提升。

今年，組委會繼續(xù)強化這一策略，從「鼓勵」變成了「強烈建議」（仍不強制），還提供了提交代碼的準則和模板。

這一規(guī)則是依據(jù) 2019 年審稿人的反饋決定的，據(jù)調(diào)查，每次審稿之后，13% 的審稿人表示看過代碼，21% 的審稿人表示沒看過，其余表示「不適用」，這也許是因為很多論文沒有代碼。在未提供代碼的前提下，21% 的審稿人表示希望論文附有代碼。并且組委會發(fā)現(xiàn)，隨論文提交代碼的質(zhì)量與審稿人給出的評分高度相關。

Nature：鼓勵重復性研究和無效結(jié)果研究

在今年 2 月的一篇社論文章中，《Nature》提出了一項倡議，指出研究機構(gòu)、期刊都應該鼓勵重復研究和得出無效結(jié)果（NULL results）的研究。文章強調(diào)，發(fā)表無效結(jié)果的研究者可以幫助社區(qū)將大量資金投向更富有成效的領域，更廣泛地傳播無效結(jié)果將最終促使社區(qū)改變他們的理論，使其更加適用于現(xiàn)實世界。

對此，這篇社論文章提出了兩種策略。

首先，研究機構(gòu)應該通過言語和行動來鼓勵這種行為。去年，柏林健康研究所發(fā)出了一份書面倡議，鼓勵該機構(gòu)的研究者發(fā)表自己的重復性結(jié)果和無效結(jié)果，對抗復現(xiàn)危機。響應倡議的研究者將得到 1000 歐元的獎勵。此外，該研究所還有一個 APP 和顧問，幫助研究人員確定應該聯(lián)系哪些期刊、預印本平臺或其他渠道來發(fā)表重復性研究和數(shù)據(jù)。該 APP 會提供有關預期發(fā)表費用、提交 deadline、論文格式、同行評審要求等信息。

其次，這篇文章指出，應該有更多期刊向社區(qū)強調(diào)發(fā)表重復性研究和無效結(jié)果的重要性，而且《Nature》明確表態(tài)，「在《Nature》中，重復性研究被放在與其他研究同等的高度?！禢ature》歡迎提交可以為之前已發(fā)表工作提供見解的研究?！?/span>

創(chuàng)建 AI 領域 pubpeer？

期刊、會議雖然影響廣泛，但面臨海量的投稿，他們的力量也是有限的，所以才有了文章開頭提到的倡議。對此，劉知遠教授回復道：「可以考慮搞個 AI 版的 PubPeer」。

PubPeer 建立于 2012 年，是一個鼓勵科研人員匿名對已發(fā)表的論文進行評論的網(wǎng)站。它相當于一個科學論壇，只要學者擁有 PubPeer 的賬號，都可以對已發(fā)表過的論文進行評論，評論內(nèi)容可以是批評、質(zhì)疑、改進建議等。此前很多處于風暴中心的研究討論都是在這個網(wǎng)站上發(fā)酵的，甚至有些論文會因此撤稿。

這種「打假」網(wǎng)站的存在可以在一定程度上震懾學術(shù)不端的研究者。如果 AI 領域能有類似網(wǎng)站，相信對于整個社區(qū)研究氛圍的提升都有幫助。

推薦閱讀：

《關于本次 CVPR2019 投稿的一些感想》https://zhuanlan.zhihu.com/p/50263270

《深度學習先驅(qū) Bengio：AI 頂會論文的 Deadline 是時候取消了》

參考鏈接：

https://www.nature.com/articles/d41586-020-00530-6

https://medium.com/@NeurIPSConf/designing-the-reproducibility-program-for-neurips-2020-7fcccaa5c6ad

https://www.toutiao.com/i6813939858885575182/