機(jī)器之心報(bào)道
機(jī)器之心編輯部
2012 年，深度學(xué)習(xí)三巨頭之一、圖靈獎(jiǎng)得主 Geoffrey Hinton 的學(xué)生 Alex Krizhevsky 提出了 AlexNet，并在當(dāng)年度的 ILSVRC（ImageNet 大規(guī)模視覺(jué)挑戰(zhàn)賽）以顯著的優(yōu)勢(shì)獲得當(dāng)屆冠軍，成績(jī)遠(yuǎn)超第二名。這一成績(jī)引起了學(xué)界和業(yè)界的極大關(guān)注，計(jì)算機(jī)視覺(jué)也開(kāi)始逐漸進(jìn)入深度學(xué)習(xí)主導(dǎo)的時(shí)代。但這樣一個(gè)劃時(shí)代的研究最近也受到了質(zhì)疑。
近日，有網(wǎng)友在 reddit 上聲稱(chēng)，Jurgen Schmidhuber 團(tuán)隊(duì)的 Dan Ciresan 提出的 DanNet（也是一種基于 CUDA 的卷積神經(jīng)網(wǎng)絡(luò)）先于 AlexNet 完成了四項(xiàng)圖像識(shí)別挑戰(zhàn)。
DanNet 早于 AlexNet 的有力證據(jù)
發(fā)帖者在在 reddit 中展示了如下一些證據(jù)：
1. 發(fā)帖者從 Jurgen 發(fā)表的《Deep Learning: Our Miraculous Year 1990-1991》第 19 章節(jié)的參考文獻(xiàn)中看出了端倪；
2. 發(fā)帖者表示，在 AlexNet（2012 年 ImageNet 競(jìng)賽冠軍）之前，Jurgen 團(tuán)隊(duì)的羅馬尼亞博士后 Dan Ciresan 就已在 2011 年 5 月 15 日和 2012 年 9 月 10 日之間贏得了四項(xiàng)重要的計(jì)算機(jī)視覺(jué)競(jìng)賽，所采用的 CUDA CNN 姑且稱(chēng)為 DanNet；
圖中紅框標(biāo)注的 IDSIA 即 Dan Ciresan 等人所在的團(tuán)隊(duì)，他們?cè)?2011 年 5 月 15 日和 2012 年 9 月 10 日期間贏得了中文書(shū)寫(xiě)、交通標(biāo)識(shí)、腦區(qū)域分割和癌癥檢測(cè)四項(xiàng)重要的計(jì)算機(jī)視覺(jué)競(jìng)賽。
3. 發(fā)帖者曾看到有新聞報(bào)道稱(chēng)，AlexNet 在 2012 年開(kāi)啟了深度學(xué)習(xí)革命，但事實(shí)上根據(jù) Jurgen 的文章，DanNet 在 2011 年就成為首個(gè)贏得 superhuman 視覺(jué)模式識(shí)別競(jìng)賽的方法，并且還采用比 AlexNet 更大的圖像贏得了醫(yī)療成像競(jìng)賽；
Dan Ciresan 參與首次贏得了 superhuman 視覺(jué)模式識(shí)別競(jìng)賽。
Dan Ciresan 參與贏得了乳腺癌組織學(xué)圖像的有絲分裂檢測(cè)競(jìng)賽。
4. DanNet 被引最多的論文《Multi-column Deep Neural Networks for Image Classification》（CVPR，2012 年 7 月）要比介紹 AlexNet 的論文《ImageNet Classification with Deep Convolutional Neural Networks》（NIPS，2012 年 12 月）早了 5 個(gè)月，但關(guān)于 DanNet 更早的論文出現(xiàn)在 IJCAI 2011 和 IJCNN 2011 會(huì)議上；
Dan Ciresan 的論文。
Alex Krizhevsky 的論文。
5. 公平地說(shuō)，AlexNet 引用了 DanNet，并承認(rèn)兩者相似，但 AlexNet 并沒(méi)有提到 DanNet 曾早于它贏得了四項(xiàng)計(jì)算機(jī)視覺(jué)挑戰(zhàn)；
6. ResNet 在 2015 年的 ImageNet 競(jìng)賽中擊敗了 AlexNet，但 ResNet 實(shí)際上是更為早期的 Highway networks 的一個(gè)特例，后者也是 Jurgen 實(shí)驗(yàn)室最早提出的，在「第一個(gè)超過(guò) 100 層的可行前向傳播網(wǎng)絡(luò)」中，Jurgen 把他們的先行性研究歸功于自己的學(xué)生 Rupesh Kumar Srivastava 和 Klaus Greff。
Jurgen 認(rèn)為微軟的 ResNet 是其團(tuán)隊(duì)提出 Highway Nets 的一種特例。
7. 在 Jurgen 文章的第五章節(jié)中，他詳述了「GAN 的起源」，而在第四章節(jié)中，他介紹了 2009 年獲得成功的 LSTM。上述內(nèi)容大家已經(jīng)耳熟能詳，不過(guò)大多數(shù)人可能還不知道 Jurgen 團(tuán)隊(duì)還是第一個(gè)在 CUDA 上搞 CNN 并取得成功的。
以上就是發(fā)帖者認(rèn)為 DanNet 先于 AlexNet 出現(xiàn)的一些文獻(xiàn)證據(jù)。
世間欠 Schmidhuber 一個(gè)圖靈獎(jiǎng)？
那么這樣看來(lái)，當(dāng)今深度學(xué)習(xí)的很多概念，都是 30 年前 LSTM 之父 Jürgen 玩過(guò)的？Reddit 上熱鬧的討論，源自于今年 10 月，Jürgen Schmidhuber 專(zhuān)門(mén)對(duì)此發(fā)表的一篇文章，其詳細(xì)論述了近 30 年前（1990-1991 年間）他和團(tuán)隊(duì)所進(jìn)行的很多研究。據(jù)他本人稱(chēng)，其中的研究思想為當(dāng)今的許多深度學(xué)習(xí)前沿研究奠定了基礎(chǔ)，包括 LSTM、元學(xué)習(xí)、遺忘門(mén)機(jī)制、注意力和強(qiáng)化學(xué)習(xí)等。
人們對(duì)于 Jürgen Schmidhuber 的印象通常是「LSTM 之父」，他來(lái)自德國(guó)，現(xiàn)任瑞士 Dalle Molle 人工智能研究所負(fù)責(zé)人，是人工智能領(lǐng)域的著名學(xué)者。在 LSTM 之外，他還一直認(rèn)為近年來(lái)發(fā)展很快的 GAN 模型是其早在 1992 年提出的 PM 模型的變體。除此之外，他還在語(yǔ)音識(shí)別等方向上有著不小的貢獻(xiàn)。
在今年 3 月，計(jì)算機(jī)領(lǐng)域最高榮譽(yù)圖靈獎(jiǎng)?lì)C發(fā)給深度學(xué)習(xí)三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 之后，有關(guān)「學(xué)界欠 Jürgen 一座圖靈獎(jiǎng)」的討論一時(shí)變得熱鬧起來(lái)。
人工智能著名學(xué)者，南京大學(xué)人工智能學(xué)院院長(zhǎng)周志華也曾表示：「要論對(duì)深度學(xué)習(xí)的貢獻(xiàn)，Hinton 無(wú)疑居首，LeCun 和 Schmidhuber 貢獻(xiàn)都很大。但 HLB 總捆綁在一起，而 S 跟 HLB 都不對(duì)勁……獲獎(jiǎng)需有提名有投票，人緣也重要……不過(guò)沒(méi)關(guān)系，有 LSTM 這樣教科書(shū)級(jí)的貢獻(xiàn)足以淡定?！?/span>
Jürgen 本人對(duì)于自身學(xué)術(shù)地位「遭受不公待遇」一直頗有微詞，他近年來(lái)總是在各個(gè)場(chǎng)合宣揚(yáng)自己的創(chuàng)造性研究，甚至不惜與其他著名學(xué)者公開(kāi)對(duì)質(zhì)（你或許會(huì)對(duì) Jürgen 在人工智能頂會(huì) NIPS 2016 現(xiàn)場(chǎng)大戰(zhàn)「GAN 之父」Ian Goodfellow 的事件記憶猶新）。因此，人們對(duì)于 Jürgen 的看法也呈現(xiàn)兩極分化的情形。
今天的討論也沒(méi)有例外，在 DanNet 超前于 AlexNet 討論剛剛開(kāi)始的時(shí)候，占上風(fēng)的觀點(diǎn)是這樣的：
好了好了，Jürgen 就是我們的造物主。
但總的來(lái)說(shuō)，對(duì)于個(gè)人性格的調(diào)侃還是要讓位于理性，人們最終還是認(rèn)為 Jürgen Schmidhuber 確實(shí)吃了名聲的虧。
正視他的貢獻(xiàn)吧，網(wǎng)友說(shuō)道：
雖然我們都在幸災(zāi)樂(lè)禍，但 Jürgen 的確配得上獲得圖靈獎(jiǎng)。在 LSTM 之外，他的很多研究都令人印象深刻。
在計(jì)算機(jī)科學(xué)領(lǐng)域里，有很多個(gè)性乖張的學(xué)者，特立獨(dú)行總是不受歡迎的。但我總是奇怪人們會(huì)拿這個(gè)理由來(lái)評(píng)判他們的學(xué)術(shù)貢獻(xiàn)。
我認(rèn)為目前以北美為中心的 CS 學(xué)術(shù)體系完全壓制了全球其他研究機(jī)構(gòu)類(lèi)似的貢獻(xiàn)。
參考鏈接：
