NeurIPS 2019公布獲獎(jiǎng)?wù)撐?！新增杰出新方向?jiǎng)項(xiàng)，微軟華裔研究員斬獲經(jīng)典論文

大數(shù)據(jù)文摘出品

備受矚目的NeurlPS 2019周日一早在溫哥華拉開(kāi)序幕，今天，組委會(huì)通過(guò)一篇博客公布了包括杰出論文獎(jiǎng)、杰出新方向論文獎(jiǎng)等五大類獎(jiǎng)項(xiàng)。

NeurIPS，全稱神經(jīng)信息處理系統(tǒng)大會(huì)(Conference and Workshop on Neural Information Processing Systems），自1987年誕生至今已有32年的歷史，一直以來(lái)備受學(xué)術(shù)界和產(chǎn)業(yè)界的高度關(guān)注。NeurIPS為人工智能領(lǐng)域的A類會(huì)議，同時(shí)也是人工智能領(lǐng)域最富盛名的年度會(huì)議之一。

據(jù)官方消息，今年NeurIPS會(huì)議的論文投稿量再創(chuàng)造新高，共收到6743篇投稿，最終錄取1428篇論文，36篇oral，錄取率為21.2%。

今年的參會(huì)人數(shù)也再創(chuàng)新高，參會(huì)總?cè)藬?shù)已經(jīng)突破了13000人，相比去年參會(huì)的9000人增加了近一半。由于報(bào)名人數(shù)過(guò)多。今年大會(huì)組織者甚至更改了搶票規(guī)則，將“先到先得”原則更改為“抽獎(jiǎng)”原則。正如NeurIPS在公告中所說(shuō)，用新規(guī)則搶票的NeurIPS 2019可以在一定程度上避免時(shí)區(qū)問(wèn)題。

今年開(kāi)幕式的注冊(cè)長(zhǎng)隊(duì)，圖：HooraRM @ NeurIPS2019

而如此高的投稿率和參會(huì)率，也能從側(cè)面反應(yīng)了人工智能研究的火爆程度只增不減。

如此龐大的投稿量，組委會(huì)再審核和評(píng)選過(guò)程中也面臨不小的壓力。在揭曉獎(jiǎng)項(xiàng)的官方博文中，NeurlPS 2019也聲明了獎(jiǎng)項(xiàng)評(píng)審過(guò)程中的相關(guān)標(biāo)準(zhǔn)和評(píng)選過(guò)程，從這些標(biāo)準(zhǔn)中我們可以也看出，哪些研究更NeurIPS 2019所認(rèn)可或者不被鼓勵(lì)。

評(píng)審委員會(huì)一致通過(guò)的評(píng)審標(biāo)準(zhǔn)包括，鼓勵(lì)以下9種研究特質(zhì)：

• 持久的潛力ーー專注于主要工作，而不是邊邊角角。 在未來(lái)的幾十年里，人們可能仍然會(huì)關(guān)心這個(gè)問(wèn)題；

• 洞察力——提供新的（最好是深入的）理解；不僅僅是為了模型表現(xiàn)出幾個(gè)百分點(diǎn)的改進(jìn)；

• 創(chuàng)造力——以創(chuàng)造性的新方式看待問(wèn)題，給出一個(gè)真正讓讀者感到驚訝的結(jié)果；

• 革命性ーー將從根本上改變?nèi)藗兾磥?lái)的思維方式；

• 嚴(yán)謹(jǐn)性ーー無(wú)懈可擊的嚴(yán)謹(jǐn)和考慮；

• 優(yōu)雅感ーー美麗、干凈、光滑、優(yōu)雅；

• 現(xiàn)實(shí)性ーー不過(guò)分強(qiáng)調(diào)其重要性；

• 科學(xué)性——在實(shí)際上是可證偽的；

• 可重復(fù)性ーー結(jié)果是可重現(xiàn)的；代碼是可用的，并且可以在各種機(jī)器上使用；數(shù)據(jù)集是可用的；證明細(xì)節(jié)是完整的。

組委會(huì)還公布了一些他們不鼓勵(lì)的3種論文特質(zhì):

• 低效ーー遠(yuǎn)離那些僅僅因?yàn)橘Y源浪費(fèi)而脫穎而出的工作（主要是因?yàn)槔速M(fèi)了大量資源而獲得了較高的排名）

• 趨附大勢(shì)——因?yàn)橐粋€(gè)想法很時(shí)尚所以采用某種方法，但可以通過(guò)其他方法以不同的更有效的方式獲得。

• 過(guò)于復(fù)雜ーー論文有非必要的復(fù)雜性。

此外，組委會(huì)今年還新增加了一個(gè)杰出新方向論文獎(jiǎng)，以突出在為未來(lái)的研究設(shè)置一個(gè)新的途徑方面出色的工作。

一起來(lái)看看5大獎(jiǎng)項(xiàng)的獲獎(jiǎng)?wù)撐摹?/span>

獲獎(jiǎng)?wù)?/span>文：

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

論文鏈接：

https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise.pdf

論文作者：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos

機(jī)構(gòu)：威斯康辛大學(xué)麥迪遜分校、馬普所

具體而言，研究人員給定了一組帶標(biāo)簽樣本（x, y），采樣R^d+1維的分布D，如此，未帶標(biāo)簽點(diǎn)x上的邊緣分布是任意的，并且標(biāo)簽y通過(guò)一個(gè)未知半空間生成，這個(gè)未知半空間被Massart噪聲破壞，其中噪聲率η<1/2。這樣一來(lái)，問(wèn)題就變成了尋找到假設(shè)h，使得誤分類誤差（misclassification error）得以最小化。

在本篇論文之前，即使是對(duì)于析取類（the class of disjunctions），也沒(méi)有一個(gè)有效的弱（分布獨(dú)立）學(xué)習(xí)器模型。這種半空間（甚至析取類）的算法在各項(xiàng)研究中始終未能得到解決，從Sulon（1988）、Cohen（1997），一直到Avrim Blum的FoCS 2003教程，都在強(qiáng)調(diào)這個(gè)問(wèn)題。

該論文研究了在訓(xùn)練數(shù)據(jù)中存在未知有界標(biāo)簽噪聲情況下，二值分類線性閾值函數(shù)的學(xué)習(xí)問(wèn)題。論文提出，通過(guò)導(dǎo)出一個(gè)有效的學(xué)習(xí)算法，能解決基本的、長(zhǎng)期存在的開(kāi)放問(wèn)題。

本文在機(jī)器學(xué)習(xí)領(lǐng)域長(zhǎng)期存在的開(kāi)放性問(wèn)題上取得了重大進(jìn)展，即“在Massart噪聲下有效地學(xué)習(xí)半空間問(wèn)題進(jìn)行了研究”。舉一個(gè)簡(jiǎn)單的例子，在1%的Massart噪聲下，即使是弱學(xué)習(xí)析?。╳eak learning disjunctions）（誤差率49%）也是開(kāi)放的。

本文展示了如何有效地實(shí)現(xiàn)與Massart噪聲水平加epsilon（和運(yùn)行時(shí)間poly（1/epsilon））相等的超額風(fēng)險(xiǎn)。算法方法的復(fù)雜，使得在技術(shù)上難以確定。最終目標(biāo)是能夠有效地獲得等于epsilon（in-time poly（1/epsilon））的超額風(fēng)險(xiǎn)。

獲獎(jiǎng)?wù)撐?/span>：

Uniform convergence may be unable to explain generalization in deep learning

論文鏈接：

https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning.pdf

論文作者：Vaishnavh Nagarajan、J. Zico Kolter

機(jī)構(gòu)：卡耐基梅隆大學(xué)、博世人工智能中心

為了解釋過(guò)參數(shù)化深度網(wǎng)絡(luò)的泛化行為，最近許多論文為發(fā)展了深度學(xué)習(xí)設(shè)定了泛化邊界，所有邊界的制定都基于一致收斂的基本學(xué)習(xí)理論技術(shù)。

現(xiàn)有邊界的數(shù)值是巨大的，通過(guò)大量的實(shí)驗(yàn)，研究人員揭示了除了邊界外更值得關(guān)注的一個(gè)方面：實(shí)踐中，這些界限可以隨著訓(xùn)練數(shù)據(jù)集的增大而增大。觀察結(jié)果指出，研究人員給出超參數(shù)線性分類器和梯度下降（GD）訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的例子，但其中一致收斂證明不能解釋泛化——即使我們盡可能充分考慮GD{\em的隱式偏差。更準(zhǔn)確地說(shuō)，即使我們只考慮GD輸出的一組分類器，它們的測(cè)試誤差在我們的設(shè)置中小于一些小的值，我們也表明，對(duì)這組分類器應(yīng)用（雙邊）一致收斂只會(huì)產(chǎn)生大于的空泛化保證。通過(guò)這些發(fā)現(xiàn)，我們對(duì)基于一致收斂的泛化界的能力提出了質(zhì)疑，以提供一個(gè)完整的圖片說(shuō)明為什么過(guò)度參數(shù)化的深層網(wǎng)絡(luò)泛化良好。

針對(duì)許多現(xiàn)有的（基于范數(shù)的）邊界深度學(xué)習(xí)算法的性能否做到他們所聲稱的那樣，本文給出了否定的回答。他們認(rèn)為，當(dāng)他們繼續(xù)依賴于雙邊一致收斂機(jī)制（the machinery of two-sided uniform convergence）時(shí)，他們就不能做自己宣稱的事情。

獲獎(jiǎng)?wù)撐模?/span>

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

論文鏈接：

論文作者：AnanyaUppal、 ShashankSingh、BarnabásPóczos

機(jī)構(gòu)：卡內(nèi)基梅隆大學(xué)

該論文以嚴(yán)格的理論方法證明，在密度估計(jì)方面（就收斂速度而言），GAN的性能優(yōu)于線性方法。利用先前關(guān)于小波收縮的結(jié)果，本文為GAN的表示能力提供了新的思路。具體來(lái)說(shuō)，作者在大型函數(shù)類別（Besov空間）內(nèi)的大型損失類別（所謂的積分概率度量）下，得出了用于非參數(shù)密度估計(jì)的最小極大收斂速度。審稿人認(rèn)為，這篇論文將對(duì)從事非參數(shù)估計(jì)和GAN的研究人員產(chǎn)生重大影響。

獲獎(jiǎng)?wù)撐模?/span>

Fast and Accurate Least-Mean-Squares Solvers

論文鏈接：

https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

論文作者：AlaaMaalouf、IbrahimJubran、DanFeldman

機(jī)構(gòu)：海法大學(xué)計(jì)算機(jī)科學(xué)系機(jī)器人與大數(shù)據(jù)實(shí)驗(yàn)室

最小均方求解是許多機(jī)器學(xué)習(xí)算法的核心，從線性和Lasso回歸到奇異值分解和彈性網(wǎng)絡(luò)。本文展示了如何將它們的計(jì)算復(fù)雜度降低一到兩個(gè)數(shù)量級(jí)，而又沒(méi)有精度損失和改善的數(shù)值穩(wěn)定性。 該方法依賴于Caratheodory定理，建立了一個(gè)核心集（d維的d2 + 1個(gè)點(diǎn)的集合）足以表征凸包中的所有n個(gè)點(diǎn)。該文的新穎之處在于提出的分治法，該算法可提取具有可承受的復(fù)雜性的核集（O（nd + d5 log n），前提是d << n）。審稿人強(qiáng)調(diào)了該方法的重要性，因?yàn)樵摲椒ǖ倪f歸劃分原理而使其易于推廣，從業(yè)人員可以輕松實(shí)現(xiàn)該方法以改進(jìn)現(xiàn)有算法，并且可以將其擴(kuò)展到其他算法。

獲獎(jiǎng)?wù)撐模?/span>

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

論文地址：

論文作者：Sindy L?we、Peter O'Connor、Bastiaan Veeling

自我監(jiān)督表示學(xué)習(xí)的新型深度學(xué)習(xí)方法，該方法不需要標(biāo)簽或端到端反向傳播，而是利用數(shù)據(jù)中的自然順序。受生物神經(jīng)網(wǎng)絡(luò)似乎在學(xué)習(xí)時(shí)不會(huì)反向傳播全局誤差信號(hào)的觀察啟發(fā)，我們將深度神經(jīng)網(wǎng)絡(luò)拆分為若干梯度獨(dú)立模塊。訓(xùn)練過(guò)程中，每個(gè)模塊都利用 Oord 等人 [2018] 提出的 InfoNCE 邊界最大限度地保留該模塊的輸入信息。盡管這是一種貪婪的訓(xùn)練方式，但我們證明了每個(gè)模塊都可以在前一模塊輸出上得以提高，并且頂級(jí)模塊創(chuàng)建的表示形式在音頻和視頻領(lǐng)域的下游分類任務(wù)上可產(chǎn)生極具競(jìng)爭(zhēng)力的結(jié)果。 該提議使異步優(yōu)化模塊成為可能，從而允許非常深的神經(jīng)網(wǎng)絡(luò)在未標(biāo)記數(shù)據(jù)集上進(jìn)行大規(guī)模分布式訓(xùn)練。

評(píng)論：本文依據(jù)van Oord等人提出的自我監(jiān)督的標(biāo)準(zhǔn)，重新討論了深度網(wǎng)絡(luò)的分層構(gòu)建，特別是當(dāng)前輸入表征與時(shí)空輸入表征之間的交互信息。感知網(wǎng)絡(luò)中的這種自組織可能會(huì)在算法視角(回避端到端優(yōu)化、其巨大的內(nèi)存占用和計(jì)算問(wèn)題)和認(rèn)知視角(利用所謂的慢特性的概念，向更“生物學(xué)上合理的”學(xué)習(xí)過(guò)程發(fā)展)的結(jié)合方面提供了新的啟發(fā)。

獲獎(jiǎng)?wù)撐模?/span>

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

論文鏈接：

論文作者：Vincent Sitzmann 、Michael Zollh?fer、Gordon Wetzstein

機(jī)構(gòu)：斯坦福大學(xué)

生成模型的無(wú)監(jiān)督學(xué)習(xí)有著發(fā)現(xiàn)3D場(chǎng)景的豐富表征的潛力。雖然幾何深度學(xué)習(xí)探索了場(chǎng)景幾何的3D結(jié)構(gòu)感知表示，但是這些模型通常需要明確的3D監(jiān)督。新興的神經(jīng)場(chǎng)景表示只能通過(guò)擺姿勢(shì)的2D圖像進(jìn)行訓(xùn)練，但是現(xiàn)有方法忽略了場(chǎng)景的三維結(jié)構(gòu)。我們提出了場(chǎng)景表示網(wǎng)絡(luò)（SRN），這是一種連續(xù)的3D結(jié)構(gòu)感知場(chǎng)景表示，可對(duì)幾何形狀和外觀進(jìn)行編碼。 SRN將場(chǎng)景表示為將世界坐標(biāo)映射到局部場(chǎng)景屬性的特征表示的連續(xù)函數(shù)。通過(guò)將圖像形式表述為可區(qū)分的光線行進(jìn)算法，可以僅從2D圖像及其相機(jī)姿態(tài)端對(duì)端地訓(xùn)練SRN，而無(wú)需深度或形狀。這種表達(dá)方式自然可以跨場(chǎng)景進(jìn)行泛化，在此過(guò)程中學(xué)習(xí)強(qiáng)大的幾何形狀和外觀先驗(yàn)。我們通過(guò)評(píng)估SRN的新穎視圖合成，幾次快照重建，關(guān)節(jié)形狀和外觀插值以及非監(jiān)督性非剛性人臉模型來(lái)證明SRN的潛力。

本文介紹了CV中兩種廣泛方法的完美結(jié)合：多視圖幾何和深層表示。 具體來(lái)說(shuō)，本文做出了三點(diǎn)貢獻(xiàn)：1）每個(gè)像素的神經(jīng)渲染器，它可以以3D感知的方式實(shí)現(xiàn)無(wú)分辨率的場(chǎng)景渲染； 2）可微分的光線行進(jìn)算法，解決了沿著相機(jī)投射的光線尋找表面相交的難題。 3）潛在場(chǎng)景表示，它使用自動(dòng)編碼器和超網(wǎng)絡(luò)來(lái)回歸場(chǎng)景表示網(wǎng)絡(luò)的參數(shù)。

論文名稱：

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

論文鏈接：

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/xiao10JMLR.pdf

論文作者：Lin Xiao，微軟研究院的高級(jí)首席研究員，曾就讀于北京航空航天大學(xué)和斯坦福大學(xué)。他目前的研究方向包括：大規(guī)模優(yōu)化的理論和算法、機(jī)器學(xué)習(xí)和在線算法、并行和分布式計(jì)算。

本文認(rèn)為正規(guī)化隨機(jī)學(xué)習(xí)和在線優(yōu)化問(wèn)題,目標(biāo)函數(shù)是兩個(gè)凸的和術(shù)語(yǔ):一個(gè)是損失函數(shù)的學(xué)習(xí)任務(wù)；另一個(gè)是一個(gè)簡(jiǎn)單的正則化項(xiàng)。研究中開(kāi)發(fā)了Nesterov的雙重平均方法的擴(kuò)展，可以利用在線設(shè)置的正則化結(jié)構(gòu)。在這些方法的每次迭代中，通過(guò)解決一個(gè)簡(jiǎn)單的最小化問(wèn)題來(lái)調(diào)整學(xué)習(xí)變量，該問(wèn)題涉及到損失函數(shù)過(guò)去所有次梯度的運(yùn)行平均值和整個(gè)正則化項(xiàng)，而不僅僅是其次梯度。對(duì)于?1的正則化，該方法能夠有效的獲得稀疏效果。研究還證明這些方法達(dá)到了隨機(jī)學(xué)習(xí)標(biāo)準(zhǔn)的最優(yōu)收斂速度。對(duì)于損失函數(shù)具有Lipschitz連續(xù)梯度的隨機(jī)學(xué)習(xí)問(wèn)題，研究者提出了對(duì)偶平均法的加速版。

該論文提出了一種全新在線算法——正則化雙重平均算法（RDA），研究實(shí)驗(yàn)證明，RDA 對(duì)于?1 正則化的稀疏在線學(xué)習(xí)非常有效。

經(jīng)典論文獎(jiǎng)的授予原則為：具有重要貢獻(xiàn)、持久影響和廣泛吸引力。官方設(shè)置了專門的委員會(huì)負(fù)責(zé)篩選對(duì)社會(huì)產(chǎn)生重大且持久影響的論文。Amir Globerson, Antoine Bordes, Francis Bach和Iain Murray承擔(dān)參與到評(píng)選工作中。

委員會(huì)從18篇被接受的論文開(kāi)始進(jìn)行評(píng)選工作——到2009年NeurIPS，這些論文自發(fā)表以來(lái)被引用次數(shù)最多。然后，他們把搜索的重點(diǎn)放在那些已經(jīng)產(chǎn)生了持續(xù)影響的論文上，即那些在最近的論文仍然被引用的論文。委員會(huì)還希望能夠確定對(duì)該領(lǐng)域的準(zhǔn)確貢獻(xiàn)，使選定的論文脫穎而出；并確保該論文寫得足夠好，使當(dāng)今社會(huì)的大多數(shù)人都能閱讀。