NeurlPS 2019在温哥华开幕 微软华裔研究员获经典论文奖

按照惯例，今年NeurIPS 2019最佳论文组委会从会议接收的Oral 论文中挑选出了最值得关注的论文并授予杰出论文奖项。据官方介绍，今年的论文奖项评选规则如下：

具备持久影响的潜力——论文聚焦于某个主流而非边缘化的研究领域，人们在未来的几十年时间里依旧会关注它。

有观点——提供了新的（并且希望是深的）见解，而不仅仅是在性能上提高几个百分点。

创造性/让人出乎意料/令人惊奇——以创造性的新视角去看待问题，并且得出了真正让读者惊喜的结果。

变革性——将从根本上改变未来人类思考问题的方式。

严谨性——无懈可击的细致和严谨。

优雅——论文漂亮、工整、流畅并经过很好地润色。

现实性——不过分强调重要性。

科学性——能够证伪。

可重复性——结果能够真正可重复、代码可用并且能够在多种机器上运行、数据可用以及能够提供详细的证实。

与此同时，组委会在评选论文时，还应该关注论文是否存在以下几点问题（并避免选择存在这些问题的论文）：

低效——需要以消耗大量资源为前提才能够脱颖而出的工作（主要依赖于消耗大量资源在排行榜上获得了更高的排名）

时髦——采用某个方法是因为此方法比较热门，但其实还可以采用其他更加高效的方法。

过于复杂——论文中加入了本不需要的复杂性。

以上这些因素，或许值得每一位想要拿得国际顶会最佳论文奖的研究者/机构，去思考和借鉴。

杰出论文奖

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

作者：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos（威斯康辛大学麦迪逊分校、马普所）

论文地址：https://www.aminer.cn/pub/5d1eb9d3da562961f0b0dc62/distribution-independent-pac-learning-of-halfspaces-with-massart-noise

摘要：这篇论文研究了在训练数据中有未知的、有界的标签噪声的情况下，如何为二分类问题学习线性阈值函数。论文推导出一个在这种情境下非常高效的学习算法，解决了一个基础的、长期存在的开放性问题：在有Massart噪声的情况下高效地学习半空间；这也是机器学习的核心问题之一，这篇论文带来了巨大的进步。

论文中的一个简单的例子证明了该方法的效果。在此之前，只有1% Massart噪声就会让弱学习无效（达到49%的错误率）。论文中展示了如何高效地让错误水平上限仅仅等于Massart噪声水平+ε （算法的运行时间为（1/ε）的多项式，正如预期）。算法的实现方法很精密，达到这样的结果也有一定的技术挑战。最终的结果是，能够高效地在（1/ε）的多项式运行时间内让错误水平上限为Massart噪声水平+ε 。

杰出新方向论文奖

Uniform convergence may be unable to explain generalization in deep learning

作者：Vaishnavh Nagarajan、J. Zico Kolter（卡耐基梅隆大学、博世人工智能中心）

论文地址：https://www.aminer.cn/pub/5cede0ecda562983788cad9e/uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

为了解释过参数化深度网络令人惊讶的良好泛化性能，近期的论文为深度学习开发出了各种泛化边界，这些边界都是基于一致收敛理论上的基本学习技巧。许多现有的边界在数值上都很大，通过大量的实验，作者揭示了这些界限的一个更值得关注的方面：实际上，这些边界可以随着训练数据集的增大而增大。

根据观察结果，他们随后给出了一些用梯度下降（gradient descent， GD）训练的过参数化线性分类器和神经网络的例子，而在这些例子中，一致收敛被证明不能「解释泛化」--即使尽可能充分地考虑了梯度下降的隐含偏见。更加确切地说，即使只考虑梯度下降输出的分类器集，这些分类器的测试误差小于设置中的一些小的ε。研究者也表明，对这组分类器应用（双边，two-sided）一致收敛将只产生一个空洞的大于 1-ε的泛化保证。通过这些发现，研究者对基于一致收敛的泛化边界的能力提出了质疑，从而全面了解为什么过参数化深度网络泛化得很好。

杰出论文奖荣誉提名

Nonparametric density estimation & convergence of GANs under Besov IPM losses

作者：Ananya Uppal、Shashank Singh、Barnabás Póczos（卡内基梅隆大学）

论文地址：https://www.aminer.cn/archive/nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses/5db9297547c8f766461f721d

在本文中，作者探究了大型损失函数族（Besov IPM）的非参概率密度估计问题，该函数族包括 L^p 距离、总变分距离，以及 Wasserstein 距离和 KolmogorovSmirnov 距离的泛华版本。对于各种损失函数设置，研究者提供了上下界，精确明确了损失函数与数据假设的选择，如何影响极小极大最优收敛率的确定。

作者同样展示了线性分布估计经常不能达到最优收敛率，例如经验分布或核密度估计器等线性分布。他们得出来的上下界能帮助泛化、统一或提升一些最经典研究成果。此外，IPM 可以用于形式化生成对抗网络的统计模型。因此，研究者展示了该结果如何表明 GAN 的统计误差边界，例如 GAN 要严格超越最好的线性估计器。

Fast and Accurate Least-Mean-Squares Solvers

作者：Alaa Maalouf、Ibrahim Jubran、Dan Feldman（以色列海法大学）

论文地址：https://www.aminer.cn/pub/5db9294547c8f766461f2185/fast-and-accurate-least-mean-squares-solvers

本文从线性、Lasso回归到奇异值分解和Elastic net，最小均方算法是许多ML算法的核心。本文展示了如何在不损失精度的情况下，将其计算复杂度降低一到两个数量级，并改进了数值稳定性。该方法依赖于Caratheodory定理，建立一个coreset （d维中d2 + 1个点的集合）足以表征凸集中的所有n个点。它的新颖之处在于提出了一种分治算法，在复杂度可承受的情况下（O（nd + d5 log n），其中d << n））提取coreset。

杰出新方向论文奖荣誉提名

Putting An End to End-to-End：Gradient-Isolated Learning of Representations

作者：Sindy Lwe、Peter O‘Connor、Bastiaan Veeling（阿姆斯特丹大学）

论文地址：https://www.aminer.cn/pub/5de799ee9e795e775806935a/putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

本文重新审视了深度网络的分层构建，使用了van Oord等人提出的自监督标准，特别是当前输入的表示与空间或时间相近的输入之间的相互信息。

Scene Representation Networks：Continuous 3D-Structure-Aware Neural Scene Representations

作者：Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein（斯坦福大学）

论文地址：https://www.aminer.cn/archive/scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations/5d04e90fda56295d08de0a15

本文提出了CV中的两种主要方法：多视图几何方法和深度表示方法完美地结合在一起。具体而言，本文的三大贡献表现在：1.基于每个体素的神经渲染器，实现了场景的3D感知无分辨率渲染；2.提出一种可微分的ray-marching 算法，解决了沿着摄像机投射光线寻找曲面交点的难题；3.提出一种潜在的场景表示方法，利用自动编码器和超级网络对场景来回归表示网络的参数。

经典论文奖

NeurIPS经典论文奖的授予原则为"重要贡献、持久影响和广泛吸引力"，本届大会从 2009 年 NIPS 的 18 篇引用最多的论文中选出了持续影响力最高、对研究领域具有杰出贡献的研究。

最终，今年的这一奖项授予 了NIPS 2009 论文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其作者，微软首席研究员 Lin Xiao。

Lin Xiao曾就读于北京航空航天大学和斯坦福大学，自 2006 年起就职于微软研究院。他的研究兴趣包括大规模优化的理论和算法，机器学习的随机和在线算法，并行计算和分布式计算。

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

论文地址：https://www.aminer.cn/pub/53e99858b7602d9702091d2a/dual-averaging-methods-for-regularized-stochastic-learning-and-online-optimization

该研究提出了用于在线最优化求解的RDA（Regularized Dual Averaging）方法，是Lin Xiao在微软10年的研究成果。该方法是Simple Dual Averaging Scheme一个扩展，并更有效地提升了特征权重的稀疏性。