Neurips2024 最佳论文奖：华人作者占据大半江山

最近，AI顶会Neurips 2024大会在温哥华正式落幕了，让我们一回顾一下大会精彩。本届共收到15671篇有效论文投稿，录取率为25.8%。华人学者和华人机构表现突出，在4篇最佳论文中，有3篇论文的第一作者是华人。

最佳论文奖（两篇）

《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》（视觉自回归建模：通过 Next-Scale预测实现可扩展的图像生成），由北京大学、字节跳动研究者共同完成，论文一作为田柯宇。

论文介绍：论文提出了视觉自回归建模（VAR），这是一种新的生成范式，它将图像上的自回归学习重新定义为从粗到细的“下一尺度预测”或“下一分辨率预测”，有别于标准的光栅扫描“下一个标记预测”。

这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布，并且可以很好地泛化。在ImageNet 256×256基准测试中，VAR显著改进了自回归基线，推理速度快了20倍。

同时，经验验证表明VAR在图像质量、推理速度、数据效率以及可扩展性等多个维度上都优于扩散变换器（DiT）。VAR还进一步展示了在下游任务（包括图像补绘、图像外绘和图像编辑）中的零次学习泛化能力。

这些结果表明VAR初步模拟了大型语言模型的两个重要特性：缩放规律和零次学习泛化能力。

《Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators》（随机泰勒导数估计器：任意微分算子的有效摊销），由新加坡国立大学、 Sea AI Lab研究者共同完成，论文一作为Zekun Shi。

论文介绍：使用包含高维、高阶微分算子的损失函数来优化神经网络时，使用反向传播进行评估的成本很高。

论文展示了如何通过恰当地构建单变量高阶自动微分的输入切线，来对多元函数的任意阶导数张量有效地进行任意收缩，而该方法可用于对任何微分算子有效地进行随机化。

当将其应用于物理信息神经网络（PINNs）时，与采用一阶自动微分的随机化方法相比，该方法实现了超过 1000 倍的加速，并减少了超过 30 倍的内存占用，而且现在能够在单个 NVIDIA A100 GPU 上用 8 分钟求解百万维的偏微分方程。这项工作为在大规模问题中使用高阶微分算子提供了可能性。

最佳论文-亚军（两篇）

《Not All Tokens Are What You Need for Pretraining》（并非所有标记都是预训练所需要的），由厦门大学、清华大学、微软的研究者共同完成，论文一作为Zhenghao Lin。

《Guiding a Diffusion Model with a Bad Version of Itself》（用其自身的不佳版本引导扩散模型），由英伟达、阿尔托大学的研究者共同完成，论文一作为Tero Karras。