2025_NIPS_Reverse Diffusion Sequential Monte Carlo Samplers

文章总结与翻译

一、主要内容

本文提出了一种名为反向扩散序贯蒙特卡洛（RDSMC） 的新型采样算法，用于从非标准化目标分布中采样。该算法融合了反向去噪扩散过程与序贯蒙特卡洛（SMC）框架，解决了现有基于扩散的采样器存在的离散化误差和分数估计偏差问题。

核心背景

• 传统采样方法（如MCMC、重要性采样）存在混合慢、维数灾难或依赖复杂优化等缺陷。
• 现有基于扩散的采样器通过正向加噪和反向去噪过程生成样本，但受限于时间离散化误差和分数函数估计偏差，易产生累积误差。

算法核心设计

1. 反向扩散提议分布：利用蒙特卡洛（MC）分数估计模拟反向扩散动力学，生成粒子提议，无需预先训练神经网络。
2. 中间目标分布：基于MC分数估计的副产品构造近似中间目标，逐步引导粒子向最终目标分布收敛，且无需额外计算开销。
3. SMC框架整合：将反向扩散提议作为SMC的提议机制，通过重采样和加权步骤系统校正偏差，确保采样一致性和归一化常数的无偏估计。

实验验证

在合成目标分布（双模态高斯混合、Rings、Funnel）和贝叶斯逻辑回归任务中，RDSMC相比现有扩散采样器（RDMC、SLIPS）和经典方法（AIS、SMC），在样本质量、归一化常数估计精度和模式权重校准方面表现更