图像生成新思路：Masked Diffusion在CIFAR-10上的惊人表现（含与PixelCNN++对比）

最新推荐文章于 2026-04-08 10:21:54 发布

原创

最新推荐文章于 2026-04-08 10:21:54 发布 · 169 阅读

标签

#图像生成 #Masked Diffusion #生成模型 #离散数据

图像生成新思路：Masked Diffusion在CIFAR-10上的惊人表现（含与PixelCNN++对比）

如果你最近在关注图像生成领域，可能会感觉有些审美疲劳。从GAN到VAE，再到如今大行其道的连续扩散模型，似乎每一次技术跃迁都伴随着模型复杂度的指数级增长。我们习惯了用数百个扩散步、复杂的噪声调度表，以及庞大的计算资源去换取一张高质量的图片。但有没有一种可能，我们其实走上了一条过于复杂的道路？最近，一种名为Masked Diffusion（掩码扩散）的模型正在悄然改变游戏规则，尤其是在处理像CIFAR-10这样的经典像素级图像数据集时，它展现出的简洁性与高效性令人侧目。

简单来说，Masked Diffusion的核心思想非常直观：它不向图像添加连续的噪声，而是通过一个“掩码”过程，随机地将像素点“遮盖”起来，然后学习如何一步步“揭开”这些掩码，从而重建出原始图像。这个过程听起来有点像我们小时候玩的“猜画”游戏，但背后却是一套严谨的概率图模型框架。对于计算机视觉从业者而言，这不仅仅是又一个新模型，它更像是一次思维范式的转换——从连续的、基于分数的建模，回归到离散的、基于掩码的生成逻辑。本文将带你深入解析Masked Diffusion在CIFAR-10上的实战表现，通过可视化的方式对比不同掩码计划的影响，并最终与PixelCNN++等经典自回归模型进行一场硬碰硬的性能对决。你会发现，有时候，最优雅的解决方案往往就藏在最简单的想法里。

1. 从噪声到掩码：理解Masked Diffusion的核心范式转换

要理解Masked Diffusion为何引人注目，我们首先得回顾一下主流扩散模型的工作方式。传统的连续扩散模型（如DDPM）定义了一个前向过程，将数据（如图像）通过逐步添加高斯噪声，最终变成一个纯噪声样本。生成过程则是学习一个反向的去噪过程。这个框架非常强大，但其连续特性意味着我们需要用神经网络去近似一个复杂的分数函数（score function），训练和采样过程都相对耗时。

Masked Diffusion则采用了完全不同的离散化视角。它将图像中的每个像素（或经过量化的token）视为一个离散的类别变量。前向过程不再是添加噪声，而是应用一个“掩码”操作。具体来说，在每个时间步，模型以一定的概率将某个像素替换为一个特殊的[MASK]令牌。随着时间推进，越来越多的像素被掩码，最终整个图像变成一个全掩码的状态。反向生成过程的目标，就是学习一个模型，能够根据当前被部分掩码的图像，预测出被遮盖位置最可能的原始像素值。

这种转变带来了几个根本性的优势：

目标函数极其简洁：其连续时间变分下界（ELBO）可以被证明是交叉熵损失的加权积分。这避免了连续扩散模型中复杂的分数匹配或噪声预测目标。
天然适配离散数据：图像在经过编码器（如VQ-VAE）量化后本就是离散的token序列，Masked Diffusion直接在此空间操作，无需考虑连续值近似带来的误差。
灵活的掩码策略：我们可以精细控制掩码如何随时间应用，这被称为“掩码计划”（Masking Schedule）。不同的计划会显著影响模型的学习效率和生成质量。

为了更直观地理解前向掩码过程，我们可以看一个简化的伪代码描述：

import torch

def forward_masking_process(x_0, timesteps, masking_schedule):
    """
    x_0: 原始图像，形状为 [B, C, H, W]，值域为离散token ID
    timesteps: 总时间步数 T
    masking_schedule: 函数，输入时间t，返回该时间步的掩码率
    """
    x_t = x_0.clone()
    batch_size = x_0.shape[0]
    
    # 为每个样本随机生成一个掩码序列
    for t in range(1, timesteps+1):
        # 根据调度表计算当前掩码率
        mask_rate = masking_schedule(t/timesteps)
        # 生成随机掩码，形状与x_t相同
        mask = torch.rand(x_t.shape) < mask_rate
        # 将被掩码的位置置为特殊的MASK_TOKEN
        x_t[mask] = MASK_TOKEN
    
    return x_t # 最终得到近似全掩码的状态

注意：在实际的连续时间框架中，掩码过程通常被建模为连续时间马尔可夫链，上述离散步骤仅用于概念性理解。真正的实现会利用转移矩阵的闭式解来高效采样任意时刻的状态。

这种“掩码-预测”的范式，与BERT等预训练语言模型的核心预训练任务（掩码语言建模，MLM）有着深刻的联系。这也意味着，我们可以借鉴自然语言处理领域中大量关于掩码策略和模型架构的经验，为图像生成注入新的活力。

2. 掩码计划的艺术：线性、几何与余弦调度的可视化对比

掩码计划是Masked Diffusion模型的“指挥棒”，它决定了在生成过程中，信息是如何被逐步揭示的。一个糟糕的计划可能导致模型早期就面临过于困难的预测任务，或者晚期缺乏足够的上下文信息。研究者们通常探索三种经典的调度策略：线性、几何和余弦。让我们通过一个在CIFAR-10上的思想实验来可视化它们的不同。

假设我们有一张CIFAR-10中的图片，其像素已被量化为离散token。我们观察在总时间步T=1000的过程中，图像被掩码的比例如何随时间变化。