【DiT】Scalable Diffusion Models with Transformers

该论文发表之前，市面上几乎都是用卷积网络作为实际意义上的（de-facto）backbone。于是一个想法就来了：为啥不用transformer作为backbone呢？文章说本论文的意义就在于揭示模型选择对于扩散模型的重要性，并为生成模型研究提供一个可借鉴的基准（baseline）。本文还揭示出卷积网络的inductive bias对生成性能并没有多大的影响，所以可以使用transformer网络去替代卷积网络。文章使用Gflops和FID去分别评估模型复杂度和生成图像质量。

探索了一种基于transformer架构的新型扩散模型。训练了图像的潜在扩散模型，将常用的 U-Net 骨干替换为在潜在补丁上操作的transformer。通过基于前向传播复杂度的 Gflops 测量来分析扩散transformer（DiTs）的可扩展性。具有更高 Gflops 的 DiTs — 通过增加transformer的深度/宽度或增加输入token的数量会具有较低的 FID。

提示：以下是本篇文章正文内容，下面案例可供参考探索了一类基于Transformer架构基础上的扩散模型。用Transfomer架构替换之前的U-Net，通过增加transformer的深度/宽度或input tokens实现比之前所有扩散模型更优秀的表现。Transformers推动了机器学习的复兴，过去NLP，CV以及其他许多领域都受影响很大。但图像级生成任务还没有太多应用。扩散模型是图像级生成方法的主流解决方案，不过都是基于U-Net的。

近期Sora大火，它底层是Diffusion Transformer，本质上是使用Transformer结构代替原本的Unet进行噪声预测，好处是统一了文本生成与视频生成的结构。这训练优化和预测优化而言是个好事，因为只需要优化一种结构就够了。虽然觉得OpenAI是大力出奇迹，但还是得学！

DiT 的思路和做法都是比较直接的，就是用 Transformer 替换掉 UNet，并探索了其 scaling 能力和条件注入的结构。在 Diffusion 成功之后，以 DiT 为代表的，有很多用 Transformer 替换 UNet 的工作，但都没有受到很大的关注。究其原因，应该是 UNet 已经做的足够好，计算开销也低，使用 Transformer scaling 上去，虽然生成质量有所提升，但也没那么显著。

idea将UNet架构用Transformer代替。并且分析其可扩展性。并且实验证明通过增加transformer的宽度和深度，有效降低FID我们最大的DiT-XL/2模型在classconditional ImageNet 512、512和256、256基准上的性能优于所有先前的扩散模型，在后者上实现了2.27的最先进FID。

探索未来：Scalable Diffusion Models with Transformers (DiT) 在Pytorch中的实现 项目介绍 在人工智能和机器学习的快速发展中，生成模型一直是研究的热点。近年来，扩散模型（Diffusion Models）因其强大的生成能力和灵活性，逐渐成为生成模型领域的新星。而在这个领域中，Scalable Diffusion Models with Tran...

如果您使用train.py(见下文)训练了一个新的DiT模型，那么您可以添加——ckpt参数来使用您自己的检查点。例如，要从自定义256x256 DiT-L/4型号的EMA权重。

**Scalable Diffusion Models with Transformers (DiT)** 是一个基于PyTorch的改进实现，旨在提供一个高效、可扩展的扩散模型框架。该项目由Facebook Research团队开发，基于论文[**Scalable Diffusion Models with Transformers**](https://www.wpeebles.com/DiT...

【代码】Scalable Diffusion Models with Transformers (DiT)

用transformer来替代U-Net backbone，提升生成效果。

在这个函数中，labels参数表示输入的标签，force_drop_ids用于指定哪些标签需要被强制丢弃，dropout_prob表示丢弃的概率，函数使用 torch.where函数根据 drop_ids是否=1将需要丢弃的标签替换为 self.num_classes，此时共有num_classes+1个类别。在训练过程中以一定概率令条件编码=空，得到条件生成和无条件生成的输出，再将其线性组合作为最终的输出。最后，我们将解码后的标记重新排列为其原始空间布局，以获得预测的噪声和协方差。位置编码：梯度不更新。

【代码】Scalable Diffusion Models with Transformers (DiT)Official PyTorch Implementation。

最大模型 DiT-XL/2 在 ImageNet-256 上把 SOTA FID 推到 2.27，优于一切现有扩散模型，同时计算量远低于像素空间 U-Net 模型。结合 Stable Diffusion 的 VAE，仅在 32×32×4 latent 上训练，最大 DiT-XL/2 仅 118 Gflops（像素空间 ADM > 1 K Gflops），却取得 SOTA FID 2.27。作者论证 U-Net 的归纳偏置并非扩散模型必需，可被标准 Transformer 设计替换。

论文提出了一类使用transformer的扩散模型。将其中的主干网络U-Net用替代，以获取更好的效果。实验证明了transformer架构在扩散模型上的scalability能力，分析发现 DiTs速度更快（Gflops更高），并且始终具有较低的FID（FID是反应生成图片和真实图片的距离，数据越小越好1GLOPs=10亿次浮点运算。是Paper里比较流行的单位。FID是反应生成图片和真实图片的距离，数据越小越好最大的模型DiT-XL/2在ImageNet。

论文题目：Scalable Diffusion Models with Transformers —— VLOGGER：具身化身合成的多模态扩散纯Transformer的扩散模型！研究扩散模型必读文章！我们基于变压器架构探索了一类新的扩散模型。我们训练图像的潜在扩散模型，用对潜在补丁进行操作的转换器替换常用的 U-Net 主干。我们通过 Gflops 测量的前向传递复杂度透镜来分析我们的扩散变换器 (DiTs) 的可扩展性。

影视 AIGC 项目的算力需求随阶段剧烈变化——试产期重验证、单卡够用，量产期重吞吐、多卡或集群更合适，交付期以编解码为主、可大幅缩减 GPU。很多影视 AIGC 团队租算力时，习惯按"整个项目需要什么卡"来规划。但影视 AIGC 项目从试产到交付，算力需求不是线性的——试产期你可能只需要一张卡跑通流程，量产期可能需要多卡并行才能跟上交付节奏，交付期反而可以大幅缩减 GPU 投入。