论文笔记High-Resolution Image Synthesis with Latent Diffusion Models

原创 已于 2023-04-18 11:36:28 修改 · 3.8k 阅读 · 13
标签
#论文阅读 #深度学习 #计算机视觉 #生成模型 #扩散模型
于 2022-12-19 01:29:02 首次发布
论文提出latentdiffusionmodels(LDMs)，通过预训练自编码器在隐含空间训练扩散模型，降低运算复杂度。使用cross-attention引入文本等条件，优化了普通扩散模型在像素空间的高复杂度问题。该方法适用于低资源环境，且能保持模型质量和灵活性。

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

论文提出了latent diffusion models (LDMs)。基于该模型最著名的工作是文本生成图像模型stable-diffusion。

普通的扩散模型在像素空间操作，运算复杂度较高。为了保证在低资源下训练扩散模型，并保留扩散模型的质量和灵活性，该论文使用预训练的自编码器得到隐含空间，并在隐含空间中训练扩散模型。另一方面，该论文使用cross-attention机制为扩散模型引入条件，条件可以是文本、bounding box等。

方法

方法的整体结构如上图。

先用自编码器训练通用的压缩模型（红色部分），通用的压缩模型可以用来训练不同的扩散模型。

之后在自编码器的低维隐含空间上训练扩散模型（绿色部分），降低运算复杂度。

图片压缩

使用perceptual loss和patch-based adversarial objective训练一个自编码器用于图片的压缩。

用x=\mathbb{R}^{H \times W \times 3}表示图片。有编码器z=\mathcal{E}(x)，解码器

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看
最低0.47元/天 解锁文章
high-resolution image synthesis with latent diffusion models
liguandong
12-26 5561
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
High-Resolution Image Synthesis with Latent Diffusion Models 论文重点
qq_45373485的博客
12-05 3618
通过将图像生成过程分解为去噪编码器的迭代应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的表述还提供了一种引导机制来控制图像生成过程，而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的dm通常会消耗数百个GPU天，而且由于顺序计算，推理是昂贵的（耗时）。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练预编码的潜在空间。与以前的工作相比，在这种表示上训练扩散模型首次允许在复杂性减少和细节保留之间达到一个接近最优点，极大
High-Resolution Image Synthesis with Latent Diffusion Models 稳定扩散模型论文笔记
敲很多键盘
03-31 2693
其优势是特征空间可迁移并且训练较为稳定，但是不容易进行模型评估，当输入的图像数据的分布情况复杂时，其学习到的特征泛化能力不足，而且生成的图像模糊。调整AE中encoder下采样f，如果f=1那就等于没有对输入进行压缩，本文对比了f在{1，2，4, 8, 16, 32}下的效果，如果f越大，则信息压缩越严重，会造成图片失真，但是训练资源则占用越少，反之f约小则训练的会越慢。其效果超过了GANs和LSGM，并且对于比同为扩散模型的DDPM效果要好，与ADM的效果接近，说明了隐空间的确保留了主要的特征信息。
4、High-Resolution Image Synthesis with Latent Diffusion Models
小白的博客
03-04 3511
diffusion
【CVPR 2022】（LDM）High-Resolution Image Synthesis with Latent Diffusion Models
Drug discovery
11-22 6713
详细解读Latent Diffusion Models：原理和代码
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 5万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
论文笔记：High-Resolution Image Synthesis with Latent Diffusion Models
gone_with_heart的博客
06-03 351
文章提出了潜在扩散模型（LDMs），通过在预训练的自动编码器的潜在空间中应用扩散模型，显著降低了计算成本，同时保持了高分辨率图像合成的质量和灵活性，在多个图像合成任务中取得了先进的性能。
阅读论文笔记：High-Resolution Image Synthesis with Latent Diffusion Models
weixin_46942074的博客
09-18 451
参考链接：https://zhuanlan.zhihu.com/p/582693939首先需要训练好一个自编码模型（AutoEncoder包括一个编码器和一个解码器），然后我们可以利用编码器对图片进行压缩，然后在潜在表示空间上做diffusion操作，最后再用解码器恢复到原像素空间即可。这个方法即是感知压缩。
论文笔记：High-Resolution Image Synthesis with Latent Diffusion Models（基于隐扩散模型的高分辨率图像合成）
最新发布
2301_79828504的博客
01-26 1227
LDM隐扩散模型
超详细!!!一文理解High-Resolution Image Synthesis with Latent Diffusion Models
m0_58969377的博客
05-16 4616
图像合成是计算机视觉领域内快速发展且计算需求巨大的一个分支。扩散模型（DM）通过将图像形成过程分解为一系列去噪自编码器的应用，已经在图像数据及其他领域的合成上达到了最先进水平。这些模型的一个独特之处在于其可引导机制，允许在不重新训练的情况下控制图像生成过程。然而，传统上直接在像素空间操作的扩散模型往往需要大量的GPU天数来优化，并且由于序列评估导致推理成本高昂。
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_57974242的博客
11-02 1万+
为了降低训练扩散模型的算力，LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达（latent embedding），大大减少需要的算力。在RGB空间：编码器encoder：，将x压缩成低维表示解码器decoder: D，将低维表示z还原成原始图像空间。1. 加入Autoencoder（上图中左侧红色部分），使得扩散过程在latent space下，提高图像生成的效率；
【经典论文阅读】Latent Diffusion Models（LDM）
m0_65787507的博客
12-10 3581
动机：在有限的计算资源下进行扩散模型训练，同时保持质量和灵活性引入跨注意力层，以卷积方式实现对一般条件输入（如文本或边界框）的响应以及高分辨率合成。
LDM: High-Resolution Image Synthesis with Latent Diffusion Models CVPR 2022
qq_53826699的博客
09-11 2090
通过将图像形成过程分解为降噪自编码器的顺序应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的形成过程允许引导机制来控制图像生成过程而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的DM通常会消耗数百个GPU数天，而且由于顺序计算，推理也非常昂贵。为了在有限的计算资源上进行DM的训练，同时保持其质量和灵活性，本文将其应用于预训练的自编码器的潜在空间。
【论文阅读】Density estimation using Real NVP
睡晚不猿序程的博客
09-17 3432
【论文阅读】Density estimation using Real NVP
014_SSS_High-Resolution Image Synthesis with Latent Diffusion Models
D_Trump的博客
09-13 3357
High-Resolution Image Synthesis with Latent Diffusion Models阅读笔记
High-Resolution Image Synthesis with Latent Diffusion Models——论文解读
qq_45791526的博客
11-26 1450
利用潜在扩散模型生成高分辨率的图像，文章是发表于CVPR 2022上的一篇论文
LDM：High-Resolution Image Synthesis with Latent Diffusion Models
weixin_44966641的博客
02-18 2416
Stable Diffusion 的影响力不用多说，本文主要提了 LDM 技术上的两个关键点。其中 VAE 感知压缩要首先深刻理解一系列自编码压缩方法（之前的文章都有介绍），然后搞懂 KL-reg 和 VQ-reg 两种正则化方式实际上相当于什么方法，以及为什么要加正则。交叉注意力的条件生成机制也是目前比较常用的，理解好交叉注意力机制本身是如何操作的即可，别的就是如何将不同的条件形式进行高效编码。
bpd（bits per dimension）是什么意思？
Drug discovery
04-22 1402
"bpd" 表示 "bits per dimension"，即。这，尤其是在图像和声音处理领域的性能指标。它测量的是模型重建数据时每个维度所需的信息量，用比特（bits）来衡量。当评估生成模型的性能时，"bpd" 用于量化模型生成数据的质量。
论文阅读--High-Resolution Image Synthesis with Latent Diffusion Models
weixin_47628481的博客
12-30 1634
Diffusion model相比GAN可以取得更好的图片生成效果，然而该模型是一种自回归模型，需要反复迭代计算，因此训练和推理代价都很高。论文提出一种在潜在表示空间（latent space）上进行diffusion过程的方法，从而能够大大减少计算复杂度，同时也能达到十分不错的图片生成效果。扩散模型是一类概率模型，设计用于通过逐渐去噪正态分布变量来学习数据分布pxp(x)px，这相当于学习固定马尔可夫链长度TTT的逆过程。
High-Resolution Image Synthesis with Latent Diffusion Models
qq_36201400的博客
03-08 1514
为了在有限的计算资源上进行 DM 训练，同时保持其质量和灵活性，我们将它们应用在强大的预训练自动编码器的潜在空间中。与之前的工作相比，在这种表示上训练扩散模型首次允许在复杂性降低和细节保留之间达到接近最佳的点，从而极大地提高了视觉保真度。通过将交叉注意力层引入模型架构中，我们将扩散模型转变为强大而灵活的生成器，用于一般调节输入（例如文本或边界框），并且以卷积方式使高分辨率合成成为可能。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值