【2023.07.14】生成模型（二） HVAE和VDM

原创 已于 2023-07-15 14:19:11 修改 · 925 阅读 · 1
标签
#算法 #人工智能
于 2023-07-14 20:30:24 首次发布
文章探讨了HierarchicalVariationalAutoencoders(HVAE)在特定条件下如何近似为VariationalDiffusionModels(VDM)。VDM的优化目标包括重建、先验匹配和一致性项，其中重点在于一致性项的优化。通过调整信噪比和使用scorefunction作为优化目标，可以改进模型性能。Tweediesformula在后验估计中的应用也得到了讨论。

1.HVAE和VDM的关系：

在满足以下三个条件下，可以将Hierarchical Variational Autoencoders近似为变分扩散模型。第一，中间隐变量的维度和数据维度相同。第二，隐变量的结构不是学习出的，而是预先规定为线性高斯分布,即每个子变量都是父变量的线性组合。第三，中间隐变量的变化方式最后会使得最终的隐变量满足标准高斯分布。

在VDM中模型只需要优化一个参数，学习条件分布p_{\theta}(x_{t-1}|x_t) 。因为隐变量的高斯分布的方差和均值可以被设置为超参数或可学习得参数。设置均值和方差满足如下规定，保证模型variance-preserving得特性：。因此此时encoder分布q(x_t|x_{t-1})不由参数\phi决定，而直接被预先规定得方差和均值决定。

2.VDM优化目标

ELBO也可以被拆分为三项：reconstruction term, prior matching term, consistency term.

最低0.47元/天 解锁文章
FridaNN
关注
DDPM中的 最优贝叶斯去噪（Optimal Bayesian Denoising）
prinTao的博客
01-12 1749
最优贝叶斯去噪（Optimal Bayesian Denoising）是统计学中的一种方法，用于处理具有噪声的随机变量或数据。它的核心目标是从噪声数据中估计出最接近真实未受干扰数据的版本。这个方法基于贝叶斯统计理论，通过最小化均方误差（Minimum Mean Square Error，MMSE）来进行去噪。以下是有关最优贝叶斯去噪的一般介绍：贝叶斯统计理论：最优贝叶斯去噪是建立在贝叶斯统计理论的基础上的。它使用概率分布和贝叶斯定理来建模噪声和信号之间的关系。
贝叶斯统计：Tweedie公式及其证明
一个不愿透露姓名的博客
09-04 5121
贝叶斯统计：Tweedie公式及其证明 Tweedie公式是贝叶斯统计中用来研究正态分布的均值问题的最重要的公式之一，不管是在经典的对正态均值进行区间估计、假设检验等领域中，还是在现代贝叶斯统计用均值的特殊先验构造其shrinkage estimator的领域中，Tweedie公式都是重要的基础工具，所以这一篇我们一起学习一下这个公式及其证明。 Tweedie公式 考虑y∣μ∼N(μ,σ2)y|\mu \sim N(\mu,\sigma^2)y∣μ∼N(μ,σ2)，其中σ2\sigma^2σ2已知，μ\mu
Tweedie 公式
最新发布
Elsa的迷弟
10-11 785
摘要 Tweedie公式是去噪自编码器、基于分数的生成模型和扩散模型的核心数学基础。文章从噪声观测信号y=x+ε出发，推导了最优去噪估计𝔼[x|y]的表达式。关键步骤包括：1)利用莱布尼茨规则交换梯度与积分顺序；2)通过对数密度梯度技巧将问题转化为计算高斯似然的梯度；3)基于高斯分布性质得到∇_y log p(y|x) = -Σ^{-1}(y-x)。最终推导显示，后验期望估计与观测数据的对数边际密度梯度直接相关，为去噪问题提供了理论依据。
从大一统视角理解扩散模型（Diffusion Models）
夕小瑶科技说
09-29 1471
文 | 中森@知乎资料来源这篇文章是近期笔者阅读扩散模型的一些技术博客和概览的一篇梳理。主要参考的内容来自Calvin luo的论文，针对的对象主要是对扩散模型已经有一些基础了解的读者。Calvin luo 的这篇论文为理解扩散模型提供了一个统一的视角，尤其是其中的数理公式推导非常详尽，本文将试图尽量简要地概括一遍大一统视角下的扩散模型的推导过程。在结尾处，笔者附上了一些推导过程中的强假设的思考和...
《机器学习》第九章 聚类
weixin_43958728的博客
02-02 1378
9.2 性能度量 外部指标：将评价结果与专家给出的模型的结果相对比 S=Same D=Different 给出两种簇划分的方式 ； b：第i和第j个样本在第一种划分中属于同一个簇，在第二种划分中属于不同的簇。 表示两者划分完全相同的可能性在可能相同中的比例。 表示完全相同的可能性在第一种划分中相同的可能性的比例乘上在第二种种相同的可能性。 两次判断相同占所有可能的比例。 内部指...
概率的艺术：变分下界(ELBO)与VAE
weixin_37737254的博客
04-08 6521
按照年初的规划，LLM和AIGC是笔者今年重点学习的两大方向，目前已经分两条线在逐步展开中。笔者最近对Stable Diffusion在本地进行了部署，深度尝试使用了三周时间，对SD常规用法、LoRA、Textual Inversion、Dreambooth和ControlNet均小有尝试，以下均为笔者使用SD绘制的效果图片(相关模型均来自Civitai)。SD等绘图工作背后的核心技术就是目前非常...
扩散模型（Diffusion Models）
whaosoft143ai的博客
09-27 5469
▲ 该优化目标可以通过随机采样实现。 关于对证据下界的不同简化形式。其中我们提到第二种对噪声的近似是 DDPM 所采用的建模方式。但是对初始输入的近似其实也有论文采用。也就是上文提及的将扩散模型应用在可控文本生成的论文里[3]所采用的形式。该论文每轮直接预测初始 Word-embedding。而第三种 score-matching 的角度可以参照 SongYang 博士的系列论文[5]来看。里面的优化函数的形式用的是第三种。whaosoft aiot http://143ai.com
经验贝叶斯估计, Tweedie‘s formula
baidu_39211350的博客
09-26 1024
参考链接
机器学习总结
朽木自雕的博客
01-22 391
无监督和有监督算法的区别？ 有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。 无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。这里，所有的标记（分类）是未知的。因此，训练样本的岐义性高。聚类就是典型的无监督学习。 SVM 的推导，特性？多分...
MHVAE模型
人工智能原理与技术分享
08-15 476
假设隐变量只有一层，HVAE (Hierarchical VAE)假设隐变量有TTT层，MHVAE (Markovian HVAE) 在 HVAE 的基础上假设层与层之间满足马尔可夫性 (Markov Property) ，即当前的状态只与前一个状态有关。
强大的NVAE：以后再也不能说VAE生成的图像模糊了
Paper weekly
07-13 5224
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络前几天笔者在日常刷 arixv 的时候，然后被一篇新出来的论文震惊了！论文名字叫做 NVAE: A...
机器学习入门笔记05-聚类
xyc_undermoon的博客
01-18 2056
无监督学习 无监督学习是一类机器学习算法，在无监督学习中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步数据分析提供基础。通俗的讲，无监督学习就是“从无规律中找到规律”，在未知样本的真实结果的情况下，通过自主学习找到样本之间的一些规律，并将这些规律用于预测。 聚类是常见的一类无监督学习任务。简单地说，聚类就是把杂乱的数据划归为特定的几类，并且这...
生成模型——NVAE: A Deep Hierarchical Variational Autoencoder——arxiv2020.07
LetItBe的博客
07-14 4307
VAE相关改进 VAE的相关改进：1）VAE和GAN结合，GAN的缺点是训练不稳定；2）VAE和flow模型结合；3）VQ-VAE NVAE Nouveau VAE，包含了多尺度架构、可分离卷积、swish 激活函数、flow 模型等 自回归分布 将隐变量分组，针对组间 多尺度设计 其他性能提升技巧 BN层改进（改成Instance Normalization或Weight Normalization）；谱正则化的应用（在每一个卷积层加谱正则化）；flow模型增强分布；节省显存的技巧 参考材料 扩展.
（2024|ICLR，变分扩散模型（VDM），可学习编码器，时间相关的均值函数）DiffEnc：使用学到的编码器进行变分扩散
qq_44681809的博客
04-21 1409
本文基于VDM，通过引入了与数据和深度相关的均值函数来向扩散过程引入时间依赖的编码器，从而改善扩散损失​。它从理论上推导出了生成过程的最优方差，并证明了在连续时间极限下，必须等于扩散方差，以使 ELBO 有良好定义。
变分扩散模型
人工智能原理与技术分享
04-27 1279
VDM (Variational Diffusion Models) 基于 [[MHVAE]] 模型，但与 [[MHVAE]] 模型有3个不同：对于所有时间步t：隐变量zt​的维度和数据x的维度相等，即zt​∈Rdx∈Rd；对于所有时间步t：隐变量zt​不是通过神经网络模型学习得到的，而是以前一个时间步zt−1​为均值的高斯分布。所以，Diffusion Models 不需要通过神经网络模型学习一个 Encoder；随着时间步t的增大，隐变量zt。
[聚类一]之距离计算
faiculty
03-05 8103
距离计算 我们通常采用计算“距离”的方法来度量不同样本之间的相似性，进而判断该样本的大致类别。距离首先是一个几何概念，用dist(⋅,⋅)dist(⋅,⋅)\mathrm{dist}(\cdot,\cdot)表示，其中最为任熟悉的是二维和三维几何空间的欧几里德距离，随着数据维度的增大，距离在维数、幂次数等方面被推广了，距离被抽象为满足一些基本性质：  非负性：dist(xi,xj)≥0;(...
聚类简单讲解
weixin_52257359的博客
03-07 3140
聚类任务是指将一组数据分成多个不同的组（或簇），使得同一组内的数据点彼此相似，而不同组之间的数据点尽可能不相似的过程。聚类任务的目标是发现数据中的固有结构，而不需要事先知道数据的类别信息。聚类算法通常根据数据点之间的相似度或距离将它们分组，使得组内的数据点更加相似，组间的数据点差异更大。具体来说，聚类算法可以作为一个独立的过程，用于发现数据的内在分布结构，也可以作为其他学习任务（如分类）的前驱过程。
VDM Variational Diffusion Models
weixin_44966641的博客
06-06 1733
本文定义了信噪比函数SNRtαt2σt2SNRtαt2​σt2​，从变分下界的角度推导了扩散模型的损失函数。并对其中的扩散损失项在离散时间情形和连续时间情形下进行了推导，结合信噪比函数得出了一个极简洁的形式。进一步地，作者推导出在连续时间情形下，扩散模型规格（以 SNR 的形式）对扩散损失的影响仅体现在t0t=0t0和t1t=1t1两处端点上，而与中间的αtσtαt​σt​。
聚类与距离学习笔记
余音丶未散的博客
02-07 3562
距离距离度量的基本性质非负性：d(x1,x2)>0 同一性：d(x1,x2)=0 当且仅当 x1=x2 对称性：d(x1,x2)=d(x2,x1) 直递性：d(x1,x3)<=d(x1,x2)+d(x2,x3)闵可夫斯基距离适用于有序属性 (eg：1，2)，与数据的分布无关，具有一定的局限性，x过大y过小会放大x影响，需要做标准化，适用于假设数据各个维度互不相关。 闵氏距离的缺点主要有两个：
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值