详解VQVAE：Neural Discrete Representation Learning

Vector QuantisedVariational AutoEncoder (VQ-VAE)是VAE的变种，其隐含变量是离散的。

有关图像处理的课程作业需要学习一篇论文，此论文中作者使用了VQ-VAE模型对舞蹈动作进行编码。因此，对相关知识略作整理以供之后查找。AE、VAE和VQ-VAE可以统一为latent code的概率分布设计不一样，AEr通过网络学习得到任意概率分布，VAE设计为正态分布，VQVAE设计为codebook的离散分布。

发表时间：NIPS2017作者及组织：Aaron van den Oord,Oriol Vinyals和Koray Kavukcuoglu, 来自DeepMind。

VAE、VQVAE、VQGAN是图像生成方向的模型，他们之间的关系如下图所示。接下来对这AE、VAE、VQVAE、VQGAN进行介绍。

VQ-VAE通过结合直通梯度估计和特定的损失函数，有效地解决了离散潜变量在训练中的梯度问题，并实现了对编码器、解码器和嵌入空间的联合优化。这种方法不仅避免了后验坍塌的问题，还能够在多种应用中生成高质量、连贯的样本。3.3 先验离散潜在变量 p(z) 上的先验分布是一种类别分布，并且可以通过依赖于特征图中的其他 z 来实现自回归。在训练 VQ-VAE 时，先验保持恒定且均匀。训练后，我们在 z 上拟合自回归分布 p(z)，以便我们可以通过ancestral sampling生成 x。

（论文下载链接）之所以将论文，主要是为讲解后面两篇论文做准备，VQ-VAE不管是视频还是博客，都有人在讲解，但是这里也做一个总结，以衔接后面的两篇论文讲解，关于相关的论文比较多，并且其中涉及的数学原理以及推导也比较多，导致我们在阅读VAE方法的时候可能存在较多的困惑，自己在看的过程中也遇到了较多的困惑，但是还是准备做一个总结。

VQ-VAE论文解读，及pytorch代码实现，区别于传统的VAE使用连续高斯分布表征隐特征，VQVAE使用离散特征表征隐特征，使用Vector Quantised方法构建离散特征码表

基于神经网络的，离散的表征学习本篇博客主要介绍VQVAE，将VQ的思想引入VAE中，在隐空间进行生成，代表工作如Stable Diffusion,DALLE和VQGAN。现在很多预训练的大模型都用到VQVAE。Vector Quantised Variational AutoEncoder (VQ-VAE)矢量量化变分自编码器。本篇博客首先梳理论文的关键点，之后另一篇博客分析VQVAE的代码。ELBO，全称为 Evidence Lower Bound，即证据下界。

这部分准备先复现项目，看看能不能跑起来，只要能跑起来，就剩下看论文了，然后根据论文讲讲代码，这个任务基本上就算是完成了，至少下周的课程没啥问题了。论文的题目是CONDITIONAL SOUND GENERATION USING NEURAL DISCRETE TIME-FREQUENCY REPRESENTATION LEARNING

基于神经网络的，离散的表征学习本篇博客主要分析一个开源的VQVAE代码，帮助更好的理解VQVAE。注意代码有所修改和注释，在正文中给出。代表工作如Stable Diffusion,DALLE和VQGAN。现在很多预训练的大模型都用到VQVAE。【VQ-VAE论文精读+代码实战】Neural Discrete Representation Learning变分自动编码器 (VAEs) 可以被认为是神经网络除最后一层之外的所有功能，即特征提取或分离数据。

VQ-VAE 提出了一种有效的神经离散表示学习方法，通过矢量量化和代码簿机制实现了更高质量的生成和压缩。这种方法在图像和音频生成等应用上表现出色，为离散表示学习提供了新的思路。

VQ-VAE（Vector Quantized Variational Autoencoder）是一种结合向量量化的变分自编码器，由DeepMind提出。其核心思想是将连续隐变量离散化，通过码本（codebook）学习离散表示，适用于图像、音频等数据的生成与压缩。

VQ-VAE 是基于变分自编码器（VAE）的生成模型，可以学习离散的潜在表示。VQ-VAE 的主要创新是引入了一个向量量化（VQ）层，将连续的编码器，输出映射到离散的潜在空间。VQ 层由一组可学习的向量组成，称为代码本 (Coding Book)。

* 之前是不准备写这部分的代码分析，因为这个论文，仅仅是将所有的框架进行组合，实现的效果提高。他所用的三个部分分别是VQ-VAE、HiFi-GAN还有PixelSNAIL,这三部分相关论文还有代码我都看过了，但是直接看他的代码，看起来还是有点困难，所以在重新总结一下。 * 这里将会结合他的论文，重点看看作者在各个部分提出的创新点，在代码中是如何体现的。

德国海德堡大学 IWR 图像处理协作实验室*Both authors contributed equally to this work*两位作者对本工作贡献相同 Figure 1: Figure 1. Our approach enables transformers to synthesize high-resolution images like this one, which contains 1280×460 pixels. 图 1：图 1。我们的方法使 Transformer 能够合成像这样的高分

VQ-VAE就是使用encoder将图像编码，然后使用decoder将图像解码，其中encoder和decoder共享一个code book，编码器将图像x编码成E（x），之后这个向量根据它和标准的向量之间的距离进行量化，然后就是讲E（x）转化成距离它最近的标准编码，并且将这种标准编码给decoder 训练VQ-VAE编码器解码器生成图像一个VAE模型包括三个部分：后验分布（Posterior），先验分布（Prior），以及似然（Likelihood）。...

2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。