VAE：使用变分推断 [1] 将标准正态分布变换到目标分布的概率图模型。 相较于GAN易于训练，但也有后验崩塌问题，同时由于ELBO只是目标分布对数似然的一个下界，因此VAE的生成结果通常会比较模糊。

若只是为了提取中间隐层信息（作降维用），VAE（变分自动编码器）相比AE（自编码器），DAE（降噪自动编码…

想问问为什么在分子生成中大部分选择使用VAE、GAN这种生成模型，而不使用transformer进行生成，这两种直…

Sampling的确是Variational Autoencoder (VAE) 中比较难以理解的一步，这里简单谈一下我个人的理解。 直观解释： Sampling是因为优化的目标函数ELBO中含有一个期望项 \mathbb {E}_ {q (\mathbf {z}|\mathbf {x})}\left [\log p (\mathbf {x}|\mathbf {z})\right] ，这一项比较难求，因此采用sampling的方式近似求解这个期望。 完整解释 ...

最后说一下比较有意思的事： VAE、GAN、Flow (NICE)三种模型都是2013-2014年提出来的（VAE是13年放到arXiv上的，后来中了NIPS；GAN也同时中了NIPS，而NICE最早是14年的一个ICLR workshop）。 最后的发展情况是：GAN最火，VAE次之，Flow模型似乎总是要火不火。

SD原文3.1节中同时提供了VAE和VQ-VAE两种方案，VAE效果更好所以被大家一直沿用） 之所以效果这么好，主要还是因为diffusion model强大。

在Latent Diffusion中，VAE里KL散度（KL divergence）权重（weight）的选择很关键。 当KL散度权重较大时，例如在1e - 4或1e - 5这样的值： - 潜在空间分布：模型会更倾向于让潜在空间的分布接近先验分布（通常是标准正态分布）。

Vae不止是在Diss曲目上有所建树，其它主题的rap歌曲也是获得了认可的。 2007年2月17日，Vae发布了《朝舞》，这首歌邀请到了乱感觉的队友大V李毅杰合作，而另一位合作嘉宾则是天王星的呆宝静。 能和呆宝静合作，也说明了Vae的rap水平必然是在平均水准之上的。

表征学习领域的进展，最初由监督学习推动，基于大量标注过的数据集取得了令人印象深刻的结果。另一方面，无监督学习长期以来一直基于概率方法处理低维数据。近几年来，这两种方法呈现出一种融合的趋势。 变分自动编码器（variational auto-encoders），简称 VAE，属于无监督学习方法，却能处理 ...

VQ-VAE 大名鼎鼎的VQ-VAE（Vector Quantised Variational AutoEncoder），出自谷歌的DeepMind团队，发表于 Nips 2017。 VQ-VAE事实上并不是是对于VAE的改进，而就是一个AE！ 主要的motivation在于：作者认为AE将图像编码成向量，但是似乎不对这些向量加以约束不合适嘞。