原论文题目《Deep unsupervised clustering with gaussian mixture variational autoencoders》。 本文我将介绍 VAE 针对 无监督聚类 的一个扩展： GMVAE，即基于 高斯混合模型 的VAE。 我们在 之前的文章 中已经介绍了VAE，它是一个无监督的生成模型，其良好的性能和end-to-end的性质让它在深度学习时代被广泛应用。 而GMVAE则将VAE的相关技术应用到无监督聚类问题上，其思想在于通过扩展latent variable structure提升VAE的聚类性能。 1. Introduction.

以下是引入gmm到vae的主要动机： 捕捉多模态结构 ：在某些数据集中，数据可能具有多个明显的集群或模式。 通过引入GMM，我们可以使模型能够识别并生成这些不同的模式。

Implementation of Gaussian Mixture Variational Autoencoder (GMVAE) for Unsupervised Clustering in PyTorch and Tensorflow. The probabilistic model is based on the model proposed by Rui Shu, which is a modification of the M2 unsupervised model proposed by Kingma et al. for semi-supervised learning.

2020年6月12日 · 本文深入解析了结合高斯混合模型(gmm)与变分自编码器(vae)的gmvae模型，阐述其概率图模型、生成过程及训练机制，探讨了如何利用多个高斯分布更准确地学习数据特征。

GMM performs clustering on latent variables of VAE. By sampling random variables from posterior distribution estimated by GMM and using them as input to VAE decoder, the image can be reconstructed. "x" represents the mean parameter of the normal distribution for each cluster.

传统的vae，隐变量服从标准高斯分布（单峰），但有时候，单个高斯分布可能不能完全表达图像x的特征，比如minist数据集有0~9这10个数字，直觉上使用10个高斯分布来替代单个高斯分布更为合理，因此有学者将混合高斯分布模型（gmm）与vae进行结合，其结果便是 ...

2020年7月10日 · 高斯混合变分自编码器（gm-vaes）：将gmm与vae结合，可以得到一个同时具备生成模型和聚类模型的复合模型。 在GM- VAEs 中，潜在空间的分布由 GMM 建模，每个高斯组件可以对应一个潜在的 聚类 。

We study a variant of the variational autoencoder model with a Gaussian mixture as a prior distribution, with the goal of performing unsupervised clustering through deep generative models.

2016年11月8日 · We study a variant of the variational autoencoder model (VAE) with a Gaussian mixture as a prior distribution, with the goal of performing unsupervised clustering through deep generative models....

使用联合分布的KL散度基本没花什么力气就推导出了GMM-VAE算法，相比使用 边缘分布 进行推导更易理解同时用到的数学知识更少。 GMM-VAE优化完成后，包含了 分类器 \tilde{p}(y|z) ，算是附加产物，可以进行聚类。 附录. 两个单变量高斯分布的KL散度：