2024年10月14日 · TL; DR: A video VAE for latent generative video models, which is compatible with pretrained image and video models, e.g., SD 2.1 and SVD. 2024-10-14 🤗 We have updated the training code of CV-VAE. 2024-10-14 We have released the inference code and model weights of CV-VAE-SD3 which is compatible with SD3 and SD3.5.

2024年5月30日 · To address this issue, we propose a method for training a video VAE of latent video models, namely CV-VAE, whose latent space is compatible with that of a given image VAE, e.g., image VAE of Stable Diffusion (SD).

VAE 里面是使用神经网络来计算均值和方差，详细可以看代码。为什么要使用均值和方差？因为：从 P(Z∣X_k) 中采样一个 Z_k 出来，这个 P(Z∣X_k) 是正态分布，需要可导便于反向传播。所以利用均值方差，因为均值和方差是靠模型算出来的，这边利用了一个事实：

CV-VAE (Compatible Video VAE)是由Sijie Zhao等人提出的一种新型视频变分自编码器 (VAE)模型。 它的主要特点是可以与现有的预训练图像和视频模型兼容使用,为视频生成领域带来了新的可能性。 兼容性强: CV-VAE可以与流行的预训练模型 (如Stable Diffusion 2.1和Stable Video Diffusion)无缝对接,充分利用这些模型的能力。 视频特化: 专门针对视频数据设计,能够有效捕捉视频中的时序信息。 高效压缩: 将高维视频数据压缩到低维潜在空间,便于后续处理。 生成能力 …

2024年5月30日 · We propose CV-VAE that is compatible with existing image and video models trained with SD image VAE. Our video VAE provides a truly spatio-temporally compressed latent space for latent generative video models, as opposed to uniform frame sampling.

2024年6月19日 · CV-VAE是一个为潜变量生成视频模型设计的兼容型视频变分自编码器。 该模型由一支来自顶尖学府的研究团队开发，旨在填补现有视频处理模型中的空白，特别是增强与诸如SD 2.1和SVD等预训练模型的协同工作能力。 通过其独特的架构和优化策略，CV-VAE不仅能够提高视频重建的质量，还能促进跨模态的学习与生成任务。 CV-VAE利用先进的机器学习理论构建了一套高效且灵活的视频表示机制。 在传统的VAE基础上进行改进，加入对时序信息的敏感度调 …

tl;dr 我们提出了一个名为cv-vae的视频vae方法，通过与给定图像vae进行潜在空间的兼容性来实现训练视频模型，并展示了其在视频生成和压缩方面的有效性。

在CV方向，目前最主流的生成模型是GAN（Generative Adversarial Network），在此之前其实是AE和VAE，也就是Autoencoder和Variational Autoencoder。GAN有诸多变形，但我个人认为最讲道理最理想的还是VAE-GAN以及其…

To address this issue, we propose a method for training a video VAE of latent video models, namely CV-VAE, whose latent space is compatible with that of a given image VAE, e.g., image VAE of Stable Diffusion (SD).

[NeurIPS 2024] CV-VAE: A Compatible Video VAE for Latent Generative Video Models - AILab-CVC/CV-VAE