在 Stable Diffusion 中， 底模 、 LoRA 和 VAE模型 都扮演着重要的角色，但是你是否知道它们之间的区别和联系呢？ 简单来说，底模（checkpoint）通常是 Stable Diffusion 中生成图像的基础模型，它包含了所有的参数和权重，不需要额外的文件，不同的底模往往有不同的画风和擅长的领域，底模通常占用的空间都很大，大概在2G-7G之间。 LoRA是一种微调模型，它可以将某一类型的人物或事物的风格固定下来，比如真人美女、国风、动漫等，但是LoRA必须和底模一起使 …

Liblib 提供的 checkpoints、lora 等多种模型，基于 Stable Diffusion 架构，作用各异。下面就探究它们的原理，以及与 Stable Diffusion 的协作方式 . 主要包括checkpoints，lora，ControlNet，VAE（在搜索框搜索即可）， Embeddings （Textual Inversion）， Hypernetwork 。 . checkpoints

2024年2月29日 · LoRA（Low-Rank Adaptation）是一种大 语言模型 低秩适配器，最早在2021年的论文《LoRA: Low-Rank Adaptation of Large Language Models》中提出。 它的核心思想是通过降低模型可训练参数的数量，尽量不损失模型的性能，从而实现对大语言模型的微调。 在此之前，对于Stable Diffusion这样的模型，要训练大模型的话，通常需要使用Dreambooth等方法。 如果对大模型的效果不满意，那么就只能从头开始重新训练，但是这个过程需要高要求的算力，且 …

常见的用于微调大模型的小型模型又分为以下几种：Textual inversion (常说的 Embedding模型)、Hypernetwork模型、LoRA模型。 此外，还有一种叫做 VAE 的模型，通常来讲 VAE 可以看做是 类似（但不是） 滤镜一样的东西[3]。

AVE： 这种模型一般已经被集成到checkpoint里了，可以理解为其可作用为图片的滤镜。 在这个结构框架中，Checkpoint模型是基础，而其他的模型和方法（如Dreambooth、文本反转、LoRA模型和Hypernetworks）都是在这个基础上进行微调和修改的工具。 四大模型分布在以下红框中，具体的使用方法在后续使用案例中介绍. 四大模型中使用频率最高的是Checkpoint和Lora，这些模型可以在一定程度上决定照片的风格、构成。 在大名鼎鼎的C站（一个AI绘画模型社区）可以自由 …

2024年12月29日 · VAE，全名Variational autoenconder，中文叫变分自编码器。 作用是：滤镜+微调。 有的大模型是会自带VAE的，比如我们常用的Chilloutmix。 如果再加VAE则可能画面效果会适得其反。 Embeddings-也是属于微调模型，Hypernetworks则不太用了。 Embeddings叫文本反转，通过仅使用的几张图像，就可以向模型教授新的概念。 用于个性化图像生成。 与lora模型一样，Embeddings也必须配合基础模型使用。 DreamBooth，可用于训练预调模型用的。 是使用 …

2025年2月24日 · LoRA：低秩适配(Low-Rank Adaptation,LoRA)是一种用于迁移学习的方法，它允许在新任务上微调预训练模型，同时保持原始预训练模型的不变。 LoRA 通过在预训练 模型 的输出和任务特定 模型 的输入之间引入一个低秩适配矩阵来实现这一点，从而最小化对原始预训练 ...

2024年2月23日 · 我们假设z的分布呢，这似乎就可以用 变分贝叶斯 的方法去论证这个过程的可行性，这就有了ae的加强版：VAE（变分自动编码器） 其实就是预设了z服从某个多元高斯分布，我们会有一个定死了的方差，以此预测一个均值——其实这个均值可以拿来用当作z，或者也可以分布确定了在采样一个出来。其实没啥说的，主要是反向传播的时候，我们其实没有真正的z, 这里vae有个训练的小trick，就是捏一个z’=z+N (0,1) 方差 | 这个*是逐元素相乘 ——这一整个训练 …

2023年10月31日 · lora模型的原理是基于低秩适应技术，通过对cross-attention layers进行更改来加速大型模型的训练。 在模型训练过程中，lora允许您更轻松地针对不同的概念进行模型…

可以将 VAE 理解为对模型的滤镜加微调，不同的 VAE 可能有一些细节上的差异，但不会影响输出的效果。 它可以增强模型的表现，有些模型文件已经自带了 VAE 效果，因此不需要盲目地去挂载，可以选择自动模式来简化日常使用。 4. embedding 的介绍. 如果你有做过 UI 的经验，那么你应该知道组件的概念。 在 Stable Diffusion 中，embedding 技术就可以被理解为一种组件，它可以将输入数据转换成向量表示，方便模型进行处理和生成。 举个例子，如果我们想要生成一个开 …