2015年5月21日 · 本文介绍了Stacked Autoencoder（SAE）模型，这是一种深度学习模型，由多层稀疏自编码器组成，用于特征学习和分类。 文章详细阐述了sparse autoencoder的原理，包括其稀疏性约束和代价函数，以及优化方法。

2019年6月18日 · 2.3 堆叠降燥自动编码器 (Stacked Denoising Auto-Encoders, SAE) (2008) 参考 深度置信网络 的方法，将降噪自编码器进行堆叠可以构造成堆叠降噪自编码器。 与自编码器和降噪自编码器不同，堆叠降噪自编码器的提出是为了解决。 降噪自编码器的编解码过程描述如图：

2024年9月29日 · 稀疏自编码器（Sparse Autoencoder, SAE）是一种特殊类型的自编码器， 其设计目的是在编码过程中引入稀疏性，以鼓励网络学习更多的特征。 与标准自编码器不同，SAE 的目标是将输入信息编码到一个比输入更高维的空间中，帮助提取多种小特征。 稀疏性 ：通过引入稀疏性约束，限制在某一时刻只有少数神经元被激活。 这可以通过添加一个稀疏性损失项来实现，该项鼓励大多数神经元在输出中保持静默。 网络结构 ：SAE 通常包含一个较小的中间层， …

2024年2月19日 · The analysis process requires a trained SAE model, which can be obtained from the training process. You may need launch a MongoDB server to store the analysis results, and you can modify the MongoDB settings in the configuration file.

2023年10月8日 · 堆叠自编码器（SAE）是一种特殊的神经网络，用于无监督学习，在深度架构中得到广泛应用。 SAE可以对输入数据进行表示计算，并重构原始数据。

The Sparse Autoencoder (SAE) is trained on LLaVA-NeXT data by integrating it into a specific layer of the model, with all other components frozen. The features learned by the SAE are subsequently interpreted through the proposed auto-explanation pipeline, which analyzes the visual features based on their activation regions.

SAE是deepfacelab中最好最灵活的模型。 通过合理的参数配置，你可以定制自己显卡的专属模型。 新版本更新了SAEHD，SAE的升级版。 测试下来，收敛速度和效果要强于SAE。 更新一下SAEHD的参数。 Enable autobackup? (y/n…

2 天之前 · Sparse autoencoders (SAEs) are widely used for interpreting language model activations. A key evaluation metric is the increase in cross-entropy loss when replacing model activations with SAE reconstructions.

However, we will explain what SAE features are, how to load SAEs into SAELens and find/identify features, and how to do steering, ablation, and attribution with them. This tutorial covers: A...

By default, the SAEs are trained on the residual stream activations of the model. However, you can also train SAEs on the activations of any other submodule (s) by specifying custom hookpoint patterns.