2024年7月11日 · Transformer中的FFN指的是Feed-Forward Network，它是Transformer中的一个重要组成部分。在每个Transformer的Encoder和Decoder中，都包含了两个FFN层，分别称为前馈神经网络1（FFN1）和前馈神经网络2（FFN2）。

2024年3月8日 · Transformer的基本单位就是一层block这里，一个block包含 MSA + FFN，目前公认的说法是， Attention 作为token-mixer做spatial interaction。 FFN （又称MLP）在后面作为channel-mixer进一步增强representation。 从2017至今，过去绝大部分Transformer优化，尤其是针对NLP tasks的Efficient Transformer都是在Attention上的，因为文本有显著的long sequence问题。 安利一个很好的总结 Efficient Transformers: A Survey， 来自大佬 Yi Tay。

根据结果来看，MSCFFN通过对FFN的结构进行改进，在不增加参数量的情况下，能够加速Transformer模型，同时提高模型性能，展现出了很好的实用价值。 最近两年涌现出来的各种大模型，不管是以文字聊天为主的LLMs，还是图像生成，乃至视频生成的多模态大模型，绝大部分都是以Transformer作为基础架构的。 伴随着大模型逐渐走进我们的工作和生活，提前学一点大模型相关的知识，为自己未来的工作布局，总是不吃亏的。 建议可以学习「知乎知学堂旗下的AGI课 …

Transformer 中的 自注意力 与 FFN ：为何一个常被魔改，一个却稳如泰山？ 自注意力和FFN在Transformer中扮演不同角色。 自注意力作为核心机制，负责捕捉全局信息，而FFN则作为辅助机制，关注局部信息。

2025年1月16日 · FFN是 Transformers 的必备模块，没有 FFN 的 Transformers 学不到什么东西 上面的结论同样适用于 Transformers 中的 skip connect。 《 Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth》这篇论文，提出了 Transformers 架构存在 token uniformity 的归纳偏置( inductive ...

2023年10月28日 · FFN在Transformer里面主要是对多头注意力矩阵升维，非线性过滤，然后再降回原来的维度。这个通常的比喻是：FFN就像个人的思考空间—— Attention Layer帮助模型正确的分配注意力，然后FFN 帮助模型仔细的思考，提取更加抽象的特征。

它通过多层自注意力（Self-Attention）和前馈网络（FFN），逐步建模全局依赖关系，解决传统RNN/CNN的长距离依赖缺陷。 Transformer 编码器的核心任务是将输入序列（如文本、语音）转换为。

2024年9月22日 · FFN enriches the model’s expressive power by introducing non-linear transformations, addressing the token uniformity problem that arises from the linear nature of self-attention.

另一方面，前馈神经网络（Feed-Forward Network, FFN）在Transformer中的作用相对稳定，主要负责对每个输入token进行独立的非线性变换。 尽管FFN占据了模型参数的大部分，但研究表明它在不同层之间存在较高的冗余性。 例如，通过在编码器中共享单个FFN，可以在只有轻微准确度下降的情况下显著减少参数数量¹。

2023年8月26日 · FFN层是Transformer模型中的关键组成部分，它本质上是一个两层的多层感知机，用于升维和降维学习抽象特征。 研究显示FFN具有一定的记忆功能，有助于深度学习模型的可解释性。