2024年12月31日 · svh代表小视口高度，而svw代表小视口宽度。 这些单位是基于假设浏览器UI（如地址栏、操作栏等）动态展开时的小视口尺寸来定义的。 使用svh/svw可以确保内容在浏览器UI最大、可用空间最小时仍然能够正确填充屏幕。 这对于避免内容溢出或被遮挡特别有用，尤其是在移动设备上。 lvh代表大视口高度，lvw代表大视口宽度。 这些单位是基于假设浏览器UI被最小化或缩回时的大视口尺寸来定义的。 使用lvh/lvw可以让开发者在浏览器UI占用空间最小、内 …

对于Multi-head self attention Module，使用了相对位置编码，dropout和pre-norm残差。 对于Feedforward Module来说，使用了Swish激活函数和dropout，如下图所示： 再回顾Conformer block，其实这很像一个三明治结构，因为前后都是Feedforward module，这点是受 Macaron-Net 启发得到的，即使用两个FFN，但是每个FFN都贡献一半的值。 其计算公式如下: 为了比较不同配置的Encoder的好坏，统一使用单层的LSTM作为decoder，模型使用Lingvo toolkit实现。 实验 …

FFN (x) = f (x\cdot W_1^\top)\cdot W_2 \\ 可以看出， FFN几乎与key-value memory相同。 第一层权重对应key矩阵，第二层权重对应value矩阵，中间层维度对应memory token数量（或许是中间层维度需要较大的一种解释）。

MUSE 结合了Self-Attention和Dynamic Conv，在每个transformer block中同时使用FFN，Dynamic Conv和Self-Attention，在翻译任务上取得了更好的效果。 transformer固定层数限定了其表达能力。 不固定层数的transformer如何适应没有见过的层数？ 共享每层的网络权重。 除了positional encoding以外，使用了layer encoding来建模不同层的偏置。 将 Adaptive Computation Time 的思想引入transformer，每个layer之后用一个网络来predict每个词需不需要halt，有些词需要经过 …

前馈神经网络（FFNN）：数据单向流动，MLP属于此类。 权重和偏置决定神经元连接强度与输出，激活函数增加非线性和进行特征转换。 4. FFNN模型训练：随机初始化参数，经前向传播计算输出，反向传播算梯度，用优化算法更新参数，迭代训练至性能满意或达预设轮数。 5. Transformer前馈神经网络：在Transformer的编码器和解码器中，位于自注意力层后，对其输出进一步非线性变换。 6. Transformer前馈神经网络结构：包括两个线性变换，中间用ReLU激活 …

2024年6月11日 · 我们可以轻松的把一个神经网络分为头重脚轻的两部分： 权重生成器，和 知识存储器 （其实就是个矩阵）。 输入经过好多好多层复杂的运算，为的就是把最后的一层混合起来。 （你或许想到了残差连接这个反例，别急别急。 那么然后呢？ 这就有了一丝丝可解释性了。 假如我们可以评估知识存储器里的每个知识对于最终预测的影响，那么我们就可以通过查看权重，看看模型是否按照我们的理解在工作。 好吧，口说无凭，还会被当成民科，这里就摆出一篇相关 …

2024年3月19日 · （最近看到有些问题[1]说为什么Transformer中的FFN一直没有很大的改进。）

2024年11月23日 · 使用了激活函数，如门控类的函数的话，就可以从key-value的角度来看待FFN了，FFN本身占据了Transformer的很大的参数量，对于FFN来说，第一层线性变换是 Key Memory，第二层线性变换是 Value Memory。

2024年4月26日 · 在 RNN 中对于每个 FFN，最开始输入状态和隐藏状态是 concat 在一起作为输入的，因此每个 FFN 具有 (h+i) x h + h 个参数。 所以总的参数量的计算公式为： 我们来看以下 LSTM 的例子，含有2个隐藏单元，输入维度为3，图示如下： 观察上图，我们将 g=4，h=2，i=3 带入上式，得到上述LSTM的参数量为： = 4 × [(2 + 3)× 2 + 2] . = 48. 我们用代码验证上述过程，如下： 结果如下： 对于 卷积神经网络，我们主要观察卷积层，这里对每一层的卷积，我们假 …

2024年8月16日 · 在Transformer中，FFN是指Feedforward网络，它是Transformer模型的一部分，用于对Transformer编码器和解码器中的每个位置进行非线性转换。 FFN由两个线性变换（即两个全连接层）和一个激活函数组成，通常是ReLU（修正...