2023年2月2日 · X分别乘以三个矩阵，生成Q、K、V矩阵. 其中， ， 和 是三个可训练的参数矩阵。 输入矩阵 分别与 ， 和 相乘，生成 、 和 ，相当于经历了一次线性变换。 Attention不直接使用 …

1. self-attention 公式 Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}}) V 2. Attention与QKV起源. 有一种解释说，Attention中的 Query ， Key ， Value 的概念源于信息检索系统。 举个简单的 …

本文同时发布于我的个人网站，公式图片显示效果更好，欢迎访问：https://lulaoshi.info/machine-learning/attention/transformer-attention ...

不扯公式，给你一个直观的解释。 q是一组查询语句，v是数据库，里面有若干数据项。对于每一条查询语句，我们期望从数据库中查询出一个数据项（加权过后的）来。

2021年4月29日 · 文章浏览阅读4.2w次，点赞51次，收藏152次。说一下Attention中的QKV是什么，再举点例子说明QKV怎么得到。还是结合例子明白的快。Attention中Q、K、V是什么？首 …

词向量矩阵相乘. 如果再加上Softmax呢？我们进行下面的计算： Softmax(\mathbf{X}\mathbf{X}^\top) 。Softmax的作用是对向量做归一化，那么就是对相似度的 …

Transformer 的核心是 Self-Attention，而 Self-Attention 的核心是 Multi-Head Attention，而要深入理解 Multi-Head Attention，就需要从 Q、K、V 开始理解 W^{Q} ，W^{K}，W^{V}，W^{O} 这 …

2023年11月2日 · 文章浏览阅读2.8w次，点赞65次，收藏159次。举个例子我们在某宝上搜索东西，输入的搜索关键词就是Q，商品对应的描述就是K，Q与K匹配成功后搜索出来的商品就是V …

2024年3月18日 · 文章浏览阅读1w次，点赞40次，收藏78次。在深度学习领域，一个神秘且强大的概念——自注意力机制（Self-Attention Mechanism），近年来成为了许多突破性成果的幕后 …

在 YouTube 上搜索“a cute cat”相关的视频，系统运作的大体流程. 当然，以上只是一个对 Q 、 K 、 V 这三个矩阵的作用的比喻。 在具体的 NLP 领域，我们往往是要给 Transformer 大模型输 …