键值 (Key-Value, KV) 缓存用于提升transformer架构模型的响应速度，本文将深入了解它的工作原理及其应用场景。 在深入探讨 KV 缓存 之前，我们需要先简要了解 Transformer 中的 注意力机制。 从而更方便的讲解 KV 缓存如何优化 Transformer 的推理过程。 本文主要关注用于文本生成的 自回归模型 （Autoregressive Models）。 比如 GPT 系列、Gemini、Claude 等。 它们的训练任务非常简单：预测序列中的下一个 token。 在推理时，模型接收部分文本，任务是预测文本的后 …

2024年12月3日 · 为了在连续空问中存储请求的 KV 缓存，它们预分配了一个具有请求最大长度（例如 ，2048 个token）的连续内存块。 这可能导致严重的内部碎片，因为请求的实际长度可能远短于其最大长度. 如下图所示，现有系统中的KV缓存内存管理。 存在三种类型的内存浪费—— 保留、内部碎片和外部碎片 ——阻止其他请求适应内存。 每个内存槽中的token代表其KV缓存。

在推断阶段，transformer模型加速推断的一个常用策略就是使用 KV cache。 在decoder推理的时候，由于解码过程是一个token一个token的生成，如果每一次解码都从输入开始拼接好解码的token，生成输入数据，然后预测下一个token，那么会有非常多的重复计算。 诸如： input: 写一首诗： 在解码过程中： output: 轻. input: 写一首诗：轻. output: 舟. input: 写一首诗：轻舟. output: 已. input: 写一首诗：轻舟已. output: 过. input: 写一首诗：轻舟已过. output: 万. input: 写一首诗： …

假设输入序列的长度为 s ，输出序列的长度为 n ，以 FP16 来保存KV cache，那么 KV cache的峰值显存占用大小为 b (s+n)h * l * 2 * 2=4blh (s+n) 。 这里第一个2表示K/V cache，第二个2表示 FP16 占2个bytes。 以 GPT3 (175B) 为例，对比 KV cache 与模型参数占用显存的大小。 GPT3 模型weight占用显存大小为350GB (FP16)，层数 l 为96，维度 h 为12888。 可见随着 batch size 和 长度的增大，KV cache 占用的显存开销快速增大，甚至会超过模型本身。

2025年1月14日 · KV Cache 在已经成为了 LLM 推理系统中必须要用到的一个优化技术。 KV Cache 的想法很简单，即 通过把中间结果缓存下来，避免重复计算，但是 KV Cache 有时候又是比较令人困惑的。 学习 KV Cache，搞清楚下面的三个问题就算是完全弄清楚了： 缓存的是什么？ 为什么是 KV Cache，而不是 QKV Cache？ KV Cache 对模型的 输出有任何的影响 吗？ 如果我们从 矩阵乘法 的角度观察 attention 运算的过程，那么上面的三个问题很容易理解。 01. 自回归 …

The Presidential Commission on Good Government (PCGG) is a quasi-judicial government agency of the Philippines whose primary mandate is to recover the ill-gotten wealth accumulated by Ferdinand Marcos, his immediate family, relatives, subordinates and close associates, whether located in the Philippines or abroad.

2024年10月15日 · KV Cache 虽然能节省计算，但是显存开销也很显著，随着模型变大 (Hidden Size 和 Layer Num 会增大）、序列长度变长，占用的显存迅速膨胀。 假设你实现 KV Cache 时，每次都是预留了一个超大的仓库来存放它，但每次只用了一小部分，这会导致资源浪费，你服务不了太多用户，而且容易出现“撑爆”显存（OOM）的现象。 因为你的用户，他们每次推理时的文本长度是变化的！ 那么如何解决这些问题呢？ vLLM 提出的 PagedAttention 就是聪明地按需分 …

A.1.1 柏林噪声 (Perlin Noise): 一种基于PRNG的噪声生成器，生成数据点的映射（随机值），如地图数据点是由种子PRNG通过插值法生成。 对单个单词按规则进行操作，生成语法正确的句子。 A.2.1 L系统 (Lindenmayer System): 由符号组成的语法构建出物体的特征，L系统生成字符串描述结构或对象的行为，广泛应用于植被生成。 图像过滤的主要目标是在（主观）测量或改善图像质量方面提高图像质量。 调整图像的某些特征以显示（部分）隐藏的信息。 A.4.1 平铺和分层 …

2024年12月21日 · KV Cache 是一种为大 模型 量身定制的推理加速技术。 为什么？ 因为大模型推理的逻辑是：根据当前轮输入 tokens 预测并输出下一个 token，这两者拼接就得到了下一轮的输入，每一轮只比上一轮增加了一个 token。 这意味着当前轮包含了上一轮的部分计算。 上一轮中每一层 attention layer 的 key 和 value 被当前轮复用，而不是重新计算，就能加速推理过程，这就是 KV Cache 的作用。 随着 KV Cache 的广泛使用，大模型的推理被分为了 Prefill 和 Decode 两 …

2009年4月10日 · 可是发生在荆棘谷竞技场里的pcgg联盟、部落公会活动pk事件，险些引发大规模的公会内讧，甚至差点导致公会解散，这让我在认识到虚拟与现实区别 ...