譬如权重用 per-tensor，激活用 per-token。 并且对于激活还有动态量化与静态量化之分。 下图是一些例子，可以对权重和激活的量化方式有个了解，具体的方法会在下文介绍。

2024年9月6日 · 理论上即从输入到输出最后一个 token 的时间，原则上的计算公式是：Latency = (TTFT) + (TPOT) * (the number of tokens to be generated)； Tokens Per Second (TPS)： (the …

2024年3月10日 · Weight-only的定点量化更多的是对 W 做per-channel/per-group的量化，对 X 也仅限于交叉维的均衡化。 在下一篇中我们会介绍Activation+Weight的量化，到时候对 X 的per …

在我们的研究中，我们证明了可以采用用于激活量化的类似量化感知训练方法来量化 KV 缓存。 如图 3 所示，我们在等式 3 中采用Per-token量化。 假设key和value是由token生成的。 在生成 …

per-token：针对激活 x 而言：每行对应一个量化系数。 per-channel：针对权重 w 而言：每列对应一个量化系数。

2024年12月7日 · per-tensor 量化对整个矩阵使用单个步长。可以通过对与每个 token (per-token 量化) 或 weight 的每个输出通道 (per-channel 量化) 相关联的 activation 使用不同的量化步长 …

2024年3月2日 · LLM大模型的量化技术主要是通过对模型参数进行压缩和量化，从而降低模型的存储和计算复杂度。 具体来说如下： 通过将模型中的 浮点数参数转换为低精度的整数参数，量 …

2024年12月11日 · per-channel 量化：卷积核的每个通道都有不同的缩放因子。 per-token 量化：针对激活而言，针对每一行进行量化。在LLM中，通常与per-channel 量化搭配使用，如： …

根据量化参数 s 和 z 的共享范围（即量化粒度），量化方法可以分为逐层量化（per-tensor）、逐通道（per-token & per-channel 或者 vector-wise quantization ）量化和逐组量化（per-group …

2024年6月29日 · per_channel：按照每个channel的方式，计算得到scale和zero参数，通过weight = weight * scale + zero的方式进行还原。