在本文中，我们提出了"激活感知权权重化"（Activation-aware Weight Quantization，AWQ），这是一种对硬件友好的低位 LLM 仅权重化方法。 我们的方法基于这样一种观点，即权重对 LLM …

Efficient and accurate low-bit weight quantization (INT3/4) for LLMs, supporting instruction-tuned models and multi-modal LMs. The current release supports: AWQ search for accurate …

AWQ outperforms existing methods on various language modeling and domain-specific benchmarks, including instruction-tuned LMs and multi-modal LMs. The authors also …

2023年6月1日 · We propose Activation-aware Weight Quantization (AWQ), a hardware-friendly approach for LLM low-bit weight-only quantization. AWQ finds that not all weights in an LLM …

AWQ（AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration）是一种对大模型仅权重量化方法。 通过保护更“重要”的权重不进行量化，从而在不进行训练的情 …

2024年5月28日 · AWQ量化精度比GPTQ高一点，并且AWQ比GPTQ更容易实现，计算 性能 更高。 相比AWQ采用heuristic的方法来寻找最佳的scale和 clip 系数，新的OminiQuant则采用训练 …

2025年2月8日 · AWQ（Activation-aware Weight Quantization）量化是一种基于激活值分布 (activation distribution)挑选显著权重 (salient weight)进行量化的方法，其不依赖于任何 反向传 …

2024年11月1日 · 本文提出了激活感知权重量化 (AWQ)，这是一种适合硬件的 LLM 低位权重（比如 w4）量化方法。 AWQ 发现， 并非所有 LLM 权重都同等重要，仅保护 1% 的显著权重便 …

2024年6月12日 · 本文主要是对LLM PTQ量化方向的几个经典算法 (GPTQ、SmoothQuant、AWQ)的代码实现进行介绍，一方面是为了加深对算法的理解，另一方面也是想看看有什么值 …

2024年11月9日 · AWQ（Activation-aware Weight Quantization）是一种专门针对大规模 语言模型 设计的低比特权重量化方法。 它不仅考虑了权重本身的分布特性，还考虑了激活值的影响， …