HQQ is a fast and accurate model quantizer that skips the need for calibration data. Quantize the largest models, without calibration data, in just a few minutes at most 🚀.

Half-Quadratic Quantization（HQQ）是一种新型的大语言模型量化方法。 HQQ是一种weight only的量化方法，它通过 半二次优化，在无需标定数据的情况下，快速完成量化，相比 GPTQ 快50倍以上，并且HQQ在低比特量化下仍能保持高精度。

HQQ可归为低比特参数补偿型的权重量化算法,主要对 zero_point 做参数补偿更新. 那么hqq方法是如何对zero_point进行参数补偿？ 总的来说，通过half-quadratic方法新增 W_e 参数，并固定scale,将优化目标转换为一个迭代问题来对zero_point进行更新。 通过Half-Quadratic对原优化问题进行增广拉格朗日转换增加We，并增加二次正则项变成一个迭代问题，固定scale,分别迭代We和zero_point，这样做在去耦合的同时可以简化计算。 那么原文中是如何从量化误差 …

Half-Quadratic Quantization (HQQ) supports fast on-the-fly quantization for 8, 4, 3, 2, and even 1-bits. It doesn’t require calibration data, and it is compatible with any model modality (LLMs, vision, etc.).

2024年12月18日 · HQQ (Half-Quadratic Quantization)： HQQ 是由 Mobius Labs 开发的一种快速且精确的模型量化器，它不需要校准数据即可量化大型模型。 HQQ 的核心优势在于其速度和兼容性，支持 8、4、3、2、1 比特量化。

HQQ 半二次量化 (Half-Quadratic Quantization, HQQ) 通过快速鲁棒优化实现了动态量化。 它不需要校准数据，可用于量化任何模型。 更多详细信息，请参考 官方包。 对于安装，我们建议您使用以下方法获取最新版本并构建其相应的 CUDA 内核。

2024年9月20日 · HQQ (Half-Quadratic Quantization) 是一种快速准确的模型量化器,无需校准数据即可在几分钟内量化最大的模型。 量化速度非常快支持8、4、3、2、1比特量化适用于各种模型 (LLM、视觉模型等)反量化步骤是线性操作,兼容各种优化的CUDA/Triton内核与PEFT训练兼容尝试 …

近日,由Mobius Labs开发的Half-Quadratic Quantization (HQQ)技术为这一难题提供了一个创新的解决方案。 HQQ是一种快速且精确的模型量化器,其最大的特点是无需校准数据。 这意味着即使是最大规模的模型,也可以在短短几分钟内完成量化。 🚀 相比传统的量化方法,HQQ具有以下显著优势: HQQ团队在语言和视觉模型上进行了详细的基准测试。 根据他们的博客文章,HQQ在保持模型性能的同时,显著降低了模型的大小和计算需求。 在速度方面,使用 axis=1 的4比特模型可以利用优 …

2024年8月26日 · Half-Quadratic Quantization (HQQ) 是一个快速且精确的模型量化工具，它不需要校准数据即可量化大型模型。 HQQ 的核心优势在于其速度和兼容性，支持 8、4、3、2、1 位量化，并且可以应用于任何模型（如大型语言模型和视觉模型）。 HQQ 的反量化步骤是线性操作，这意味着它与各种优化的 CUDA/Triton 内核兼容。 此外，HQQ 还支持 peft 训练，并尝试使其完全兼容 torch compile，以实现更快的推理和训练。 推荐使用以下方法安装最新版本的 HQQ …

HQQ（Half-Quadratic Quantization）是一种快速且准确的模型量化方法，它无需校准数据即可对大型模型进行量化，并且这一过程可以在短短几分钟内完成。 HQQ 支持对不同位数（8、4、3、2、1 位）的模型进行量化，并兼容各种类型的模型，包括语言模型和视觉模型。