FP32、FP16、FP8、FP4都是类似组成，只是指数位和小数位不一样。 但是FP8和FP4不是IEEE的标准格式。 FP8是2022年9月由多家芯片厂商定义的，论文地址： arxiv.org/abs/2209.0543 FP4是2023年10月由某学术机构定义，论文地址： arxiv.org/abs/2310.1683

针对不同的数值分布， Mart van Baalen 在 FP8 versus INT8 for efficient deep learning inference 中给出了INT8和FP8量化后的精度，纵坐标值越大，精度越好。 对于均匀分布，INT8的精度是最好的，FP8-E4和FP8-E5的精度较差。 对于正态分布，FP8-E2（具有2个指数位、5个尾数位和1个符号位）的精度是最好的，INT8的精度紧随其后，FP8-E4和FP8-E5的精度较差。 而对于具有异常值的t-分布，量化精度普遍较差，其中FP8-E4的精度稍好。 在实际的大模型权重参数中，哪种 …

2025年2月14日 · INT4和INT8都是整数类型的量化方式，它们在计算机中以二进制形式存储数据，但表示的范围和精度有所不同。 INT8：它是一个8位整数，能够表示的范围是从-128到127。

本文中，作者对量化准确度进行了全面的研究，评估了整个 LLaMA-3.1 系列模型在学术基准和现实任务中的常见量化格式（FP8、INT8、INT4）。 此外，作者还研究考察了量化模型与未量化模型生成的文本之间的差异。 除了基准之外，作者还提出了一些量化改进，使得能够获得最先进的准确度结果。 作者的实验涵盖了 500,000 多次单独评估，并得出了几个关键发现： FP8 权重和激活量化（W8A8-FP）在所有模型上基本都是无损的。 INT8 权重和激活量化（W8A8-INT）在适当调整 …

2024年11月14日 · 本文将分享 TensorRT-LLM 中低精度量化内容，并从精度和速度角度对比 FP8 与 INT8。 首先介绍性能，包括速度和精度。 其次，介绍量化工具 NVIDIA TensorRT Model Optimizer （简称 ModelOpt，https://github.com/NVIDIA/TensorRT-Model-Optimizer） 及其快速实现量化功能的方法。 第三部分为 Debug。 随后讲解 FP8 的 Deep-Dive，并进行总结。 在讲解精度之前，先介绍 NVIDIA Hopper 架构上的数据类型 FP8，它有两种数据类型：E5M2 和 …

2023年3月31日 · In this whitepaper, we compare the performance for both the FP8 and INT formats for efficient on-device inference. We theoretically show the difference between the INT and FP formats for neural networks and present a plethora of post-training quantization and quantization-aware-training results to show how this theory translates to practice.

2024年2月13日 · 本文介绍了深度学习模型部署中常见的几种精度类型，包括FP32、FP16、TF32和INT8，解释了它们的定义、计算公式和在模型优化中的应用。

2025年2月18日 · FP8 vs INT8： FP8保留浮点表示，动态范围更广（支持指数位），适合模型权重和中间激活值的量化；INT8为定点数，需复杂校准（如量化感知训练），易损失精度。

2025年3月7日 · DeepSeek R1模型权重原生为FP8类型，仅能被英伟达新型GPU支持。美团技术团队进行了INT8精度量化的尝试，量化后模型精度基本无损，可部署到A100等其他型号GPU，从而解锁了芯片限制；相比BF16实现了50%的吞吐提升，降低了推理成本。相关技术已 …

本文将分享 TensorRT-LLM 中低精度量化内容，并从精度和速度角度对比 FP8 与 INT8。 首先介绍性能，包括速度和精度。 其次，介绍量化工具 NVIDIA TensorRT Model Optimizer（简称 ModelOpt，https://github.com/NVIDIA/TensorRT-Model-Optimizer）及其快速实现量化功能的方法。 第三部分为 Debug。 随后讲解 FP8 的 Deep-Dive，并进行总结。 一、速度和精度. 在讲解精度之前，先介绍 NVIDIA Hopper 架构上的数据类型 FP8，它有两种数据类型：E5M2 和 …

2024年11月14日 · 本文将分享 TensorRT-LLM 中低精度量化内容，并从精度和速度角度对比 FP8 与 INT8。 首先介绍性能，包括速度和精度。 其次，介绍量化工具 NVIDIA TensorRT Model Optimizer（简称 ModelOpt，

FP8与INT8的技术选择本质上是动态范围与计算密度的博弈。 FP8凭借非均匀量化特性，在训练阶段和含异常值的推理场景中展现统治力；而INT8依靠硬件友好的整数运算，在标准化推理任务中保持效率优势。

2024年8月29日 · FP8 是 Nvidia 、Arm、Intel 联合推出的8位浮点数据格式，用于加速深度学习训练和推理，其发布了论文： FP8 Formats for Deep Learning。 目前，在 Nvidia Hopper 和 Ada Lovelace 等 GPU 上提供了支持。 根据 IEEE 754 标准，在计算机中，使用符号位、指数、尾数三部分表示一个浮点数。 符号位：表示数值的符号，只占用1bit，0-表示整数，1-表示负数。 指数部分：表示数值的指数（阶码数值）部分，决定了数的范围。 尾数部分：表示数值的底数部 …

2024年7月17日 · 本文为你深度揭秘 INT4、INT8、FP32、FP16 的差异与应用，让你轻松掌握大模型量化的核心要点！ 从原理到实践，从优势到挑战，一应俱全。

2025年3月3日 · 同时，INT8 精度被广泛硬件原生支持，基于 INT8 精度可以极大拓展 DeepSeek 模型的硬件部署范围。 以硬件友好的 INT8 精度为中心，美团技术团队开始探索 FP8 “平替” 的落地方案。

INT8 is a better format for the 2D computer vision networks, and FP8-E3 is generally better than FP8-E4 for all networks. One surprising trend is that the INT8 results improve more than their PTQ baseline than their FP8 counterparts.

2023年3月31日 · In this whitepaper, we compare the performance for both the FP8 and INT formats for efficient on-device inference. We theoretically show the difference between the INT and FP formats for neural...

2025年2月18日 · FP8 vs INT8： FP8保留浮点表示，动态范围更广（支持指数位），适合模型权重和中间激活值的量化；INT8为定点数，需复杂校准（如量化感知训练），易损失精度。

2024年11月14日 · 本文将分享 TensorRT-LLM 中低精度量化内容，并从精度和速度角度对比 FP8 与 INT8。 首先介绍性能，包括速度和精度。 其次，介绍量化工具 NVIDIA TensorRT Model Optimizer（简称 ModelOpt，https://github.com/NVIDIA/TensorRT-Model-Optimizer） 及其快速实现量化功能的方法。 第三部分为 Debug。 随后讲解 FP8 的 Deep-Dive，并进行总结。 速度和精度. 在讲解精度之前，先介绍 NVIDIA Hopper 架构上的数据类型 FP8，它有两种数据类型：E5M2 …

当前H100支持两种格式的FP8，包括FP8 M4E3与FP8 M5E2。 如表所示，这两种标准定义依照OCP FP8规范定义。 然而，在实际神经网络训练过程中，很多算子使用FP8进行计算都会造成数值溢出。 是故FP8量化需要定制化为每一个权重计算设置不同的范围参数。