fp32、fp16、fp8、fp4都是类似组成，只是指数位和小数位不一样。 但是FP8和FP4不是IEEE的标准格式。 FP8是2022年9月由多家芯片厂商定义的，论文地址： https:// arxiv.org/abs/2209.0543 3

针对不同的数值分布， Mart van Baalen 在FP8 versus INT8 for efficient deep learning inference中给出了INT8和FP8量化后的精度，纵坐标值越大，精度越好。对于均匀分布，INT8的精度是最好的，FP8-E4和FP8-E5的精度较差。

本文中，作者对量化准确度进行了全面的研究，评估了整个 LLaMA-3.1 系列模型在学术基准和现实任务中的常见量化格式（FP8、INT8、INT4）。 此外，作者还研究考察了量化模型与未量化模型生成的文本之间的差异。 除了基准之外，作者还提出了一些量化改进，使得能够获得最先进的准确度结果。 作者的实验涵盖了 500,000 多次单独评估，并得出了几个关键发现： FP8 权重和激活量化（W8A8-FP）在所有模型上基本都是无损的。 INT8 权重和激活量化（W8A8-INT）在适当调整 …

2025年2月14日 · Int8：这是8位整数类型，能存储的数值范围有限，但占用的内存更少。Int8主要用于模型量化，通过将模型参数从FP32或FP16转换为Int8，可以大幅减少模型的内存占用和计算量。

2024年11月14日 · 本文将分享 TensorRT-LLM 中低精度量化内容，并从精度和速度角度对比 FP8 与 INT8。 首先介绍性能，包括速度和精度。 其次，介绍量化工具 NVIDIA TensorRT Model Optimizer （简称 ModelOpt，https://github.com/NVIDIA/TensorRT-Model-Optimizer） 及其快速实现量化功能的方法。 第三部分为 Debug。 随后讲解 FP8 的 Deep-Dive，并进行总结。 在讲解精度之前，先介绍 NVIDIA Hopper 架构上的数据类型 FP8，它有两种数据类型：E5M2 和 …

2025年2月13日 · int8 主要应用于模型量化技术，通过将模型参数由高精度的 fp32 或 fp16 转换为 int8，可以大幅降低模型存储空间需求和计算复杂度，为模型在资源受限设备上的高效部署铺平道路。

2025年2月18日 · FP8 vs INT8： FP8保留浮点表示，动态范围更广（支持指数位），适合模型权重和中间激活值的量化；INT8为定点数，需复杂校准（如量化感知训练），易损失精度。

与INT8 的数值表示相比较， FP8 在 LLM 的训练和推理更有优势。 因为INT8在数值空间是均匀分布的，而 FP8 有更宽的动态范围， 更能精准捕获 LLM 中参数的数值分布，配合 NVIDIA Transformer Engine、NeMo 以及 Megatron Core 的训练平台和 TensorRT-LLM 推理优化方案，大幅提升了 LLM 的训练和推理的性能，降低了首 token 和整个生成响应的时延。 二、FP8 在 NVIDIA GPU 架构和软件系统中的应用. 作为 AI 计算领域的领导者，NVIDIA 一直在推动新技术 …

2023年3月31日 · In this whitepaper, we compare the performance for both the FP8 and INT formats for efficient on-device inference. We theoretically show the difference between the INT and FP formats for neural networks and present a plethora of post-training quantization and quantization-aware-training results to show how this theory translates to practice.

2024年11月14日 · 本文将分享 TensorRT-LLM 中低精度量化内容，并从精度和速度角度对比 FP8 与 INT8。 首先介绍性能，包括速度和精度。 其次，介绍量化工具 NVIDIA TensorRT Model Optimizer（简称 ModelOpt，