FP8 H100. 2022年，Nvidia 发布的最新一代高性能GPU架构：H100。H100 TensorCore中引入了一种新的浮点类型FP8. 相较于FP16/BF16, FP8能取得到2x的性能提升, 4096 MAC/cycle的水平. 无独有偶，2021年10月，Tesla披露了关于Dojo的一些细节。

H100 GPU introduced support for a new datatype, FP8 (8-bit floating point), enabling higher throughput of matrix multiplies and convolutions. In this example we will introduce the FP8 datatype and show how to use it with Transformer Engine.

配合H100发布的同时，NVIDIA软件工程师就发布了TransformerEngine，它是一个Library可以使用FP8加速DNN训练和推理。 最近微软发布了一项工作，在此基础上进一步探究了FP8的使用方式：

许多硬件厂商的芯片开始支持 FP8 的计算，如英伟达最新的两种架构 Ada (4090) 和 Hopper (H100)。它们的 Tensor Core 计算单元都开始支持 FP8 的计算，如图所示： 在 H100 的第四代 Tensor Core 中，支持任意的 FP8 格式矩阵的乘法 （ E4M3 xE4M3, E5M2 …

H100 features fourth-generation Tensor Cores and a Transformer Engine with FP8 precision that provides up to 4X faster training over the prior generation for GPT-3 (175B) models.

2022年3月22日 · Building upon the NVIDIA A100 Tensor Core GPU SM architecture, the H100 SM quadruples the A100 peak per SM floating point computational power due to the introduction of FP8, and doubles the A100 raw SM computational power on all previous Tensor Core, FP32, and FP64 data types, clock-for-clock.

NVIDIA H100 GPU 配备第四代 Tensor Core 和 Transformer 引擎（FP8 精度），可使大型语言模型的训练速度提升高达 9 倍，推理速度提升 惊人的 30 倍，从而进一步拓展了 NVIDIA 在 AI 领域的市场领先地位。

该图表分别对比了在 h100 gpu 与 a100 gpu 上做 bf16 和 fp8 训练的加速效果。 可以看到 BF16 训练对 1B，3B 模型的加速比约为 2.2 倍，而 FP8 训练的加速比分别达 2.7 倍、2.8 倍，对 7B，30B 模型加速比则达到 3 倍和 3.3 倍，说明 FP8 训练的性能优化效果更加显著。

h100 gpu 增加了 fp8 张量核，以加速人工智能训练和推理。 如图 6 所示， FP8 张量磁芯支持 FP32 和 FP16 累加器，以及两种新的 FP8 输入类型： 具有 4 个指数位、 3 个尾数位和 1 个符号位的 E4M3

2023年10月27日 · Experiment results show that, during the training of GPT-175B model on H100 GPU platform, our FP8 mixed-precision training framework not only achieved a remarkable 39% reduction in real memory usage but also ran 75% faster than the widely adopted BF16 framework (i.e., Megatron-LM), surpassing the speed of Nvidia Transformer Engine by 37%.