每个Tensor Core每周期能做4x4x4的GEMM，即64个FMA。虽然只支持FP16的数据，但输出可以是FP32。而且这相当于64个FP32 ALU提供的算力了，能耗上还有优势。 GRF & Cache. 寄存器部分，根据论文描述 ，是64bit * 2bank，而非以前的32bit * 4bank（此处和其他论文的说法有些许冲 …

ALU utilization can be predicted reliably, just by scanning the instruction mix. This simplicity may help the GPU predict the minimum power needed to reach maximum performance. Recently, someone pointed out a way to achieve 95% FP32 utilization with ILP=1.

一次 Warp 总的调度最多跑 32 个线程，而硬件上是 *16 FP32 (fmaheavy) + *16 FP32 (fmalite) + *16 INT32 (alu)，已经有 48 个计算单元了，我们一次最多调度 32 个诶！ 那没办法，32 个线程嘛，现在打游戏做 FP32 运算最多，路先让给 FP32，形成 16 条 FP32 专门的通道，对应到显卡 ...

2025年1月20日 · TF32，Tensor Float 32，英伟达针对机器学习设计的一种特殊的数值类型，用于替代FP32。 首次在A100 GPU中支持。 由1个符号位，8位指数位（对齐FP32）和10位小数位（对齐FP16）组成，实际只有19位。

2023年6月19日 · 单精度理论峰值 ＝ FP32 cores ＊ GPU Boost Clock ＊ 2 ＝ 3584 ＊ 1.58GHz ＊ 2 ＝ 10.6 TFlops. 因为P100还支持在一个FP32里同时进行2次FP16的半精度浮点计算，所以对于半精度的理论峰值更是单精度浮点数计算能力的两倍也就是达到21.2TFlops 。

2023年11月10日 · 着色器核心的高性能 alu 管线 苹果建议开发人员在其程序中执行 FP16 数学运算，但高性能 ALU 并行执行整数、FP32 和 FP16 的不同组合。 指令在并行执行的不同操作中执行，这意味着 ALU 利用率会随着占用率的提高而提高。

PowerVR Series6, Series6XT和Series6XE中的FP32 ALU能够在每个时钟周期执行2浮点运算。 每个USC即每个时钟周期的64 FLOP峰值。 PowerVR Series6 GPU内共有最多8个统一着色集群（ USC ）

总结：安培架构相比图灵架构题提升确实非常大，引入了第二代RT CORE，第三代Tensor Core，同时SM单元性能提升也非常大，将图灵的INT32改为FP32/INT32，真的非常有想法并且非常牛，那么问题来了，何时才能买到原价的30系显卡？

2024年12月11日 · 一个 SM 中包含了 2 组各 16 个 CUDA Core，每个 CUDA Core 包含了一个整数运算单元 ALU（Arthmetic Logit Unit）和一个浮点运算单元 FPU（Floating Point Unit）。 Volta 架构取消 CUDA core，变为单独的 FP32 FPU 和 INT32 ALU，因为 FP32:INT32 是 1:1 的关系，因此还是可以将它们合并起来一起称为原来的 CUDA Core，这样做的好处是每个 SM 现在支持 FP32 和 INT32 的并发执行，同时新增了光线追踪 RT Core。 Warp 是线程束，逻辑上所有 …

单精度浮点数（fp32）能提供更快的计算速度，但精度较低；双精度浮点数（fp64）能提供更高的精度，但计算速度较慢。 在选择GPU时，需要根据具体的应用需求来考虑需要哪种精度的浮点计算能力。