在下游任务上，表现同样也和BF16相当。 为了实现FP4精度训练，研究团队采用了定制化的FP4矩阵乘法（GeMM）CUDA内核。 在内核中，作者先用FP16将FP4的A ...

将FP8精度模型权重转换为BF16精度模型权重； 2、在模型服务页面，选择BF16精度的模型权重版本，下发推理服务，启动任务部署； 3、ModelEngine使用 ...