美团搜推团队 投稿量子位 | 公众号 QbitAI 满血版DeepSeek R1部署A100，基于INT8量化，相比BF16实现50%吞吐提升！ 美团搜推机器学习团队最新开源，实现对DeepSeek R1模型基本无损的INT8精度量化。 要知道，DeepSeek ...

在近日的技术领域动态中，美团公司又一次引发了广泛关注。这家互联网科技巨头的机器学习团队于3月4日正式宣布对其DeepSeek R1模型进行无损INT8精度量化，进而实现了在A100 GPU上性能提升50%的显著成果。这一创新不仅提升了深度学习模型的运算效率，还为开发者利用AI技术提供了新的机遇，也标志着美团在深度学习优化领域的一个里程碑。

据介绍，DeepSeek R1发布以后不少企业和个人都在尝试部署满血版本， 但原生版本的模型权重为FP8数据格式，对GPU芯片类型有严格限制，仅能被英伟达新型GPU支持（如Ada、Hopper架构芯片），其他型号GPU（如A100）无法直接部署。

美团搜推机器学习团队最新开源，实现对DeepSeek R1模型基本无损的INT8精度量化。 要知道，DeepSeek R1原生版本的模型权重为FP8数据格式，对GPU芯片类型 ...

近日，美团技术团队在AI领域传来重大利好消息！他们对DeepSeek R1大语言模型进行了INT8精度量化优化，成功实现了在老款GPU如A100等设备上的无损部署。这一突破性进展，标志着AI技术的普惠时代正在加速到来。 DeepSeek ...

在3月8日【妇女节】的特别日子里，美团为科技界带来一次精彩的发布会，宣布了对行业老显卡的一项重大利好——INT8无损满血版DeepSeek R1模型。该模型原生权重采用FP8格式，专为最新的NVIDIA GPU设计，但美团技术团队经过努力，成功实现了INT8精度量化，解锁了包括A100在内的老型号GPU的支持。

DeepSeek R1 原生版本的模型权重为 FP8 数据格式，对 GPU 芯片类型有严格限制，仅能被英伟达新型 GPU 支持（如 Ada、Hopper 架构芯片），其他型号 GPU（如 A100）无法直接部署。 目前，量化代码已经合入到了开源 LLM 推理框架 SGLang，量化模型已经发布到了 Hugging Face 社区，方便用户使用。官方测试，满血版 DeepSeek R1 部署 ...

美团技术团队近日宣布，对DeepSeek R1模型进行了INT8精度量化，使得该模型能够在老型号GPU如A100上进行部署。原生的DeepSeek R1模型权重采用FP8数据格式，这限制了其只能在英伟达的新型GPU上部署，而其他型号的GPU则无法直接支持。

虽然可以将FP8权重反量化为BF16权重后 ... 为此美团搜索和推荐平台部对DeepSeek R1模型进行了INT8精度量化尝试，发现使用INT8量化后模型精度基本无 ...

近期，美团搜推机器学习团队宣布了一项开源新进展，成功实现了对DeepSeek R1模型的无损INT8精度量化。这一成果在3月4日正式对外公布，标志着美团在深度学习模型优化方面取得了重要突破。