GB200 NVL72 connects 36 Grace CPUs and 72 Blackwell GPUs in a rack-scale, liquid-cooled design. It boasts a 72-GPU NVLink domain that acts as a single, massive GPU and delivers 30X faster real-time trillion-parameter large language model (LLM) inference.

GB200 NVL72： 包含18个1U compute tray（共72个B200）、9个Switch Tray（共18个Switch ）。 GB200 superPOD ： 576个B200 GPU。 与H100相比，superpod的训练性能提升4倍，推理性能提高30倍，能效提高25倍。

NVIDIA GB200 超級晶片結合兩個 NVIDIA Blackwell GPU 和一個 NVIDIA Grace CPU，可提供速度快 30 倍的即時大型語言模型 (LLM)，並在資料處理、工程設計和模擬方面提供突破性效能。

2025年3月24日 · NVIDIA's GB200 GPU uses the Blackwell architecture and is made using a 5 nm production process at TSMC. GB200 does not support DirectX. For GPU compute applications, OpenCL version 3.0 and CUDA 12.0 can be used. It features 18432 shading units, 576 texture mapping units and 24 ROPs. Also included are 576 tensor cores which help improve the ...

GB200是英伟达推出的最强大的AI超级芯片，他们也可能组成这个地球上，迄今为止算力最强的AI服务器。 英伟达是如何实现这一点的呢？ 答案很简单，就是靠暴力堆——开个玩笑，当然是他不惜重金研发的独门科技，和思路清晰的扩张方案。 为了做到这一点，黄仁勋给出的答案是：将算力设计分成五个物理层次，并且在每一个层次都做到当前技术所允许的最好。 黄仁勋说， Blackwell系列芯片的研发成本大概为100亿美金，这应该不是玩笑。 今天，我们就来对这5层 …

2025年2月25日 · GB200 是 NVIDIA GB200 NVL72 的关键组件。 NVIDIA GB200 NVL72 是一个机架规模系统，包含36个Grace CPU 和 72个Blackwell GPU， NVLink 多节点 all-to-all 带宽达到 130 TBb/s。 每个计算节点配备四个Connect-X InfiniBand NIC和一个 BlueField-3 DPU。 此外，机架内部有9个NVLink交换机，每个提供1.8 TbpsTb/s的双向带宽。 GB200 NVL72使用铜缆在机柜内部连接GPU，数量超过5000条。 而跨机柜间因距离原因推荐使用光纤连接技术，以减少信号损失。

2024年12月25日 · 英伟达GB200 NVL4是基于GB200扩展的一个全新模块，GB200 NVL4模块在更大的主板上配置两个Grace CPU和4个Blackwell B200 GPU。 具有4-GPU NVLink域和1.3T相干内存的单服务器解决方案。

英伟达表示 GB200 包含了两个 B200 Blackwell GPU 和一个基于 Arm 的 Grace CPU 组成， 推理大语言模型性能比 H100 提升 30 倍，成本和能耗降至 25 分之一。 IT之家援引英伟达官方报告，训练一个 1.8 万亿个参数的模型以前需要 8000 个 Hopper GPU 和 15 兆瓦的电力。 如今，Nvidia 首席执行官表示， 2000 个 Blackwell GPU 就能完成这项工作，耗电量仅为 4 兆瓦。 在参数为 1,750 亿的 GPT-3 LLM 基准测试中，Nvidia 称 GB200 的性能是 H100 的 7 倍，而训练速度是 H100 …

2024年11月7日 · 英伟达 H 200 是 H 100 的升级版本，继续基于 Hopper 架构，通过进一步优化和增强来提升性能和效率，适用于更广泛和更苛刻的计算任务。 RTX 3090与3090 Ti作为RTX 30系列的旗舰产品，3090Ti拥有10752流处理，3090拥有10496个流处理，它们以极致的性能和巨大的显存容量（通常为24 GB GDDR6X）成为了追求极致图形处理能力的用户的首选。 RTX 3060 Ti和RTX 3060是RTX 30系列中的入门级产品，它们以适中的价格和良好的性能赢得了市场的广泛认 …

2024年9月29日 · 得益于 FP4、张量核心、Transformer 引擎和 NVLink 交换机，GB200 NVL72 可以生成比 Hopper 多 30 倍的令牌，实现 1.8 TB/s 的 GPU 到 GPU 互连。 GB200 NVL72 专为高级计算任务而设计，需要高级网络才能发挥最佳功能。