GB200 NVL72 connects 36 Grace CPUs and 72 Blackwell GPUs in a rack-scale, liquid-cooled design. It boasts a 72-GPU NVLink domain that acts as a single, massive GPU and delivers 30X faster real-time trillion-parameter large language model (LLM) inference.

GB200 NVL72 搭載液冷的機架級解決方案，擁有 72 個使用 NVLink 互聯的 GPU，能夠作為單一大型的 GPU 使用，並為擁有兆級參數的 LLM 提供 30 倍的即時推論速度。 GB200 Grace Blackwell 超級晶片是 NVIDIA GB200 NVL72 的關鍵元件，使用 NVIDIA® NVLink®-C2C 連接兩個高效能的 NVIDIA Blackwell Tensor Core GPU 和一個 NVIDIA Grace CPU。 NVIDIA GB200 NVL72 是採用單一機架的百萬兆級電腦。

2024年4月14日 · NVIDIA GB200 NVL72 的核心为GB200 Grace Blackwell Superchip，采用 NVIDIA NVLink-C2C 互联技术，可为万亿参数的大型语言模型（LLM）推理提供30倍的实时速度提升。 英伟达GTC发布的这一代Blackwell， 精髓不是Grace Blackwell架构、不是NVLink...

2025年1月7日 · 在现场英伟达CEO黄仁勋展示了巨大盾牌式的Grace Blackwell NVL72，我们认为当下这仅是为了展示效果而人工合成的产品，说明整个72颗GPU和相关的CPU，通过NVLink高速全互联可被视作一个超级芯片产品，也即是NVL 72 rack产品提出结构件和物理有限连接以外的晶 …

The NVIDIA GB200 NVL72 delivers exascale computing capabilities in a single rack with fully integrated liquid-cooling. It incorporates 72 NVIDIA Blackwell GPUs and 36 Grace CPUs interconnected by NVIDIA’s largest NVLinkTM network to date.

2024年3月22日 · NVLink Generations Comparison（图源：NVIDIA） 与之对应的是， NVLink Switch芯片 也完成了全面升级，支持72个端口，每个端口规格为x2 200Gbps，整颗芯片最大支持7.2TB/s的双向带宽。

2025年2月3日 · 一个 GB200 NVL72 包含 18 个 GB200 Compute Tray，所以包含 36 个 Grace CPU，72 个 GPU，对应的显存为 72*192GB=13.8TB，对应的 Fast Memory 为 18*1.7TB=30.6TB。

NVIDIA GB200 NVL72 是 NVIDIA 于2024年3月GTC 大会上发布的一套多节点液冷机架级扩展系统，适用于高度计算密集型的工作负载。 [1-2] NVIDIA GB200 NVL72 将 36 个 Grace Blackwell 超级芯片组合在一起，其中包含通过第五代 NVLink 相互连接的 72 个 Blackwell GPU 和 36 个 Grace CPU。 此外，GB200 NVL72 还内置 NVIDIA BlueField®-3 数据处理器，可在超大规模 AI 云中实现云网络加速、组合式存储、零信任安全和 GPU 计算弹性 [3]。 [1]

每颗CPU拥有72个 Arm Neoverse V2 内核，总计144核。 另外，每套系统有1.3 TB的内存。 如此一来，现在英伟达除了有GB200 NVL72和NVL36这种高能耗的平台，还有了新的“低功耗”版本（此前还有NVL2）。 虽说是低功耗，但也大约在6kW以上。 作为对比，英伟达DGX-1或HGX-1平台的功耗仅为3.5kW左右。 如果将GB200 NVL4与NVL72平台进行对比，外观上它们可能非常相似，但实际上两者有很大区别。 首先，NVL72在靠近显卡的那一头（上面）配备了边缘连接器，应 …

2024年12月2日 · GB200 NVL72 即将发货， GB300 NVL72 开始准备，两者有什么差异？ 单卡功耗自然从1.2kW提升到1.4kW（Rubin会到1.8kW）。 通过所谓“power steering”，整个机柜的能耗依然保持在132kW不变！ （单位算力能耗降低了） 网卡从CX7升级 CX8。 CX8直接优点就是支持更大端口量的交换机，2层网络组网规模更大，意味着单卡网络能耗成本降低. GB200是每个compute tray2张GB200板卡，每GB200是1 Grace CPU +2 GPU，而GB300是统一一 …