The NVIDIA GH200 Grace Hopper ™ Superchip is a breakthrough processor designed from the ground up for giant-scale AI and high-performance computing (HPC) applications. The superchip delivers up to 10X higher performance for applications running terabytes of data, enabling scientists and researchers to reach unprecedented solutions for the ...

在 COMPUTEX 2023 上，NVIDIA 发布了 NVIDIA DGX GH200，这标志着 GPU 加速计算的又一次突破，为要求最严苛的巨型 AI 工作负载提供支持。 过去 7 年来，GPU 的统一内存编程模型一直是复杂加速计算应用取得各种突破的基石。 2016 年，NVIDIA 推出了 NVLink 技术和带有 CUDA-6 的统一内存编程模型，旨在增加 GPU 加速工作负载的可用内存。 从那时起，每个 DGX 系统的核心都是基板上的 GPU 复合体，基板上与 NVLink 互连，其中每个 GPU 都可以以 NVLink 速度 …

2023年10月4日 · 8 月中 NVIDIA 首席执行官 黄仁勋 展览时再次力推 DGX GH200，是采 Grace Hopper 加速计算卡打造的新世代生成式 AI 超级芯片，也是 NVIDIA 首款 Exaflop 等级的 DGX 超级计算机产品。 根据9月11日跑分数据，NVIDIA宣布旗下GH200、H100、L4 GPU与Jetson Orin同类产品都获得领先表现。 GH200 首次提交单一芯片，与单张 H100 配合英特尔 CPU 比较后，GH200 组合各测试都至少有 15% 左右提升。 NVIDIA 人工智能总监 Dave Salvator 新闻发布 …

2024年12月30日 · 如上图所示，一颗 GH200 超级芯片集成了下面这些核心部件： 96GB 或 144GB GPU 显存。 NVLink-C2C 提供了一种 NVIDIA 所谓的“memory coherency”：内存/显存一致性。 好处： CPU 和 GPU 可以同时（concurrently and transparently）访问 CPU 和 GPU 内存。 GPU 显存可以超分（oversubscribe），不够了就用 CPU 的内存，互连带宽够大，延迟很低。 下面再展开看看 CPU、内存、GPU 等等硬件。 500GB/s per-CPU memory bandwidth。 参考 …

DGX GH200 总共配备了 256 个 Grace Hopper CPU+GPU，轻松超过了 Nvidia 之前最大的 NVLink 连接 DGX 排列（具有八个 GPU），144TB 的共享内存比提供“仅仅”320GB 共享内存的 DGX A100 系统多了 500 倍八个 A100 GPU 之间的内存。 此外，将 DGX A100 系统扩展到具有 8 个以上 GPU 的集群需要使用 InfiniBand 作为系统之间的互连，这会导致性能下降。 相比之下，DGX GH200 标志着 Nvidia 首次围绕 NVLink Switch 拓扑构建了整个超级计算机集 …

本节介绍 NVIDIA GH200 的主要架构特性，包括： NVLink-C2C 、NVLink 交换系统、扩展 GPU 内存 %28EGM%29 和超芯片的灵活计算能力。 NVLink-C2C. NVLink 芯片间互连（C2C）提供 Grace CPU 和 Hopper GPU 之间的高速直接连接，以构建 Grace Hopper 超芯片，专为 AI 和 HPC 应用的加速而设计。 NVLink-C2C 提供 900GB/s 的双向带宽，比 x16 PCIe Gen 链接高出 7 倍的带宽且延迟更低。 NVLink-C2C 仅消耗 1.3 皮焦每比特的能量，比 PCIe Gen 5 高效 5 倍以上 …

2023年8月8日 · NVIDIA today announced the next-generation NVIDIA GH200 Grace Hopper™ platform — based on a new Grace Hopper Superchip with the world’s first HBM3e processor — built for the era of accelerated computing and generative AI.

NVIDIA 发布新一代 GH200 Grace Hopper 超级芯片平台，迎接加速计算和生成式 AI 时代的到来 全球首款 HBM3e 处理器提供突破性的内存和带宽；能够连接多个 GPU 以实现卓越的性能；采用易于扩展的服务器设计。

The NVIDIA DGX GH200 is the only AI supercomputer that offers a massive shared memory space across interconnected NVIDIA Grace Hopper Superchips, providing developers with more memory to build giant models.

2023年10月4日 · 8 月中 NVIDIA 首席执行官黄仁勋展览时再次力推 DGX GH200，是采 Grace Hopper 加速 计算卡 打造的新世代生成式 AI 超级芯片，也是 NVIDIA 首款 Exaflop 等级的 DGX 超级计算机产品。