2022年2月28日 · With PXN, all GPUs on a given node move their data onto a single GPU for a given destination. This enables the network layer to aggregate messages, by implementing a new multireceive function. The function enables the remote CPU proxy to send all messages as one as soon as they are all ready.

2023年11月22日 · PXN 利用节点内 GPU 之间的 NVIDIA NVSwitch 连接，首先将 GPU 上的数据移动到与目的地相同的轨道上，然后将其发送到目的地而不跨越轨道。 这可以实现消息聚合和网络流量优化。

NVIDIA Collective Communication Library （ NCCL ）是一个 Magnum IO 库，可实现 GPU 加速的集体操作： 集合; 全部减少; 广播; 减少; 减少分散; 点对点发送和接收; NCCL 具有拓扑意识，经过优化，可通过 PCIe 、 NVLink 、以太网和 InfiniBand 互连实现高带宽和低延迟。

A value of 1 will enable the use of PXN when the NIC preferred by the destination is not accessible through PCI switches. A value of 2 (default) will cause PXN to always be used, even if the NIC is connected through PCI switches, storing data from all GPUs within the node on an intermediate GPU to maximize aggregation.

附录2-pxn - pci x nvlink The new feature introduced in NCCL 2.12 is called PXN, as PCI × NVLink, as it enables a GPU to communicate with a NIC on the node through NVLink and then PCI. This is instead of going through the CPU using QPI or other inter-CPU protocols, which would not be able to deliver full bandwidth.

2025年2月19日 · NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。

2024年9月19日 · NCCL是专为NVIDIA GPU设计的集合通信库，它和 MPI 一样支持多种高效的集体通信操作，如广播、归约、全收集等。在GPU之间的通信可以通过以下几种方式实现： GPU Shared Memory; 在这种方式中，GPU之间的数据传输需要经过CPU的主机内 …

2023年9月25日 · PXN是NCCL 2.12的新特性，即NVlink + PCI，先走Nvlink然后再走PCI。 需要CPU proxy线程配合，告诉NIC数据已经ready。 PXN可以结合rail topology进行优化，可以减小交换机的跳数（Node0上的GPU0和Node1上的GPU3通信，3跳变1跳），减小时延。

2024年9月19日 · NVIDIA Collective Communication Library （ NCCL ）是一个 Magnum IO 库，可实现 GPU 加速的集体操作： 集合; 全部减少; 广播; 减少; 减少分散; 点对点发送和接收; NCCL 具有拓扑意识，经过优化，可通过 PCIe 、 NVLink 、以太网和 InfiniBand 互连实现高带宽和低延 …

NVIDIA 集合通信库 (NCCL) 可实现针对 NVIDIA GPU 和网络进行性能优化的多 GPU 和多节点通信基元。 NCCL 提供了 all-gather、all-reduce、broadcast、reduce、reduce-scatter、point-to-point send 和 receive 等例程，这些例程均经过优化，可通过节点内的 PCIe 和 NVLink 高速互联以及节点间的 NVIDIA Mellanox 网络实现高带宽和低延迟。 先进的深度学习框架（例如 Caffe2 、 Chainer 、 MxNet 、 PyTorch 和 TensorFlow）已集成 NCCL，以在多 GPU 多节点的系统上加 …