目前为止，megatron通过tp+sp的方式，在tp的基础上，进一步按照seq维度拆分了Attn和MLP的输入、输出结果，使得在通讯量维持和纯tp一致的情况下，单卡所维护的激活值大小得到进一步下降。

本文提出的序列并行技术是基于张量并行（Tensor Parallelism，TP）的，所以先介绍下张量并行在内存节省方面生成的效果. TP的主要作用是对SelfAttention+Linear+MLP模块做了切分，具体内容包括该区域内的 模型参数，优化器参数和激活值，分散到各个TP进程上，以缓解内存压力. 注意，这些模块的输入包括SelfAttention的输入和MLP的输入都没有被TP切分，因此，对于 t 维度的TP，单层Transformer激活值占用内存为： Activations memory per layer = sbh\left ( 10+\frac …

2024年5月18日 · Tensor Parallel（TP） 是一个高效的模型并行方法，本文提到的 Sequence Parallel (SP) 是一种特殊的 TP，它在 nn.LayerNorm 或 RMSNorm 的 sequence 维度上做分片，节省训练期间激活部分的显存占用。当模型变大，这部分占用会很高，所以一般 TP 都是以 SP …

从通信复杂度的角度看，DeepSpeed-Ulysses的通信复杂度为O(M/P)，Megatron-SP的通信复杂度为O(M)。其中，M表示Message，即每个rank需要发送的信息总量（只看send）。对于所有GPU之间的All-to-All通信，当消息总大小为M时，每个链接传输的通信量为M/P。

我的回答是，使用 EP 不会减少数据并行 (DP) 的数量，因为每个 EP 处理不同的数据。 而且，EP 和 TP 对通信的要求都很高，一般不会让 EP 和 TP 跨机。 根据我们的实验结果，EP 的吞吐量比 TP 更高。 当 EP 开启到 8 时，我们就不再使用 TP。 面试结束后，对这个问题进行了更深入的思考，觉得还有一些未考虑的细节值得分析。 翻了下 DeepSeek 的技术报告。 在 v1 中，他们使用了 PP、EP、TP 和 Zero1，而在 v2（236B 参数、21B 激活）中，配置为 8EP + 16PP（zero …

2024年11月3日 · Megatron Context Parallelism：可以看成是增强版的sp，引入了类ring-attention的技术（在tp-pp-dp rank相同的位置做ring-attention），联合Megatron的各种混合并行方式进行训练。 （以上介绍看不懂也没事，后面会慢慢更新文章的） 话题回到今天的SP上来，我们将会： 快速回顾tp过程

MTP连接器是一种具有多重创新设计的高性能的MPO连接器，MTP 是美国 US Conec 公司生产注册的MPO光纤连接器品牌，其生产的多芯连接器散件和插芯，专称为MTP连接器。 相对于一般的MPO连接器来说，MTP光纤连接器在光学性能和机械性能上都得到了加强。 MTP连接器完全符合所有MPO连接器的专业标准，包括EIA/TIA-604-5 FOCIS 5 和 IEC-61754-7。 MPO插芯不能叫陶瓷插芯，基材是PPS加陶瓷粉末。 PPS是一种塑料，或者也叫做树脂，学名聚苯硫醚，耐高 …

2023年9月22日 · MPO是英文Multi-fiber Push On的缩写，由日本NTT公司设计的第一代多芯光纤连接器。 它的主要工业标准为IEC-61754-7，目前国标为YD/T1272.5-2009，美国标准为EIA/TIA-604-5。 MTP是英文Multi-fiber Termination Push-on的缩写，是美国US Conec公司为他自己的MPO连接器注册的商标，其通过多个创新的设计，对MPO连接器做了很多优化，有自己的专利保护。 所以，MTP连接器就是MPO连接器，只是比普通的MPO连接器具有更优秀的机械和光学 …

MTP® 连接器的核心是 US Conec 设计和制造的 MT 插芯。 MTP® 连接器的器件和相关的端接工艺被设计成 一个系统，可以无缝地结合在一起，确保了工厂的高产量和现场可靠的电缆装配性能。

2024年11月20日 · mtp连接器是一种高性能的多光纤连接器，广泛应用于数据中心、电信网络和光纤通信系统中。 MTP连接器的设计旨在提供高密度、高可靠性和快速连接，特别适合需要多光纤同时连接的场景。