Tutel MoE: An Optimized Mixture-of-Experts Implementation, also the first parallel solution proposing "No-penalty Parallism/Sparsity/Capacity/.. Switching" for modern training and inference that have dynamic behaviors. We compare three solutions that support Full-Precision Inference (PPL = 0) of Deepseek R1 671B.

2023年8月31日 · 简单介绍一下论文内容：Tutel是一个对MoE训练系统，它使用自定义的动态方法进行优化。 关键机制是自适应地并行性切换，它可以在每次迭代期间 动态切换并行策略，而不产生任何额外的切换开销 。

2024年9月13日 · Tutel MoE 是第一个提出“无惩罚并行/稀疏性/容量/切换”的并行解决方案，支持 PyTorch 框架，并针对 CUDA 和 ROCm GPU 进行了优化。 动态行为支持：针对现代训练和推理任务的动态行为进行优化。 多框架支持：支持 PyTorch 框架，推荐使用 PyTorch >= 1.10。 多硬件支持：支持 CUDA（fp64/fp32/fp16/bfp16）和 ROCm（fp64/fp32/fp16）GPU，以及 CPU（fp64/fp32）。 优化技术：包括 No-penalty Parallism/Sparsity/Capacity/Switching 等优 …

2022年6月7日 · Flex designs an identical layout for distributing MoE model parameters and input data, which can be leveraged by all possible parallelism or pipelining methods without any mathematical inequivalence or tensor migration overhead. This enables adaptive parallelism/pipelining optimization at zero cost during runtime.

2025年2月14日 · Tutel的主要贡献就是提供了若干种可切换的并行策略。 那么首先，我们就来理解一下Tutel的并行策略。 Tutel考虑了所有DP（数据并行），MP（模型并行）和EP（专家并行）的组合，并分析它们的通信复杂度，最终选择了最优的两种：DP和EP+DP+MP。

简单介绍一下论文内容：Tutel是一个对MoE训练系统，它使用自定义的动态方法进行优化。 关键机制是自适应地并行性切换，它可以在每次迭代期间 动态切换并行策略，而不产生任何额外的切换开销。 原文学院派写作风格和略显清奇的概念命名体系给阅读带来不少障碍。 我读第一遍，是满脸黑人问号，咋就零成本切换并行模式了呢？ 看到第N遍，想明白了这个方法潜在的限制条件，才找到了点感觉。 本文抛砖引玉，帮助你揭开Tutel神秘的面纱。 声明一下，我用过megablocks …

2024年5月25日 · 基于这一关键设计，Tutel 实现了各种 MoE 加速技术，包括 Flexible All-to-All、二维分层（2DH）All-to-All，以及快速编码、解码等。 综合所有技术，Tutel 相比之前的方案，在 16 个和 2048 个 A100 GPU 上，单个 MoE 层的速度提升 4.96x 和 5.75x。

Tutel is a misspelling of "turtle" inspired by a viral video on YouTube in which a man observes a turtle in his pool and, in an accent, says "turtle." He later posted an edited version of the video, playing a song after saying "turtle."

2023年8月31日 · TUTEL:是一种 MoE 系统，可通过自适应方法针对任何规模的动态 MoE 工作负载全面优化 MoE 层性能。 该机制包括两个关键技术：用于高效 MoE 调度/组合的 自适应流水线 和用于高效专家执行的 自适应并行切换。 TUTEL还引入了一种新颖的 二维分层 (2DH) All-to-All算法和灵活的All-to-All算法，在超大规模 (4096个A100 gpu)中实现高效的MoE调度/组合。 工作： •详细分析MoE的动态特性以及现有ML框架中的以下挑战。

Tutel MoE是一种优化的专家混合实现，支持Pytorch、CUDA、ROCm和CPU等多种框架和硬件。 它加速了动态训练和推理，并提供了多项功能更新，例如tensorcore选项、自定义专家扩展和NCCL超时设置。