Moe (萌え, Japanese pronunciation: [mo.e] ⓘ), sometimes romanized as moé, is a Japanese word that refers to feelings of strong affection mainly towards characters in anime, manga, video games, and other media directed at the otaku market. Moe, however, has also gained usage to refer to feelings of affection towards any subject.

2024年6月5日 · 一个MOE主要由 两个关键点 组成： 一是将传统Transformer中的FFN（前馈网络层）替换为多个稀疏的专家层（Sparse MoE layers）。 每个专家本身是一个独立的神经网络，实际应用中，这些专家通常是前馈网络 (FFN)，但也可以是更复杂的网络结构。 二是门控网络或路由：此部分用来决定输入的token分发给哪一个专家。 可能有对 FFN （前馈网络层）不太熟悉的小伙伴可以看一下下面的代码及图例，很简单就是一个我们平时常见的结构。 self.feedforward = …

2023年12月13日 · 混合专家模型（MoE）是一种稀疏门控制的深度学习模型，它主要由一组专家模型和一个门控模型组成。 MoE的基本理念是将输入数据根据任务类型分割成多个区域，并将每个区域的数据分配一个或多个专家模型。 每个专家模型可以专注于处理输入这部分数据，从而提高模型的整体性能。 MoE架构的基本原理非常简单明了，它主要包括两个核心组件： GateNet 和Experts。 GateNet的作用在于判定输入样本应该由哪个专家模型接管处理。 而Experts则构成 …

MoE，全称为Mixed Expert Models，翻译过来就是混合专家模型。 MoE并不是什么最新技术，早在1991年的时候，论文 Adaptive Mixture of Local Experts 就提出了MoE。 我们知道，模型规模是提升模型性能的关键因素之一，这也是为什么今天的大模型能取得成功。 在有限的计算资源预算下，用更少的训练步数训练一个更大的模型，往往比用更多的步数训练一个较小的模型效果更佳。 MoE 的一个显著优势是它们能够在远少于 Dense 模型所需的计算资源下进行有效的预训练。 …

2025年2月2日 · Mixture of Experts（MoE）模型是一种通过将模型分成多个专家子网络，并根据输入数据的特点，动态选择合适的专家进行计算的架构。 每个“专家”都在某个领域拥有强大的处理能力，而MoE则根据任务需求智能选择合适的专家进行运算。 这一机制在保证较小计算开销的同时，能够显著提升模型的表达能力和灵活性。 尤其在面对大规模数据集时，MoE模型通过精确地选择不同的专家来处理特定的任务，从而避免了冗余计算，并有效地降低了资源消耗。 在MoE模 …

2024年5月29日 · MoE是大模型架构的一种，其核心工作设计思路是 “术业有专攻”，即将任务分门别类，然后分给多个“ 专家 ”进行解决。 与MoE相对应的概念是 稠密（Dense）模型，可以理解为它是一个“ 通才 ”模型。 一个通才能够处理多个不同的任务，但一群专家能够更高效、更专业地解决多个问题。 上图中，左侧图为传统大模型架构，右图为MoE大模型架构。 两图对比可以看到，与传统大模型架构相比，MoE架构在数据流转过程中集成了一个 专家网络层 （红框部分） …

5 天之前 · With the advances in artificial intelligence, Mix-of-Experts (MoE) has become the main form of Large Language Models (LLMs), and its demand for model compression is increasing. Quantization is an effective method that not only compresses the models but also significantly accelerates their performance. Existing quantization methods have gradually shifted the focus from parameter scaling to the ...

2024年7月11日 · 在MoEs中，我们将transformer模型的每个FFN层替换为一个MoE层，该层由一个门控网络和一定数量的专家组成。 尽管MoEs提供了诸如高效预训练和与密集模型相比更快的推理等好处，但它们也带来了挑战： 训练：MoE 可以显著提高计算效率，但在微调期间过去一直存在泛化困难，导致过拟合。 推理：尽管 MoE 可能有许多参数，但在推理期间只使用其中一些参数。 这导致推理速度比具有相同参数数量的密集模型要快得多。 然而，所有参数都需要加载到 …

365 Followers, 234 Following, 360 Posts - See Instagram photos and videos from 墨依 (@moeeee_____)

2025年1月4日 · 混合专家模型（Mixture of Experts，简称MoE）作为一种创新的架构设计，为解决这一难题提供了一个优雅的解决方案。 什么是混合专家模型？ 想象一下，如果把一个大 语言模型 比作一所综合性大学，传统的模型就像是让所有教授（参数）都参与每一次教学活动。 而MoE则更像是根据具体课程内容，只调用相关专业的教授来授课。 比如讨论物理问题时主要由物理系教授参与，讨论文学作品时则由文学院教授主导。 当模型收到一个输入时（比如一个自然语言处理 …