在MMoE算法中，每个专家都是一个前馈全连接网络。然后，MMoE算法为每个任务引入一个独立的门控网络。门控网络利用输入特征（x）和softmax激活函数，以生成不同的专家组合权重，从而允许不同的任务以不同的权重利用专家网络的结果。

MMOE是MOE的改进，相对于 MOE的结构中所有任务共享一个门控网络，MMOE的结构优化为每个任务都单独使用一个门控网络。这样的改进可以针对不同任务得到不同的 Experts 权重，从而实现对 Experts 的选择性利用，不同任务对应的门控网络可以学习到不同的Experts 组合 ...

MMoE模型存在以下两方面的缺点，首先，MMoE中所有的Expert是被所有任务所共享的，这可能无法捕捉到任务之间更复杂的关系，从而给部分任务带来一定的噪声；其次，不同的Expert之间也没有交互，联合优化的效果有所折扣。

MMOE（Multi-gate Mixture-of-Experts）是一种多目标学习模型，它的优点在于可以同时处理多个任务，并通过不同的"专家门"学习各任务之间的复杂关系，以提高预测准确度。 但是，是否比单目标模型有效，这并不是一个一定的答案。

MMoE是MTL中一个比较知名的模型结构，MTL的初衷就是将多个单目标模型合为一个多目标模型，这样的好处首先就是节约了资源和维护成本，新增目标也能基于一个backbone快速收敛，同时相关目标之间还可能产生知识的归纳转移。 所以回到MMoE的有效性上来。

MMoE 算法是否可以应用于推荐系统中的召回？ 既然对推荐算法来说，召回和排序有些算法是想通的，为什么同样是深度模型的DSSM已经广泛应用于召回，但是找不到MMoE应用于召回案例？

不使用MMoE行不行，用同样模型容量的share-bottom DNN模型结构，是否可以达到同样的效果，在公众号【播播笔记】回复“mmoe”可在对应3.3.2节查看。 4 相关面试题. MMoE模型结构; MMoE为什么有效，解决什么问题; MMoE在具体使用过程中进行了什么适配调整

问题二：专家退化(Expert Degradation)。在将MMoE升级为CGC之后，问题一有所缓解，但是，发现了另一个专家退化现象(如图3)。展示了一些主要塔的门控机制的平均分数，观察到共享专家几乎对所有任务都没有贡献，而是退化为只属于少数任务的特定专家。

多目标建模目前业内有两种模式，一种叫Shared-Bottom模式，另一种叫MOE，MOE又包含MMOE和OMOE两种。 MMOE也是Google提出的一套多目标学习算法结果，被应用到了Google的内部推荐系统中，接下来分别介绍下这些多目标算法的结构。

比如多任务学习场景（MMOE、PLE）等，即题主所说的mixture of expert这一类的方法 以及需要特征路由的场景，比如针对不同活跃用户的特征路由（让模型自己根据用户的活跃程度选择偏向来自用户的序列建模特征以及一些统计特征）