arXiv cs.AI / cs.LG 最新· Shengze Xu·· 1 天前AI 评分40
MoE 模型中的 Softmax 路由动态：坍缩与恢复
Softmax Routing Dynamics in Mixture-of-Experts Models: Collapse and Recovery
AI 导读
MoE 模型的 Softmax 路由会把概率集中到部分专家、抑制其余专家，该研究追踪这种集中如何形成、为何持续以及被抑制概率如何恢复。在专家输出可自由训练的 square-loss 模型中，每个固定正适应率都会产生内部路由极限，正双侧幂界下恢复时间呈对数或幂律阶。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。