热点事件观察中
研究 MoE Softmax 路由坍缩与恢复机制
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026年10月29日，arXiv（cs.AI / cs.LG）发布的一篇研究关注 MoE（混合专家）模型中的 Softmax 路由动态。研究指出，Softmax 路由会把概率集中到部分专家，并抑制其余专家；论文追踪这种集中如何形成、为何持续，以及被抑制的概率如何恢复。在专家输出可自由训练的 square-loss 模型中，研究给出的结论是：每个固定的正适应率都会产生内部路由极限；在正双侧幂界下，恢复时间呈对数阶或幂律阶。目前该工作以单篇预印本形式呈现，报道未涉及更多实验规模或其他模型设定下的细节。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- arXiv cs.AI / cs.LG 最新MoE 模型中的 Softmax 路由动态：坍缩与恢复
MoE 模型的 Softmax 路由会把概率集中到部分专家、抑制其余专家，该研究追踪这种集中如何形成、为何持续以及被抑制概率如何恢复。在专家输出可自由训练的 square-loss 模型中，每个固定正适应率都会产生内部路由极限，正双侧幂界下恢复时间呈对数或幂律阶。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。