重新思考现代 MoE 的路由探索：MirrorMoE 如何缓解探索困境

MirrorMoE 通过 token 自适应抑制不必要专家来缩小路由探索空间，以缓解现代 MoE 中共享专家与细粒度专家分割之间的探索困境。共享专家会降低 token 表示可变性，而细粒度分割又组合式扩大路由空间，二者形成探索矛盾。在多个模型规模上，MirrorMoE 均持续提升性能。