arXiv cs.AI / cs.LG 最新· Guanzhi Deng·· 18 小时前AI 评分53
论文用 MoE 专家路由做过程监督，提出 RoCo-Rethink 与 RoCo-PRM
A Strong MoE Is All You Need for Process Supervision
AI 导读
论文提出把 MoE 模型的专家路由统计当作过程监督信号，并据此构建两种方法。RoCo-Rethink 综合整体路由权重、head 路由权重与步内路由变化得到路由置信度，定位最不自信的推理步骤后只重新生成后续轨迹；RoCo-PRM 用强 MoE 自动为推理轨迹打步级分数，再蒸馏成独立的 PRM。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。