arXiv cs.AI / cs.LG 最新· Chengxi Li·· 13 小时前AI 评分49
EPIC：用 Exact-KL 前缀重要性比率裁剪重新思考自回归 LLM 策略的信任域
EPIC: Rethinking Trust Regions for Autoregressive LLM Policies via Exact-KL Prefix Importance-Ratio Clipping
AI 导读
EPIC 提出一种 PPO 风格序列裁剪方法，用精确 reverse-KL 坐标 r−1−log r 构建前缀级信任域，直接约束自回归 LLM 策略的生成前缀漂移。在稀疏 MoE 语言模型的 off-policy 强化学习实验中，EPIC 在数学推理基准上稳定优于标准与序列级裁剪基线，并与基于 routing-replay 的方案相当。代码已公开。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。