arXiv cs.AI / cs.LG 最新· Zhennan Wan·· 11 小时前AI 评分55
LongZero：不依赖外部数据，用自生成任务训练 LLM 长上下文推理
LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data
AI 导读
LongZero 是一种让 LLM 在没有任何外部数据的情况下自行提升长上下文推理能力的强化学习方法。模型先以紧凑的结构化形式自写问题、答案和支撑证据，再把证据单独扩展成多文档长上下文，并与自写的多轮检索任务一起用 GRPO 训练。作者在两个 LLM 和五个长上下文推理基准上评测，结果显示该方法能泛化到真实任务，且优于基于外部语料合成数据的 RL 基线。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。