arXiv cs.AI / cs.LG 最新· Zhonghao Jiang·· 1 天前AI 评分52
ExLabel 用自进化 Agent 评估 SWE-bench 类数据集的任务清晰度与测试覆盖
Well-Specified and Well-Tested? Assessing SWE-bench-Style Datasets with a Self-Evolving Agent
AI 导读
论文提出 ExLabel，一个基于 LLM 的自进化助手，用于评估 SWE-bench 类数据集的任务清晰度与测试覆盖。它维护经验库，把跨实例知识沉淀为判断标准并复用来评估新样本，作者还基于清洗后的 SWE-bench 与 Multi-SWE-bench 标注构建了覆盖 8 种语言的 SWE-TQ 基准。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。