arXiv cs.AI / cs.LG 最新· Yuchi Wang·· 1 天前AI 评分59
RefCraft 基准含 300 个视觉参考网页开发任务，最强模型仅得 52.12 分
RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development
AI 导读
RefCraft 是一个包含 300 个真实多模态网页开发任务的基准，把自然语言指令与 1 到 5 张参考网页截图放在一起。智能体需要自己挑选并使用这些参考，渲染页面、做视觉检查并迭代修改，评分依靠可独立验证的 keypoints 以及程序化判分和 VLM 裁判。在九个前沿（M）LLM 上最强系统总分只有 52.12（满分 100），说明视觉参考条件下的智能体生成在真实网页开发场景中仍是难题。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。