arXiv cs.AI / cs.LG 最新· Yijie Hu·· 22 小时前AI 评分46
PatentAgentBench：面向专业专利任务套件的 LLM 智能体基准测试
PatentAgentBench: Benchmarking LLM Agents with Professional Patent Task Suites
AI 导读
PatentAgentBench 是覆盖 510 个实例、8 类专利任务的专业专利基准，用于评测 LLM 智能体在专利工作流中的表现。任务包括新颖性检索、FTO 检索、无效检索、权利要求图表、专利撰写、审查意见答复和专利翻译，检索类任务不提供候选池。在四种 agent harness 下评测七个 LLM 后，现有系统仍在识别新颖性、评估风险和理解从业者意图方面吃力。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。