HarnessPro 用 Pareto 优化做递归 harness 自改进,兼顾性能与成本
HarnessPro 是一个不需要标注数据的 harness 自改进方法,目标是在提升 Agent 任务表现的同时降低执行成本。它用 LLM 生成的测试评估候选 harness,不依赖标准答案或官方测试;专用 Agent 诊断执行轨迹,按不同的性能成本优先级规划更新,再用归一化加权平方距离选出偏成本、均衡、偏性能三档,对应不同的部署预算。
HarnessPro 是一个不需要标注数据的 harness 自改进方法,目标是在提升 Agent 任务表现的同时降低执行成本。它用 LLM 生成的测试评估候选 harness,不依赖标准答案或官方测试;专用 Agent 诊断执行轨迹,按不同的性能成本优先级规划更新,再用归一化加权平方距离选出偏成本、均衡、偏性能三档,对应不同的部署预算。
RefCraft 是一个包含 300 个真实多模态网页开发任务的基准,把自然语言指令与 1 到 5 张参考网页截图放在一起。智能体需要自己挑选并使用这些参考,渲染页面、做视觉检查并迭代修改,评分依靠可独立验证的 keypoints 以及程序化判分和 VLM 裁判。在九个前沿(M)LLM 上最强系统总分只有 52.12(满分 100),说明视觉参考条件下的智能体生成在真实网页开发场景中仍是难题。
GitHub Copilot 已于 10 月 19 日在多数体验中弃用 Gemini 3.7 Flash、GPT-5.5、GPT-5.4、GPT-5.4 mini、GPT-5 mini 和 Grok 4.5 六款模型,涉及 Copilot Chat、inline edits、ask 与 agent 模式及代码补全。
MiniMax 正式发布 M3.1 Flash,官方称其在线推理速度提升近 3 倍、使用成本降低 70%,面向智能体任务、编码、Computer Use 和网络安全。
推荐理由:做 Agent 与编码自动化的团队可把长链工具调用任务迁到 MiniMax API 的 M3.1 Flash,按每百万 token 输入 $0.15 估算成本。
arXiv 论文提出 PatternBench,用于评测编译器优化之后仍残留的 LLM 代码优化空间。该基准覆盖七类变换,在运行时测量之外加入基于 AST 的优化忠实性分析,检查生成程序是否真正实现了目标优化。
论文提出 utility-verified abstraction(UVA),训练本地代码 Agent 在向云端强模型咨询时用角色和类型描述私有实体,同时保留专家所需的技术细节。
Reflection 发布其首个开源模型 Beam,501B 参数的 MoE 架构,每个 token 激活 23B,支持 1M token 上下文窗口,采用 Apache 2.0 许可,主攻编码与 Agent 场景。
推荐理由:需要自建推理的团队可以先用 vLLM 或 SGLang 起 NVFP4 版本,四张 B200 就能跑长上下文服务。
研究在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上评测基于 Codex 的编码智能体,仅改一条提示词指令即提升前两者平均得分。但该智能体仍低于 ARC-AGI-3 专用参考方案,即便搭配 GPT-5.6-sol;把重置决策交给脚本控制器可追回部分优势。
Google 发布前沿模型 Gemini 4 Argon,当天通过 AI Studio 和 Gemini API 向开发者与企业开放,Gemini app 与搜索 AI Mode 面向 Ultra 和 Pro 订阅用户上线。
推荐理由:开发者可先在 AI Studio 付费 API 上重跑自家代码库重构任务,按 2 美元/百万输入 token 估成本再决定迁移。
GitHub 发布与 Microsoft Applied Sciences 共建的 ModernBERT 微调分类器,把推送保护从有固定前缀的凭证扩展到没有格式规律的非结构化密钥。
推荐理由:使用 Copilot CLI 的团队可先跑一遍 /security-review,让新分类器在推送前拦下硬编码密码。
Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind 计划向一批可信网络安全防御者开放,之后再逐步推向开发者、企业和消费者。
推荐理由:企业安全团队可先申请 Fairwind 计划或等付费 API 开放,用它在自有代码库做漏洞发现与修复的初筛。
Google 启动 Fairwind Program,限量向政府机构、关键基础设施运营商和安全合作伙伴开放 Gemini 3.8 Flash Cyber 与 CodeMender 组合。
Google DeepMind 发布 Gemini 3.8 Flash 和面向安全防御者的 Gemini 3.8 Flash Cyber,延续 3.7 Flash 的价格,每百万输入 token 0.75 美元、输出 token 3.75 美元。
推荐理由:开发者可在 Gemini API 中用它跑长周期编码与智能体任务,先用低 effort 档位控制 token 成本。
IBM Granite 团队发布 Granite 4.2 系列推理模型,含 3B、8B、30B 三个稠密尺寸,采用 Apache 2.0 许可,均由 Granite-4.1 base 后训练而来。
推荐理由:想在本地跑代码智能体的团队,可用 vLLM 起一个 OpenAI 兼容端点,把 Granite 4.2 30B 接进 OpenHands 或 OpenCode 试任务。
Google DeepMind 发布 Gemini 3.7 Flash,称其为面向编码与 Agent 的最强主力模型,距 Gemini 3.6 Flash 仅三周。
推荐理由:开发者可在 Gemini API 或 AI Studio 中接入 3.7 Flash,跑调试、代码生成和多步骤工具调用任务。
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite,以及面向代码安全的 3.5 Flash Cyber。
推荐理由:做生产级 Agent 的开发者可先用 3.6 Flash 压降单任务 token 成本,再用 Flash-Lite 承接高吞吐的检索与文档处理。
Google DeepMind 发布 Gemini 3.5 模型系列,首个上线的是 3.5 Flash,已在 Gemini 应用、搜索 AI Mode、Gemini API、Google AI Studio、Android Studio 和 Google Antigravity 中可用。
推荐理由:开发者可在 Google Antigravity 或 Gemini API 里调用 3.5 Flash,先替自己跑一遍长周期编码和多步 Agent 任务,再人工复核结果。
Google Research 在 ICLR 论文中提出智能体记忆框架 ReasoningBank,把成功和失败轨迹都蒸馏成结构化记忆,供智能体在测试时自我进化。
推荐理由:做长任务智能体的团队可以参考论文把成功与失败轨迹都蒸馏成记忆条目,先对照开源代码在自有基准上跑一轮对比。