deepsense.ai 提出评估 Agent 系统的四层框架与上线检查清单
deepsense.ai 提出一套评估 Agent 系统的四层框架,覆盖数据集、执行环境、行为验证和指标。它要求每个用例多次运行并以 pass^k 而非 pass@k 作为上线门槛,检查工具选择、调用顺序和失败处理等轨迹,而不只看最终答案。
deepsense.ai 提出一套评估 Agent 系统的四层框架,覆盖数据集、执行环境、行为验证和指标。它要求每个用例多次运行并以 pass^k 而非 pass@k 作为上线门槛,检查工具选择、调用顺序和失败处理等轨迹,而不只看最终答案。
Chalk 是面向系统设计概念的交互式实验室,缓存淘汰示例用“炉边石板”类比演示淘汰策略。它用 10 个固定茶摊请求和 5 种淘汰规则展示命中率如何随策略变化。真实系统会从浏览器、CDN、应用层到数据库分层缓存,命中率取决于动态访问模式。
Lean Rada 提出一种利用 document.currentScript 属性的内联渲染技巧:在脚本中定义 `$=(...n)=>document.currentScript.replaceWith(...n)`,就能得到一个极简模板语言,把当前 script 元素直接替换成传入的内容。Simon Willison 在 Link Blog 中分享了这个做法。
用 Python 3.15 内置的 profiling.sampling 剖析未修改的 web-edit 应用,发现混合行尾保留主导了编辑负载:`preserve_endings` 出现在 64.8% 的 15,296 个 CPU 栈中,`SequenceMatcher.find_longest_match` 占 38.3% 的叶子样本。
AI 正在改变开发者工作,GitHub 建议开发者强化指挥 AI 智能体、审查 AI 输出和用 AI 解决更大问题三项技能。文中提到,GitHub Copilot 内置的 Rubber Duck agent 会用第二个模型评审计划、代码和测试,帮助发现第一个模型可能遗漏的问题。
Sentence Transformers v6.0 新增 MultiVectorEncoder,用于 ColBERT 式 late interaction 检索,并提供从数据、损失函数到训练器的完整微调流程。
推荐理由:做医疗、法律等垂直检索的团队可以照脚本用自有问答对微调多向量模型,单张 RTX 3090 跑十几个小时,前提是先备好问答对数据。
Google DeepMind 介绍爱丁堡大学团队借助 Co-Scientist 推进代谢功能障碍相关脂肪性肝炎(MASH)的机制研究。该系统综合肝生物学与药理学证据,指出值得关注的机制,并提出可供团队测试的候选组合疗法。