PyTorch 2.15 为 MPS 带来 FP8 支持和更快的 LLM 解码
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并把解码、softmax 等算子从 MPSGraph 换成专用 Metal kernel。
推荐理由:在 Mac 上跑本地 LLM 的开发者可以装 2.15 RC 试解码提速,前提是 macOS 15 与 Python 3.11 以上。
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并把解码、softmax 等算子从 MPSGraph 换成专用 Metal kernel。
推荐理由:在 Mac 上跑本地 LLM 的开发者可以装 2.15 RC 试解码提速,前提是 macOS 15 与 Python 3.11 以上。
Apertus 1.5 在 8B 和 70B 两个规模上加入图像与音频理解、可选 thinking 模式,上下文窗口扩展到 262,144 tokens,是 1.0 的四倍。
推荐理由:想在本地跑多模态的团队可先下 8B 权重微调,注意模型只输出文本,图像和语音仅作输入。
Google DeepMind 开始大范围推送 Gemini 4 Argon,并同步发布安全与安全防护报告。该模型在编码、金融、法律、网络安全和科学等复杂任务上能力提升,网络安全防御达到前沿水平,在 12 个端到端模拟网络攻击场景中全部通关,上一代为 5 个。
推荐理由:做 Agent 产品的团队可以参照它的三层实时防护和提示注入测试,给工具调用链路补上输入筛查与过程监控。
Google 发布前沿模型 Gemini 4 Argon,当天通过 AI Studio 和 Gemini API 向开发者与企业开放,Gemini app 与搜索 AI Mode 面向 Ultra 和 Pro 订阅用户上线。
推荐理由:开发者可先在 AI Studio 付费 API 上重跑自家代码库重构任务,按 2 美元/百万输入 token 估成本再决定迁移。
GPT-6 Astra Ultrafast 已在 OpenAI API 上线,并向符合条件的 ChatGPT Work 和 Codex 用户开放,借助 NVIDIA Blackwell GPU 的推理优化,token 生成速度最高可达 Astra Standard 模式的 8 倍。
推荐理由:运行编码智能体的团队可以在 API 里切换到 Ultrafast 模式,缩短工具调用之间的等待,接入和价格需查官方指南。
Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind 计划向一批可信网络安全防御者开放,之后再逐步推向开发者、企业和消费者。
推荐理由:企业安全团队可先申请 Fairwind 计划或等付费 API 开放,用它在自有代码库做漏洞发现与修复的初筛。
Google DeepMind 发布 Gemini 3.8 Flash 和面向安全防御者的 Gemini 3.8 Flash Cyber,延续 3.7 Flash 的价格,每百万输入 token 0.75 美元、输出 token 3.75 美元。
推荐理由:开发者可在 Gemini API 中用它跑长周期编码与智能体任务,先用低 effort 档位控制 token 成本。
IBM Granite 团队发布 Granite 4.2 系列推理模型,含 3B、8B、30B 三个稠密尺寸,采用 Apache 2.0 许可,均由 Granite-4.1 base 后训练而来。
推荐理由:想在本地跑代码智能体的团队,可用 vLLM 起一个 OpenAI 兼容端点,把 Granite 4.2 30B 接进 OpenHands 或 OpenCode 试任务。
Multiverse Computing 发表论文提出量化感知修复 QAH,在模型结构压缩并量化之后直接从原始全精度大模型蒸馏,而非从已恢复的 bfloat16 检查点蒸馏。