DeepSeek 以 Apache 2.0 开源内部推理框架 DeepInfer，支撑 V4.1-Flash 快速推理
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer，它是让 V4.1-Flash 在规模化部署下快速生成回答的服务端软件。
#部署/工程
#部署/工程
今日 2 条The DecoderAI 评分6969 Hacker News · 高分新帖精选AI 评分8282 Mistral 发布 Voxtral 3 语音模型家族与语音 Agent SDK
Mistral 发布 Voxtral 3 语音模型家族，包含 Small 和 Mini Transcribe 转写模型、Mini TTS 语音合成模型，以及基于 LiveKit 的语音 Agent SDK。
推荐理由：做客服语音机器人的团队可以用这条流式管线替换自建的转写加合成拼接，先把实时通话接起来跑一轮实测。
Hugging Face Blog精选AI 评分7272 PyTorch 2.15 为 MPS 带来 FP8 支持和更快的 LLM 解码
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持，并把解码、softmax 等算子从 MPSGraph 换成专用 Metal kernel。
推荐理由：在 Mac 上跑本地 LLM 的开发者可以装 2.15 RC 试解码提速，前提是 macOS 15 与 Python 3.11 以上。
arXiv cs.AI / cs.LG 最新AI 评分6161 TokenGate 用学习式 token 剪枝让 LLM prefill 更快更省内存
TokenGate 是一个可即插即用的小组件，让已有大模型在长上下文 prefill 阶段做端到端可学习的 token 剪枝。在多项任务上首 token 延迟快 1.4 到 11.3 倍、峰值内存低 1.5 到 3.4 倍且精度不降，相比此前最好的 token 剪枝方法 prefill 最多快 6.4 倍、峰值内存低 2 倍。
arXiv cs.AI / cs.LG 最新AI 评分4949 学习转介：EdgeDRM 实现去中心化联邦学习的推理时协作
summary_zh
arXiv cs.AI / cs.LG 最新AI 评分5959 LatComm 用可复用上下文压缩实现大模型间隐空间通信
Huawei Lin 提出 LatComm，一种把上下文编码与读取分离的隐空间通信接口，让同一段长上下文在多个问题之间复用。冻结的编码模型先把上下文压成固定大小的数据包，另一个冻结的接收模型通过 cross-attention 读取，门控由自身提示词计算。
Hacker News · 高分新帖精选AI 评分8686 Inception Labs 发布扩散 LLM Mercury 3，1M 上下文、每秒 1068 个 token
Inception Labs 发布扩散架构大语言模型 Mercury 3，官方称其基准表现达到或超过 GPT-6 Luna 与 Claude Haiku 5.5，在 NVIDIA GPU 上跑出每秒 1068 个 token。
推荐理由：做语音客服或浏览器 Agent 的团队可用它兼容 OpenAI 的接口替换现有模型，先测 1M 上下文下的端到端延迟。
TechCrunch · AIAI 评分6161 AWS 发布 TorchNeuron，PyTorch 应用改一行配置即可跑在 Trainium 上
AWS 发布开发工具 TorchNeuron，用 PyTorch 编写的 AI 应用改一行配置就能跑在自研芯片 Trainium 上，官方称无需重写代码。该工具改编自 PyTorch，熟悉 PyTorch 的开发者可直接上手，Amazon 称约 85% 的 AI 应用基于 PyTorch 编写。
Hacker News · 高分新帖精选AI 评分7676 Mistral 发布时序基础模型 Timestral，209M 版本在三项基准排名第一
Mistral 发布时序基础模型系列 Timestral，其中 209M 参数版本在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一。
推荐理由：运维团队可以先用 5M 或 28M 版本在 CPU 上对现有传感器数据做零样本预测，再决定是否用 Mistral Forge 微调。
arXiv cs.AI / cs.LG 最新AI 评分4646 RAFT：面向时序图神经网络训练的冗余感知输入过滤框架
RAFT 是一个面向时序图神经网络（TGNN）训练的冗余感知输入过滤框架，通过追踪训练过程中的节点记忆变化识别冗余输入。它用根事件过滤器在训练前剔除部分预测目标，用支撑事件过滤器在采样时排除部分历史上下文。在三种 TGNN 模型和五个数据集上，RAFT 平均减少 35.23%、最高 97.11% 的训练输入，训练时间最多降低 52.56%，模型精度变化可忽略。
arXiv cs.AI / cs.LG 最新AI 评分4747 FlowMaker：从任务到成本高效的生成式 AI 工作流部署
FlowMaker 提供任务级接口，自动为用户挑选由工作流、模型与部署配置组成的工作流变体。其约束引导、负载感知的剪枝算法支持按需快速决策。相比包括 Murakkab 在内的 SOTA 基线，FlowMaker 将 goodput 最高提升 10.14×，成本最高降低 2.77×。
arXiv cs.AI / cs.LG 最新AI 评分5757 论文称 TinyLlama 分词器词表几乎不含 Indic 文字，2048 上下文下卡纳达语可用词数仅 91
arXiv 论文用 131k 句、覆盖 11 种 Indic 文字的语料测试发现，TinyLlama-1.1B 分词器每个拉丁词输出 1.34 个 subword token，每个卡纳达语词要 22.60 个，词表中 Odia 码位占比 0%、Telugu 1%、Kannada 2%。
arXiv cs.AI / cs.LG 最新精选AI 评分6565 Blitz 把 AlphaFold3 与 Boltz-2 的扩散模块从 200 步降到 8 步
Blitz 是一个少步蒸馏框架，将 AlphaFold3 和 Boltz-2 的扩散去噪从约 200 步降到 8 步。它用几何噪声调度把步数更均匀地分配到各噪声尺度，再通过多步一致性训练学习这些更新，推理时用物理引导和无目标候选筛选减轻剩余几何缺陷。
推荐理由：做蛋白质结构预测的团队可以先用它替换默认的200步扩散采样，把推理步数降到8步做候选筛选。
arXiv cs.AI / cs.LG 最新AI 评分3333 基于 YOLOv8n 的香蕉表面甲虫损伤高效检测方法
轻量级 YOLOv8n 框架被用于香蕉表面甲虫损伤检测，在孟加拉国本地市场采集的 2,473 张图像、5,827 个标注实例上取得 77.67% F1 与 87.04% mAP@0.50。
arXiv cs.AI / cs.LG 最新AI 评分4747 SETAREH Transform：一种排序辅助的 Haar 小波稀疏化近似内积计算方法
SETAREH Transform 是一种排序辅助的 Haar 小波稀疏化方法，用于近似计算固定高维系数向量与连续输入向量的内积。该方法对两向量施加相同排列与 Haar 变换，截断前保持内积精确，截断后仅保留部分系数-输入对并引入可控误差。在合成高斯基线及 APPA-REAL 数据集的 CNN 表观年龄估计任务中，它可用显著少于原维度的系数-输入对完成近似。
arXiv cs.AI / cs.LG 最新AI 评分6363 CoTA++ 提出免训练框架，缓解扩散多模态大模型近似缓存的重复诅咒
arXiv 论文提出 CoTA++，一个免训练、即插即用的框架，用于缓解扩散多模态大模型（dMLLMs）用近似缓存解码时出现的重复诅咒，即回复在相邻位置重复同一 token 导致句子断裂。
Hugging Face Blog精选AI 评分7575 Reflection 发布 501B 开源模型 Beam，Apache 2.0 许可、1M 上下文
Reflection 发布其首个开源模型 Beam，501B 参数的 MoE 架构，每个 token 激活 23B，支持 1M token 上下文窗口，采用 Apache 2.0 许可，主攻编码与 Agent 场景。
推荐理由：需要自建推理的团队可以先用 vLLM 或 SGLang 起 NVFP4 版本，四张 B200 就能跑长上下文服务。
arXiv cs.AI / cs.LG 最新AI 评分6363 LEASH：按潜在不确定性升级并监督 computer-use agent 的免训练框架
LEASH 是一个免训练框架，让弱模型默认执行 computer-use 任务，仅在其潜在不确定性升高时才把控制权交给强模型，交接后继续监督。它复用动作生成时已有的激活值，与历史成功和失败轨迹比对来判断不确定性，无需额外前向或专门训练监控器。
Hugging Face Blog精选AI 评分7777 Sentence Transformers v6.0 新增 MultiVectorEncoder，给出多向量检索模型微调完整流程
Sentence Transformers v6.0 新增 MultiVectorEncoder，用于 ColBERT 式 late interaction 检索，并提供从数据、损失函数到训练器的完整微调流程。
推荐理由：做医疗、法律等垂直检索的团队可以照脚本用自有问答对微调多向量模型，单张 RTX 3090 跑十几个小时，前提是先备好问答对数据。
Hugging Face BlogAI 评分5959 Multiverse Computing 提出量化感知修复 QAH，4-bit 模型在 7/9 基准超过全精度版本
Multiverse Computing 发表论文提出量化感知修复 QAH，在模型结构压缩并量化之后直接从原始全精度大模型蒸馏，而非从已恢复的 bfloat16 检查点蒸馏。
Hugging Face Blog精选AI 评分6868 NVIDIA 开源 Magpie TTS 多语言模型扩展至 12 种语言
NVIDIA 在 Hugging Face 发布 Magpie TTS Multilingual 开源权重模型，364M 参数，覆盖 12 种语言，本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语。
推荐理由：做多语言语音客服的团队可以拉取这套 364M 开源权重，在自有 GPU 上实测首字延迟，再用 NeMo 微调自家发音。
Hugging Face BlogAI 评分3838 Baseten 加入 Hugging Face Inference Providers
Baseten 已成为 Hugging Face Hub 支持的 Inference Provider，初期在 Hub 上支持对话与文本生成任务，可调用 Kimi K3、DeepSeek V4 Flash、GLM-5.2 等开放权重模型。
Hugging Face Blog精选AI 评分6666 NVIDIA 发布 Cosmos-H-Dreams 实时手术机器人生成式仿真器
NVIDIA 发布 Cosmos-H-Dreams，这是面向手术机器人的动作条件化实时生成式仿真器，把 Cosmos-H-Surgical-Simulator 蒸馏为少步因果学生模型，经 FlashDreams 在单张 RTX PRO 6000 上达到约 160 帧每秒。
推荐理由：做手术机器人策略研究的团队可以用它把真机试错搬到单卡实时仿真里，先跑通闭环评估和失败样本生成再上硬件。
Hugging Face Blog精选AI 评分7676 Diffusers 原生集成 Nunchaku Lite，4-bit 扩散模型可直接 from_pretrained 加载
Diffusers 现在可以原生加载 Nunchaku Lite 的 4-bit 量化 checkpoint，无需自定义 pipeline 或单独推理引擎，调用 from_pretrained() 即可。
推荐理由：手上只有消费级显卡的开发者可以直接加载预量化权重跑通文生图，验证效果后再考虑用工具包量化自己的模型。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 与 3.5 Flash Cyber
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite，以及面向代码安全的 3.5 Flash Cyber。
推荐理由：做生产级 Agent 的开发者可先用 3.6 Flash 压降单任务 token 成本，再用 Flash-Lite 承接高吞吐的检索与文档处理。
Google Research精选AI 评分6565 Google 提出线性弹性缓存，在 Spanner 上降低约 5% 缓存总成本
Google Research 提出线性弹性缓存（linear elastic caching），把缓存页面驱逐建模为滑雪租赁问题，按访问模式动态为页面设定 TTL，而非固定分配内存。
推荐理由：云服务团队可以参照这套用决策树预测页面 TTL 的弹性缓存方法，先在自家缓存层做分组对照，再评估是否替换固定容量方案。
Google DeepMind精选AI 评分8181 Google DeepMind 发布实验性开源模型 DiffusionGemma，文本生成最高提速 4 倍
Google DeepMind 发布实验性开源模型 DiffusionGemma，改用文本扩散并行生成，单张 GPU 上推理速度最高提升 4 倍。它是 26B MoE 模型，推理时激活 3.8B 参数，量化后可放进 18GB 显存，H100 上超过 1000 tokens/s，RTX 5090 上超过 700 tokens/s。
推荐理由：本地部署的开发者可以用它在单张消费级 GPU 上做内联编辑和快速迭代，但产出质量要求高时仍应切回 Gemma 4。