BrainLoRA：把参数高效微调扩展到 104B 参数的多模态脑编码模型
研究提出 BrainLoRA，用 LoRA 加轻量 readout 对最高 104B 参数的多模态主干做参数高效微调，在 9 个多模态主干上均提升脑编码性能。在与此前 SOTA 相同的 Qwen3-Omni 主干上，该方法取得 Algonauts 2025 挑战赛已发表最佳成绩。
#多模态
#多模态
今日 0 条arXiv cs.AI / cs.LG 最新AI 评分4545 arXiv cs.AI / cs.LG 最新AI 评分5959 RefCraft 基准含 300 个视觉参考网页开发任务，最强模型仅得 52.12 分
RefCraft 是一个包含 300 个真实多模态网页开发任务的基准，把自然语言指令与 1 到 5 张参考网页截图放在一起。智能体需要自己挑选并使用这些参考，渲染页面、做视觉检查并迭代修改，评分依靠可独立验证的 keypoints 以及程序化判分和 VLM 裁判。在九个前沿（M）LLM 上最强系统总分只有 52.12（满分 100），说明视觉参考条件下的智能体生成在真实网页开发场景中仍是难题。
arXiv cs.AI / cs.LG 最新AI 评分6060 Agima 训练框架让智能体先想象行动后果再决策
研究者提出 Agentic Imagination（Agima）训练框架，用单个 omni 模型先提出动作、生成动作结果的图像，再在这些想象出的未来上推理，决定实际执行哪一步。
arXiv cs.AI / cs.LG 最新AI 评分4646 VAG：视觉可归因的在线自蒸馏强化学习
研究提出 Visual-Attribution Gating（VAG），通过对比有证据与证据退化的教师视图来过滤特权纠正，抑制视觉推理在线自蒸馏中的「特权校正污染」。VAG 以验证器导出的 advantage 为优化锚点，只采纳被视觉对比方向性支持的 token 级纠正。在六个视觉推理 benchmark 上，其平均性能优于 GRPO 和 OPSD，达到新的 SOTA。
arXiv cs.AI / cs.LG 最新AI 评分6363 arXiv 论文提出 Halcyon 系列文本生图模型，从零预训练不依赖语言模型
arXiv 论文提出 Halcyon 系列早期融合多模态自回归模型，完全从零在 1 亿图文对数据集 GPIC 上预训练，说明强文本生图系统不必依赖互联网规模的语言预训练。
The DecoderAI 评分7373 可灵（Kling）发布 4.0 版本，新增立体声与十多种语言口型同步并推出 Flash 轻量版
Kling AI 发布视频生成模型 4.0，单次可生成长达 30 秒的视频，提示词理解扩展到 8,000 tokens。升级后的 Omni Reference 一次最多接受 15 个参考素材，包含 10 张图片、合计最长 30 秒的 5 段视频和 7 个元素，并新增双声道立体声与覆盖德语、英语、日语、韩语、西班牙语等十多种语言的口型同步。
arXiv cs.AI / cs.LG 最新AI 评分5858 DialogMem 基准：评测 3D 环境中对话与物体绑定的具身记忆
DialogMem 是一个两阶段基准，让智能体用时间对齐的 RGB-D 观测流与对话构建记忆，再用于实例级物体导航和问答。它包含 27 个真实 3D 场景的 142 个 episode、14,193 条 QA 对和 11,890 条导航指令。
arXiv cs.AI / cs.LG 最新AI 评分4545 我们是否在正确评估 VLM token 剪枝？PAA-Bench 主张超越准确率与 token 数量
PAA-Bench 提出一套可插拔的评测框架，用来检验 VLM 视觉 token 剪枝是否真正选中关键 token 并转化为实际加速，而不是只看聚合准确率与保留 token 数。
arXiv cs.AI / cs.LG 最新AI 评分6161 MobileInject：面向 MLLM 移动智能体的跨模态注入安全评测基准
论文提出 MobileInject，一个评估 MLLM 移动智能体多模态注入与推理到行动安全风险的评测基准，覆盖 11 个场景、9 类安全风险和 108 个可执行风险实例。它引入跨模态一致性注入，并给出多角色协作欺骗与推理伪装注入两种增强攻击方法，配套推理安全诊断框架做细粒度失败分析。系统实验显示移动智能体普遍易受多模态注入影响，不少失败源于早期阶段的推理被劫持。
arXiv cs.AI / cs.LG 最新AI 评分4848 Spatial-TRM：用递归细化预测空间上下文区域
Spatial-TRM 用冻结的视觉语言特征配合权重共享的递归推理完成空间上下文预测，可训练参数仅 11.2M。在 RoboSpatial-Home 基准上，其上下文准确率为 29.51%，比同等参数量的单步模型高 9.02 个百分点（相对提升 44.0%）。模型支持 6 种空间关系、3 种参考系和开放词表锚点物体，含冻结编码器共 877.8M 参数。
arXiv cs.AI / cs.LG 最新AI 评分6363 CoTA++ 提出免训练框架，缓解扩散多模态大模型近似缓存的重复诅咒
arXiv 论文提出 CoTA++，一个免训练、即插即用的框架，用于缓解扩散多模态大模型（dMLLMs）用近似缓存解码时出现的重复诅咒，即回复在相邻位置重复同一 token 导致句子断裂。
arXiv cs.AI / cs.LG 最新AI 评分6464 NestedVLA 用嵌套超网络为 VLA 模型生成任务自适应参数
NestedVLA 提出用参数生成替代参数聚合，由一个以目标任务为条件的嵌套超网络合成任务自适应的动作专家参数，与冻结的基座 VLA 组合，任务专属的压缩 VLM 残差单独保留。
arXiv cs.AI / cs.LG 最新AI 评分6262 论文提出反事实配对循环，用于评测视觉语言模型的关系型 OOD 错误
Yibo Zhou 的论文提出反事实配对循环，一种在同一对比两侧复用相同两张图和两条描述、只改变图文配对的评测方法，使仅图像、仅文本和加性组件捷径在有限样本中精确抵消。
arXiv cs.AI / cs.LG 最新AI 评分5252 Twice Upon a Time：用线图与归一化延迟嵌入双视图提升时序推理
arXiv 论文提出互补表示这一时序推理设计原则，让时序语言模型同时接收两种视觉视图：保留绝对测量值和观测坐标系的折线图，以及对正幅度缩放和偏移不敏感的归一化延迟嵌入。
Hugging Face Blog精选AI 评分7474 Apertus 1.5 发布 8B 与 70B 版本，支持图像音频理解与 262k 上下文
Apertus 1.5 在 8B 和 70B 两个规模上加入图像与音频理解、可选 thinking 模式，上下文窗口扩展到 262,144 tokens，是 1.0 的四倍。
推荐理由：想在本地跑多模态的团队可先下 8B 权重微调，注意模型只输出文本，图像和语音仅作输入。
OpenAI NewsAI 评分2323 Pollo AI 借助 OpenAI 将创意想法转化为营销活动
Pollo AI 借助 OpenAI 的 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5，帮助创作者将大胆创意转化为细节丰富的图像和电影感视频广告。其用途是推动创意想法落地为营销活动。
Google DeepMind精选AI 评分8181 Google DeepMind 发布 EmbeddingGemma 2，740M 参数端侧多模态嵌入模型
Google DeepMind 发布 EmbeddingGemma 2，一个 740M 参数、Apache 2.0 许可的开源多模态嵌入模型，把文本、图像、视频和音频映射到同一嵌入空间。
推荐理由：做端侧搜索或本地 RAG 的开发者可以先在 Hugging Face 拉权重，用 Ollama 或 transformers.js 跑通文本嵌入，再决定是否加视觉音频编码器。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 4 Argon，输出上限提升至 1M tokens
Google DeepMind 发布前沿模型 Gemini 4 Argon，先通过 Fairwind 计划向一批可信网络安全防御者开放，之后再逐步推向开发者、企业和消费者。
推荐理由：企业安全团队可先申请 Fairwind 计划或等付费 API 开放，用它在自有代码库做漏洞发现与修复的初筛。
OpenAI NewsAI 评分3030 Higgsfield AI 借助 GPT-6 Astra 一天内上线新视频功能
Higgsfield AI 借助 GPT-6 Astra 在一天内上线了新的视频功能。这些功能面向小微企业，让视频广告制作变得更简单。Higgsfield AI 也能借此更快将新的创意工具推向市场。
Google DeepMind精选AI 评分7474 Google 发布 Gemini Omni 1.1 Flash，新增场景延展与首尾帧插值
Google DeepMind 推出 Gemini Omni 1.1 Flash，面向开发者提供更强的生成视频控制能力，已通过 Google AI Studio 的 Gemini API 提供。
推荐理由：开发者可用 Gemini API 先出 360p 草稿验证分镜，再对选定镜头做 4K 放大。
Google ResearchAI 评分5656 Google Research 提出 PhotoScan，用手机照片估算体成分预测胰岛素抵抗
Google Research 提出 PhotoScan，用普通 2D 手机照片估算体脂率、腹部与臀部脂肪比和内脏与皮下脂肪比，用于预测胰岛素抵抗。模型先在 UK Biobank 的 35323 份记录上预训练，再用 677 人的真实手机照片微调，并在 132 人独立队列中验证。
Google DeepMind精选AI 评分7171 Google DeepMind 发布手语转文字模型 SL2T，Pixel 11 的 Gboard 与 Live Transcribe 首发支持 ASL
Google DeepMind 发布多语言手语转文字模型 SL2T，把手语动作直接翻译成流式文本，首批落地在 Pixel 11 的 Gboard 和 Live Transcribe 上，目前支持美国手语（ASL）转英文，用户可手语搜索、写消息或让 Gemini 执行任务。
推荐理由：无障碍、输入法和会议转写产品可参考它的端侧姿态点方案，先在本地提取关键点再送服务器翻译，减少原始视频外传。
Google Research精选AI 评分7575 Google Research 发布 AMIE (Video)，支持实时视频问诊并引导体格检查
Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 实现实时视频问诊，可观察非语言线索、引导虚拟体格检查并同步推理诊断。
推荐理由：做医疗 AI 或远程问诊的团队可以借鉴它的三智能体异步分工，把实时对话与后台推理拆开再搭视频问诊原型。
Hugging Face Blog精选AI 评分7676 Meta 发布 30B 多模态模型 Muse Glimmer 并开源，主打本地智能体场景
Meta 发布 30B 参数的多模态模型 Muse Glimmer，采用 Apache 2.0 许可证，面向本地智能体场景。模型由 2B 的 Perception Encoder 视觉编码器和 28B 文本解码器组成，支持图像与视频问答、多模态工具调用和目标检测，另附可选的 DFlash 推测解码草稿模型。
推荐理由：想在本地跑智能体的开发者可用 transformers 或 llama.cpp 直接加载 30B 权重，先验证编码与工具调用场景。
Google DeepMind精选AI 评分6868 Google DeepMind 发布 Gemini Robotics ER 2，支持视频理解、任务编排与多机器人协作
Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2，作为机器人的高层大脑负责对话、多步任务规划与工具调用，再把动作执行交给下层 VLA 模型。
推荐理由：机器人开发者可通过 Gemini API 调用 ER 2，把 VLA 模型和导航 API 声明为工具，配合 GitHub 示例跑通取物流程。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash
Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash 两款生成模型。Nano Banana 2 Lite（gemini-3.1-flash-lite-image）4 秒生成一张图，每张 1K 图片 $0.034，已上线 Gemini API、AI Studio 并接入搜索、Gemini app 等消费级产品。
推荐理由：做电商或室内设计素材的团队可先在 AI Studio 用 Nano Banana 2 Lite 低成本出图，再串联 Omni Flash 转成短视频打样。
Google DeepMind精选AI 评分8383 Google DeepMind 发布 Gemma 4 12B 无独立编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款不设独立编码器的统一多模态模型，视觉和音频输入直接流入 LLM 主干。它是其首个支持原生音频输入的中等规模模型，定位在 E4B 与 26B MoE 之间，基准表现接近 26B 模型，16GB 显存或统一内存的笔记本即可本地运行。
推荐理由：开发者可在 16GB 显存的笔记本上用 Ollama 或 LM Studio 本地跑它，做多模态和 Agent 原型验证。
Google DeepMindAI 评分5959 Project Genie 接入 Street View 实景生成，向全球 Google AI Ultra 订阅者开放
Google DeepMind 为实验性原型 Project Genie 加入 Street View 实景锚定能力，可把生成的可交互世界绑定到真实地点。用户在美国地图上选点、挑风格（Ocean World、Desert Sands、Stone Age、B&W film 等）并描述角色后，Genie 会生成以该地点为起点的可探索场景，目前仅支持美国境内地点。
Google DeepMind精选AI 评分8787 Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash
Google DeepMind 发布 Gemini Omni 模型系列，首个模型 Gemini Omni Flash 已在 Gemini app、Google Flow 和 YouTube Shorts 上线。
推荐理由：短视频创作者可以在 YouTube Shorts 里用它按提示词生成视频，再逐轮改写动作和环境，替代素材拼接的第一轮草稿。