跳到正文

#多模态

今日 0 条
10月15日周四
10月8日周四
10月7日周三
  1. Google DeepMind81

    Google DeepMind 发布 EmbeddingGemma 2,740M 参数端侧多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、Apache 2.0 许可的开源多模态嵌入模型,把文本、图像、视频和音频映射到同一嵌入空间。

    推荐理由:做端侧搜索或本地 RAG 的开发者可以先在 Hugging Face 拉权重,用 Ollama 或 transformers.js 跑通文本嵌入,再决定是否加视觉音频编码器。

10月1日周四
9月21日周一
8月28日周五
8月18日周二
8月17日周一
8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布手语转文字模型 SL2T,Pixel 11 的 Gboard 与 Live Transcribe 首发支持 ASL

    Google DeepMind 发布多语言手语转文字模型 SL2T,把手语动作直接翻译成流式文本,首批落地在 Pixel 11 的 Gboard 和 Live Transcribe 上,目前支持美国手语(ASL)转英文,用户可手语搜索、写消息或让 Gemini 执行任务。

    推荐理由:无障碍、输入法和会议转写产品可参考它的端侧姿态点方案,先在本地提取关键点再送服务器翻译,减少原始视频外传。

8月10日周一
  1. Hugging Face Blog76

    Meta 发布 30B 多模态模型 Muse Glimmer 并开源,主打本地智能体场景

    Meta 发布 30B 参数的多模态模型 Muse Glimmer,采用 Apache 2.0 许可证,面向本地智能体场景。模型由 2B 的 Perception Encoder 视觉编码器和 28B 文本解码器组成,支持图像与视频问答、多模态工具调用和目标检测,另附可选的 DFlash 推测解码草稿模型。

    推荐理由:想在本地跑智能体的开发者可用 transformers 或 llama.cpp 直接加载 30B 权重,先验证编码与工具调用场景。

7月30日周四
  1. Google DeepMind68

    Google DeepMind 发布 Gemini Robotics ER 2,支持视频理解、任务编排与多机器人协作

    Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2,作为机器人的高层大脑负责对话、多步任务规划与工具调用,再把动作执行交给下层 VLA 模型。

    推荐理由:机器人开发者可通过 Gemini API 调用 ER 2,把 VLA 模型和导航 API 声明为工具,配合 GitHub 示例跑通取物流程。

7月1日周三
  1. Google DeepMind82

    Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash

    Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash 两款生成模型。Nano Banana 2 Lite(gemini-3.1-flash-lite-image)4 秒生成一张图,每张 1K 图片 $0.034,已上线 Gemini API、AI Studio 并接入搜索、Gemini app 等消费级产品。

    推荐理由:做电商或室内设计素材的团队可先在 AI Studio 用 Nano Banana 2 Lite 低成本出图,再串联 Omni Flash 转成短视频打样。

6月9日周二
  1. Google DeepMind83

    Google DeepMind 发布 Gemma 4 12B 无独立编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款不设独立编码器的统一多模态模型,视觉和音频输入直接流入 LLM 主干。它是其首个支持原生音频输入的中等规模模型,定位在 E4B 与 26B MoE 之间,基准表现接近 26B 模型,16GB 显存或统一内存的笔记本即可本地运行。

    推荐理由:开发者可在 16GB 显存的笔记本上用 Ollama 或 LM Studio 本地跑它,做多模态和 Agent 原型验证。

5月18日周一
  1. Google DeepMind59

    Project Genie 接入 Street View 实景生成,向全球 Google AI Ultra 订阅者开放

    Google DeepMind 为实验性原型 Project Genie 加入 Street View 实景锚定能力,可把生成的可交互世界绑定到真实地点。用户在美国地图上选点、挑风格(Ocean World、Desert Sands、Stone Age、B&W film 等)并描述角色后,Genie 会生成以该地点为起点的可探索场景,目前仅支持美国境内地点。