跳到正文

#端侧

今日 0 条
10月19日周一
10月18日周日
  1. arXiv cs.AI / cs.LG 最新66

    研究者提出在手机 NPU 上做一阶 LoRA 训练的系统

    论文提出一套在手机 NPU 上完成一阶 LoRA 训练的系统,把前向、激活重算和输入梯度三处冻结权重乘法都交给 NPU,训练图、适配器与优化器留在 CPU。输入梯度核复用常驻权重分块和前向反量化器,省去转置权重拷贝;精度按梯度敏感度选择,FP16 输出加逐行范围保护,并支持断点续训和温控节流,可当后台任务运行。

    推荐理由:做端侧个性化微调的团队可以参考它在 NPU 跑冻结权重、CPU 跑适配器的分工,评估骁龙平台的可行性。

10月16日周五
  1. arXiv cs.AI / cs.LG 最新47

    SETAREH Transform:一种排序辅助的 Haar 小波稀疏化近似内积计算方法

    SETAREH Transform 是一种排序辅助的 Haar 小波稀疏化方法,用于近似计算固定高维系数向量与连续输入向量的内积。该方法对两向量施加相同排列与 Haar 变换,截断前保持内积精确,截断后仅保留部分系数-输入对并引入可控误差。在合成高斯基线及 APPA-REAL 数据集的 CNN 表观年龄估计任务中,它可用显著少于原维度的系数-输入对完成近似。

  2. arXiv cs.AI / cs.LG 最新56

    arXiv 论文提出用模型分歧指导弱模型到强模型的路由

    这篇 arXiv 论文提出一种不依赖真值监督的弱到强路由方法,用弱模型与强模型之间的分歧作为判据,决定何时把弱模型的回答交给更强模型处理。作者先刻画了在允许弱模型本地多次推理情况下的最优路由策略,再据此推导出基于模型间比较的近似方法,且强模型越接近真值分布,近似越准确。

10月14日周三
10月8日周四
10月7日周三
  1. Google DeepMind81

    Google DeepMind 发布 EmbeddingGemma 2,740M 参数端侧多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、Apache 2.0 许可的开源多模态嵌入模型,把文本、图像、视频和音频映射到同一嵌入空间。

    推荐理由:做端侧搜索或本地 RAG 的开发者可以先在 Hugging Face 拉权重,用 Ollama 或 transformers.js 跑通文本嵌入,再决定是否加视觉音频编码器。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布手语转文字模型 SL2T,Pixel 11 的 Gboard 与 Live Transcribe 首发支持 ASL

    Google DeepMind 发布多语言手语转文字模型 SL2T,把手语动作直接翻译成流式文本,首批落地在 Pixel 11 的 Gboard 和 Live Transcribe 上,目前支持美国手语(ASL)转英文,用户可手语搜索、写消息或让 Gemini 执行任务。

    推荐理由:无障碍、输入法和会议转写产品可参考它的端侧姿态点方案,先在本地提取关键点再送服务器翻译,减少原始视频外传。

8月10日周一
  1. Hugging Face Blog76

    Meta 发布 30B 多模态模型 Muse Glimmer 并开源,主打本地智能体场景

    Meta 发布 30B 参数的多模态模型 Muse Glimmer,采用 Apache 2.0 许可证,面向本地智能体场景。模型由 2B 的 Perception Encoder 视觉编码器和 28B 文本解码器组成,支持图像与视频问答、多模态工具调用和目标检测,另附可选的 DFlash 推测解码草稿模型。

    推荐理由:想在本地跑智能体的开发者可用 transformers 或 llama.cpp 直接加载 30B 权重,先验证编码与工具调用场景。

7月28日周二
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics 2,让人形机器人实现全身控制与多机协作

    Google DeepMind 发布 Gemini Robotics 2,包含视觉语言动作模型 Gemini Robotics 2、具身推理模型 Gemini Robotics ER 2 和本地运行的 Gemini Robotics On-Device 2 三个模型。

    推荐理由:做具身智能的团队可先在 Google AI Studio 调用 Gemini Robotics ER 2 验证多步任务规划,VLA 与端侧模型需申请早期访问。

6月11日周四
  1. Google DeepMind81

    Google DeepMind 发布实验性开源模型 DiffusionGemma,文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,改用文本扩散并行生成,单张 GPU 上推理速度最高提升 4 倍。它是 26B MoE 模型,推理时激活 3.8B 参数,量化后可放进 18GB 显存,H100 上超过 1000 tokens/s,RTX 5090 上超过 700 tokens/s。

    推荐理由:本地部署的开发者可以用它在单张消费级 GPU 上做内联编辑和快速迭代,但产出质量要求高时仍应切回 Gemma 4。

6月9日周二
  1. Google DeepMind83

    Google DeepMind 发布 Gemma 4 12B 无独立编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款不设独立编码器的统一多模态模型,视觉和音频输入直接流入 LLM 主干。它是其首个支持原生音频输入的中等规模模型,定位在 E4B 与 26B MoE 之间,基准表现接近 26B 模型,16GB 显存或统一内存的笔记本即可本地运行。

    推荐理由:开发者可在 16GB 显存的笔记本上用 Ollama 或 LM Studio 本地跑它,做多模态和 Agent 原型验证。

6月5日周五
  1. Google Research76

    Google 在 Nature 发表 PHRM,用手机前置摄像头被动监测心率和静息心率

    Google 在 Nature 发表 PHRM 研究系统,在手机解锁后的几秒内用前置摄像头拍摄面部视频,通过端上深度学习估算心率和每日静息心率。研究在实验室与真实场景中采集近 700 名受试者的 35 万余段视频,心率估计 MAPE 低于 10%,静息心率与 Fitbit Charge 6 对比的整体 MAE 为 4.39 bpm。

    推荐理由:有 IRB 资质的研究团队可以申请这份人脸视频数据集和 PHRM-mini 预训练模型,用来检验自家 rPPG 流程在深肤色人群上的误差。