跳到正文

#端侧

今日 5 条
今天10月21日周三
10月20日周二
  1. Hugging Face Blog73

    Hugging Face 发布 AnyLanguageModel 1.0,Apple 平台可选本地或托管模型

    AnyLanguageModel 1.0 发布,这是 Apple Foundation Models 框架的可直接替换实现,改一行 import 即可用同一套会话代码调用系统模型、llama.cpp、MLX、Core ML 的开放权重模型,以及 OpenAI、Anthropic、Gemini、Ollama 等托管服务。

    推荐理由:做 iOS 应用的开发者改一行 import 就能替换 Foundation Models,用同一套会话代码在本地模型和托管模型间切换。

  2. Hacker News · Show HN40

    Show HN:Amber-8 把本地语言模型当传感器,用 80 年代栈机保持确定性执行

    Amber-8 是一个小型确定性栈机,把本地语言模型当作模数转换器,将杂乱主观文本转成栈上的数字、选项与 0-1 置信度,分支仍由确定性代码执行。它只提供 ask、pck、scl 三条模型指令,模型不写代码也不决定分支,示例程序编译后的字节码均在 2 KB 以内。

  3. Hacker News · Show HN58

    PurePDF 上线浏览器端 PDF 工具,基于 qpdf/WASM 做合并拆分压缩

    PurePDF 是一个免费的浏览器端 PDF 工具,基于 qpdf/WASM 在本机完成合并、拆分、删除页面、旋转、重排和压缩,文件不离开设备。压缩既可整体减小体积,也可按用户输入的目标大小处理;作者列出的后续功能包括提取页面、加页码、Bates 编号、水印、文件修复、OCR,以及 PDF 与 JPG、PNG、Word、Excel 互转和密码保护、解锁、签名、涂黑。

  4. Hacker News · Show HN59

    Maali 发布隐私优先的个人财务应用,AI 分析全程本地运行

    Maali 是一款隐私优先的个人财务应用,应用本身和 AI 分析都运行在用户自己的电脑上,断网也能用。用户可以导入银行提供的 CSV 账单,或通过 SimpleFIN 一次性连接后自动获取新支出,每笔支出自动分类并记住按商户的修改,还能列出所有周期性扣款的月度和年度金额并在涨价时给出提示。免费试用 30 天后一次性付费 99 美元,含全部更新,无需账号和银行卡。

10月19日周一
10月18日周日
  1. NVIDIA Blog68

    NVIDIA RTX Spark 笔记本开售,起售价 2399 美元

    NVIDIA RTX Spark 笔记本正式开售,起售价 2399 美元,由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 推出。整机把 Blackwell RTX GPU 与 Grace CPU 集成在一颗 superchip 上,最高 128GB 统一内存和 1 petaflop AI 算力,面向本地 AI、内容创作和游戏。

    推荐理由:想在本机跑大模型的开发者可以关注这批 128GB 统一内存的 RTX Spark 笔记本,评估把推理从云端搬到本地。

  2. arXiv cs.AI / cs.LG 最新66

    研究者提出在手机 NPU 上做一阶 LoRA 训练的系统

    论文提出一套在手机 NPU 上完成一阶 LoRA 训练的系统,把前向、激活重算和输入梯度三处冻结权重乘法都交给 NPU,训练图、适配器与优化器留在 CPU。输入梯度核复用常驻权重分块和前向反量化器,省去转置权重拷贝;精度按梯度敏感度选择,FP16 输出加逐行范围保护,并支持断点续训和温控节流,可当后台任务运行。

    推荐理由:做端侧个性化微调的团队可以参考它在 NPU 跑冻结权重、CPU 跑适配器的分工,评估骁龙平台的可行性。

10月16日周五
  1. arXiv cs.AI / cs.LG 最新47

    SETAREH Transform:一种排序辅助的 Haar 小波稀疏化近似内积计算方法

    SETAREH Transform 是一种排序辅助的 Haar 小波稀疏化方法,用于近似计算固定高维系数向量与连续输入向量的内积。该方法对两向量施加相同排列与 Haar 变换,截断前保持内积精确,截断后仅保留部分系数-输入对并引入可控误差。在合成高斯基线及 APPA-REAL 数据集的 CNN 表观年龄估计任务中,它可用显著少于原维度的系数-输入对完成近似。

  2. arXiv cs.AI / cs.LG 最新56

    arXiv 论文提出用模型分歧指导弱模型到强模型的路由

    这篇 arXiv 论文提出一种不依赖真值监督的弱到强路由方法,用弱模型与强模型之间的分歧作为判据,决定何时把弱模型的回答交给更强模型处理。作者先刻画了在允许弱模型本地多次推理情况下的最优路由策略,再据此推导出基于模型间比较的近似方法,且强模型越接近真值分布,近似越准确。

10月14日周三
10月8日周四
10月7日周三
  1. Google DeepMind81

    Google DeepMind 发布 EmbeddingGemma 2,740M 参数端侧多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、Apache 2.0 许可的开源多模态嵌入模型,把文本、图像、视频和音频映射到同一嵌入空间。

    推荐理由:做端侧搜索或本地 RAG 的开发者可以先在 Hugging Face 拉权重,用 Ollama 或 transformers.js 跑通文本嵌入,再决定是否加视觉音频编码器。

9月22日周二
9月1日周二
8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布手语转文字模型 SL2T,Pixel 11 的 Gboard 与 Live Transcribe 首发支持 ASL

    Google DeepMind 发布多语言手语转文字模型 SL2T,把手语动作直接翻译成流式文本,首批落地在 Pixel 11 的 Gboard 和 Live Transcribe 上,目前支持美国手语(ASL)转英文,用户可手语搜索、写消息或让 Gemini 执行任务。

    推荐理由:无障碍、输入法和会议转写产品可参考它的端侧姿态点方案,先在本地提取关键点再送服务器翻译,减少原始视频外传。

8月10日周一
  1. Hugging Face Blog76

    Meta 发布 30B 多模态模型 Muse Glimmer 并开源,主打本地智能体场景

    Meta 发布 30B 参数的多模态模型 Muse Glimmer,采用 Apache 2.0 许可证,面向本地智能体场景。模型由 2B 的 Perception Encoder 视觉编码器和 28B 文本解码器组成,支持图像与视频问答、多模态工具调用和目标检测,另附可选的 DFlash 推测解码草稿模型。

    推荐理由:想在本地跑智能体的开发者可用 transformers 或 llama.cpp 直接加载 30B 权重,先验证编码与工具调用场景。

7月28日周二
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics 2,让人形机器人实现全身控制与多机协作

    Google DeepMind 发布 Gemini Robotics 2,包含视觉语言动作模型 Gemini Robotics 2、具身推理模型 Gemini Robotics ER 2 和本地运行的 Gemini Robotics On-Device 2 三个模型。

    推荐理由:做具身智能的团队可先在 Google AI Studio 调用 Gemini Robotics ER 2 验证多步任务规划,VLA 与端侧模型需申请早期访问。

6月11日周四
  1. Google DeepMind81

    Google DeepMind 发布实验性开源模型 DiffusionGemma,文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,改用文本扩散并行生成,单张 GPU 上推理速度最高提升 4 倍。它是 26B MoE 模型,推理时激活 3.8B 参数,量化后可放进 18GB 显存,H100 上超过 1000 tokens/s,RTX 5090 上超过 700 tokens/s。

    推荐理由:本地部署的开发者可以用它在单张消费级 GPU 上做内联编辑和快速迭代,但产出质量要求高时仍应切回 Gemma 4。

6月9日周二
  1. Google DeepMind83

    Google DeepMind 发布 Gemma 4 12B 无独立编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款不设独立编码器的统一多模态模型,视觉和音频输入直接流入 LLM 主干。它是其首个支持原生音频输入的中等规模模型,定位在 E4B 与 26B MoE 之间,基准表现接近 26B 模型,16GB 显存或统一内存的笔记本即可本地运行。

    推荐理由:开发者可在 16GB 显存的笔记本上用 Ollama 或 LM Studio 本地跑它,做多模态和 Agent 原型验证。

6月5日周五
  1. Google Research76

    Google 在 Nature 发表 PHRM,用手机前置摄像头被动监测心率和静息心率

    Google 在 Nature 发表 PHRM 研究系统,在手机解锁后的几秒内用前置摄像头拍摄面部视频,通过端上深度学习估算心率和每日静息心率。研究在实验室与真实场景中采集近 700 名受试者的 35 万余段视频,心率估计 MAPE 低于 10%,静息心率与 Fitbit Charge 6 对比的整体 MAE 为 4.39 bpm。

    推荐理由:有 IRB 资质的研究团队可以申请这份人脸视频数据集和 PHRM-mini 预训练模型,用来检验自家 rPPG 流程在深肤色人群上的误差。