arXiv cs.AI / cs.LG 最新· Xu Zheng·· 3 天前精选AI 评分66
研究者提出在手机 NPU 上做一阶 LoRA 训练的系统
First-Order LoRA Training with Phone NPUs
AI 导读
论文提出一套在手机 NPU 上完成一阶 LoRA 训练的系统，把前向、激活重算和输入梯度三处冻结权重乘法都交给 NPU，训练图、适配器与优化器留在 CPU。输入梯度核复用常驻权重分块和前向反量化器，省去转置权重拷贝；精度按梯度敏感度选择，FP16 输出加逐行范围保护，并支持断点续训和温控节流，可当后台任务运行。
推荐理由
做端侧个性化微调的团队可以参考它在 NPU 跑冻结权重、CPU 跑适配器的分工，评估骁龙平台的可行性。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org