arXiv cs.AI / cs.LG 最新· Shi-Yuk Fong·· 1 天前AI 评分54
Dobb 优化器把矩阵更新限制在参数分片内，减少分布式训练通信
Dobb: Shard-Local Preconditioning in Block-Diagonal Eigenbases
AI 导读
Dobb 是一种矩阵感知优化器，它把更新计算限制在参数分片内，从而避免在 TP 和 FSDP 下进行跨分片的全局矩阵运算。它用对角块近似输入激活二阶矩，在每个块内跟踪完整基，把动量投影到这些基上，对系数做符号归一化后再重建更新。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。