arXiv cs.AI / cs.LG 最新· Athanasios Glentis·· 14 小时前AI 评分53
MuonGS：用 Gram-Schmidt 投影放宽权重范数控制来预训练 LLM
MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control
AI 导读
论文提出 MuonGS，一种在 Muon 优化器上用 Gram-Schmidt 投影去掉更新径向分量、但不固定权重范数的 LLM 预训练方法。作者证明其权重范数最多按 √t 增长，累计有效学习率满足 C_T=Ω(√T)，并在光滑尺度不变目标上给出 O(T^{-1/2}) 的稳态保证。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。