arXiv cs.AI / cs.LG 最新· Anda Tang·· 20 小时前AI 评分51
arXiv 论文提出 UTA：随训练状态自适应的学习率衰减方法
UTA: Universal Training Adaptive Learning Rate Decay
AI 导读
arXiv 论文提出 UTA 学习率衰减方法，把学习率衰减建模成闭环的形状与尺度问题，按训练状态自适应调整分段最优形状。针对 UBA 依赖 SGD 动力学、难以适配 Adam 类优化器的问题，UTA 用连续时间形式把外部迭代与内部训练状态关联起来。作者在 LLaMA 60M 到 1B 语言模型，以及 ImageNet 上的 ResNet50、ViT-B 上报告一致提升，即插即用且开销可忽略。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。