arXiv cs.AI / cs.LG 最新· Gabin Maxime Nguegnang·· 17 小时前AI 评分38
SGD 学习线性神经网络的收敛性
Convergence of stochastic gradient descent for learning linear neural networks
AI 导读
在深度线性神经网络上，SGD 的收敛保证被扩展到正则化平方损失，并证明迭代几乎必然有界。借助随机逼近中的渐近伪轨迹框架，无论采用确定性还是自适应步长，SGD 在温和条件下都收敛到临界点集合，且不依赖 Lipschitz 性质或白化数据。据作者所知，这是首个针对深度线性网络中 SGD 的几乎必然收敛保证。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。