arXiv cs.AI / cs.LG 最新· Marius Henry·· 15 小时前AI 评分49
多层 Transformer 的定量泛化边界：少量长字符串可胜过大量短字符串
Quantitative Generalization Bounds for Multi-Layer Transformers: A Few Long Strings can Beat Many Short Ones
AI 导读
该研究为固定精度多层 Transformer 联合刻画分布内统计泛化与长度泛化，并给出依赖参数规模、量化空间和字母表大小的泛化保证。分析显示，增加训练长度可比增加样本数呈指数级更高效，实验支持理论预测。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。