arXiv cs.AI / cs.LG 最新· Saiteja Utpala·· 12 小时前AI 评分54
循环式均匀扩散语言模型 UDLM 训练 FLOP 最多减少 3.3 倍
Looped Uniform Diffusion Language Models
AI 导读
这篇论文研究在均匀扩散语言模型（UDLM）中加入选择性循环，即每个去噪步递归复用少数早期 Transformer 层，训练目标和采样器都保持不变。循环版 UDLM 达到非循环版本约 0.5 万亿 token 训练的验证 NLL 时，OpenWebText 上训练 FLOP 最多少 2.8 倍，FineWeb-Edu 上最多少 3.3 倍。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。