热点事件持续更新
循环均匀扩散语言模型减少训练FLOP
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
2026年10月22日，arXiv cs.AI/cs.LG 发布论文，研究在均匀扩散语言模型（UDLM）中加入选择性循环：每个去噪步递归复用少数早期 Transformer 层，同时保持训练目标和采样器不变。论文报告，循环版 UDLM 在达到非循环版本约 0.5 万亿 token 训练的验证 NLL 时，在 OpenWebText 上训练 FLOP 最多少 2.8 倍，在 FineWeb-Edu 上最多少 3.3 倍。
AI 根据报道生成 · 2 小时前更新
最新进展10月22日 01:24
论文称循环版 UDLM 在 FineWeb-Edu 上训练 FLOP 最多少 3.3 倍。报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- arXiv cs.AI / cs.LG 最新循环式均匀扩散语言模型 UDLM 训练 FLOP 最多减少 3.3 倍
这篇论文研究在均匀扩散语言模型（UDLM）中加入选择性循环，即每个去噪步递归复用少数早期 Transformer 层，训练目标和采样器都保持不变。循环版 UDLM 达到非循环版本约 0.5 万亿 token 训练的验证 NLL 时，OpenWebText 上训练 FLOP 最多少 2.8 倍，FineWeb-Edu 上最多少 3.3 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。