arXiv cs.AI / cs.LG 最新· Bohang Sun·· 20 小时前AI 评分60
TDLM：面向扩散语言模型的自适应时间集成
TDLM: Adaptive Temporal Integration for Diffusion Language Models
AI 导读
研究者提出 TDLM，让冻结 denoiser 中每个未解析位置关注自身隐藏表示的历史，复用以前步骤已算过的计算。训练使用自生成轨迹和针对相邻解码步间被揭示 token 的交叉熵目标，因果时间注意力支持训练时并行评估。在 LLaDA 上时间模块只增加约 0.84% 可训练参数，在 LLaDA 与 Dream 上生成速度最高提升 7.15×，评测任务上答案质量保持竞争力。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。