arXiv cs.AI / cs.LG 最新· Aidar Myrzakhan·· 14 小时前AI 评分55
dSpark 用调度蒸馏为扩散语言模型加速，GSM8K 上最高 10.12 倍提速
Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models
AI 导读
dSpark 是一个基于调度蒸馏的框架，用来学习扩散语言模型在解码时该先提交哪些 token，从而减少完成回答所需的解码轮次。它构造的 unmasking 调度优先揭示那些能让其他位置更早变得可预测的 token，再把这些调度蒸馏进模型以加快并行采样，并用 KL 散度正则项维持生成质量。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。