arXiv cs.AI / cs.LG 最新· Xiang Li·· 20 小时前AI 评分51
HiLo-RD 提出跨预算自蒸馏，提升掩码扩散语言模型的低预算解码
HiLo-RD: Cross-Budget Self-Distillation for Masked Diffusion Language Models
AI 导读
HiLo-RD 是一种跨预算自蒸馏方法，用同一个掩码扩散语言模型在大窗口下的隐藏表征，监督它在小窗口下的解码过程。该方法通过将大窗口教师状态与裁剪后的小窗口视图配对，在已提交位置对齐隐藏表征，因此无需外部教师就能同时指导 token 预测与提交顺序。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。