arXiv cs.AI / cs.LG 最新· Jinya Sakurai·· 13 小时前AI 评分62
受控研究拆解扩散语言模型的解掩码策略，856K 参数策略在 LLaDA-8B 上取得最佳精度与 NFE 前沿
What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
AI 导读
预印本把监督式解掩码策略视为解码过程的蒸馏，考察教师标注什么可提交、在哪些状态上模仿、观察哪些输入，以及 NFE 需降多少才能抵消策略开销。按最终输出对齐的标注在低 NFE 下过于宽松，隐状态单独偏弱但能补充置信度，约 10% 的 NFE 下降足以抵消 7.5M 参数以内策略的开销。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。