HiLo-RD：跨预算自蒸馏提升掩码扩散模型

2026年10月27日，arXiv cs.AI/cs.LG 最新报道提出 HiLo-RD，一种面向掩码扩散语言模型的跨预算自蒸馏方法。该方法用同一模型在大窗口下的隐藏表征，监督其在小窗口下的解码过程；具体将大窗口教师状态与裁剪后的小窗口视图配对，并在已提交位置对齐隐藏表征。报道称，这一做法无需外部教师，就能同时指导 token 预测与提交顺序，从而提升掩码扩散语言模型的低预算解码。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。