热点事件持续更新
扩散语言模型学习式解掩码策略受控研究
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
2026年10月23日,arXiv 预印本对扩散语言模型的学习式解掩码策略开展受控拆解,将其视为解码过程的蒸馏,考察教师标注什么可提交、在哪些状态上模仿、观察哪些输入,以及需降低多少 NFE 才能抵消策略开销。研究在 LLaDA-8B 上评估,856K 参数策略取得最佳精度与 NFE 前沿;按最终输出对齐的标注在低 NFE 下过于宽松,隐状态单独偏弱但可补充置信度,约 10% 的 NFE 下降足以抵消 7.5M 参数以内策略的开销。
AI 根据报道生成 · 3 小时前更新
最新进展10月23日 01:15
arXiv 预印本显示,856K 参数策略在 LLaDA-8B 上取得最佳精度与 NFE 前沿。报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv cs.AI / cs.LG 最新受控研究拆解扩散语言模型的解掩码策略,856K 参数策略在 LLaDA-8B 上取得最佳精度与 NFE 前沿
预印本把监督式解掩码策略视为解码过程的蒸馏,考察教师标注什么可提交、在哪些状态上模仿、观察哪些输入,以及 NFE 需降多少才能抵消策略开销。按最终输出对齐的标注在低 NFE 下过于宽松,隐状态单独偏弱但能补充置信度,约 10% 的 NFE 下降足以抵消 7.5M 参数以内策略的开销。
本事件热度走势
当前热度 7·可比范围峰值 8(10月23日 11:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。