跳到正文
热点事件持续更新

扩散语言模型学习式解掩码策略受控研究

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

2026年10月23日,arXiv 预印本对扩散语言模型的学习式解掩码策略开展受控拆解,将其视为解码过程的蒸馏,考察教师标注什么可提交、在哪些状态上模仿、观察哪些输入,以及需降低多少 NFE 才能抵消策略开销。研究在 LLaDA-8B 上评估,856K 参数策略取得最佳精度与 NFE 前沿;按最终输出对齐的标注在低 NFE 下过于宽松,隐状态单独偏弱但可补充置信度,约 10% 的 NFE 下降足以抵消 7.5M 参数以内策略的开销。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.AI / cs.LG 最新
    受控研究拆解扩散语言模型的解掩码策略,856K 参数策略在 LLaDA-8B 上取得最佳精度与 NFE 前沿

    预印本把监督式解掩码策略视为解码过程的蒸馏,考察教师标注什么可提交、在哪些状态上模仿、观察哪些输入,以及 NFE 需降多少才能抵消策略开销。按最终输出对齐的标注在低 NFE 下过于宽松,隐状态单独偏弱但能补充置信度,约 10% 的 NFE 下降足以抵消 7.5M 参数以内策略的开销。

本事件热度走势

当前热度 7·可比范围峰值 8(10月23日 11:00)·近 24 小时可比范围变化 –

0246810月23日11:0010月23日12:0010月23日12:0010月23日13:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。