基础模型蒸馏可将喷注标记模型压缩至2万参数

2026年10月21日出现在 arXiv 的一篇论文研究基础模型蒸馏用于高效喷注标记能做到多小。研究在喷注标记基准上把六个教师模型（其中两个为基础模型）蒸馏进五个小学生模型，发现每个教师都能提升每个学生，增益大小主要取决于教师本身的强度。作者随后把最强的两个学生模型按宽度和深度压缩：2 万参数的蒸馏 L-GATr-slim 超过所有已发表的从头训练喷注标记模型，2000 参数版本则可追平参数量多出约一千倍的 ParT。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。