arXiv cs.AI / cs.LG 最新· Jay Agarwal·· 19 小时前AI 评分54
arXiv 论文研究基础模型蒸馏做高效喷注标记能做到多小
How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
AI 导读
arXiv 论文在喷注标记基准上把六个教师模型（含两个基础模型）蒸馏到五个小学生模型，发现每个教师都能提升每个学生，增益主要取决于教师本身的强度。作者把最强的两个学生按宽度和深度压缩后，2 万参数的蒸馏 L-GATr-slim 超过所有已发表的从头训练喷注标记模型，2000 参数版本可追平参数量多一千倍的 ParT。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。