arXiv cs.AI / cs.LG 最新· Guanchen Li·· 21 小时前AI 评分47
SliMOO:面向 LLM 深度剪枝的可解释多目标进化搜索
SliMOO: Interpretable Multi-Objective Evolutionary Search for LLM Depth Pruning
AI 导读
SliMOO 提出面向 LLM 深度剪枝的可解释多目标进化搜索框架,用单层移除探测构建任务-层重要性图,并以 Pareto 感知进化搜索生成剪枝掩码。该框架在 Llama-3.1 和 Qwen3 系列上取得优于规则、贪心及标量化基线的多任务权衡;在 Llama-3.1-70B 的 25% 稀疏度下,数学域平均由 24.33% 升至 34.40%,代码域平均由 35.03% 升至 39.14%。
标题与摘要由 AI 辅助生成,事实与观点以原文为准。
来源:arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成;原文版权归来源所有。