arXiv cs.AI / cs.LG 最新· Debopam Sanyal·· 23 小时前AI 评分48
SVD-Attention：高效分析 Transformer 中的注意力模块
SVD-Attention: Efficiently Analyzing Attention Blocks in Transformers
AI 导读
SVD-Attention 提出一种无需微调的事后分析方法，分解每个注意力头的 query-key 交互矩阵，并按谱幅值与激活方差对奇异模态打分。在 7 个预训练模型、5 类任务上，截断其标记的冗余层最多损失 1.75 F1，而截断同数量其他层最高损失 50 F1。该工具本身仅降低 0.8%-1.5% 推理 FLOPs，与权重剪枝组合可达 8%-11%。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。