arXiv cs.AI / cs.LG 最新· Justin Y. Chen·· 22 小时前AI 评分54
论文研究键查询相似度受限下注意力的空间复杂度与 Transformer 各向异性
Attention under Bounded Key-Query Similarity: Space Complexity and Transformer Anisotropy
AI 导读
arXiv 论文在键与查询余弦相似度被限制在零附近一个小范围的假设下，研究注意力近似的空间复杂度，给出一个空间接近最优的算法及对应的空间下界。该下界中相似度的分布呈现出文献中通过实测确立的键查询几何各向异性。作者还说明，均匀采样在常见参数范围内已接近最优，这解释了该做法在真实数据集上效果出人意料的原因。研究面向用 KV-cache 压缩降低自回归生成内存的工作。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。