热点事件持续更新
键查询相似度受限下的注意力空间复杂度研究
1 篇报道1 个报道来源21 小时前更新
先了解这件事
AI 综述
2026年10月26日，arXiv cs.AI/cs.LG 刊出论文，研究键与查询余弦相似度被限制在零附近小范围时的注意力近似空间复杂度。论文给出空间接近最优的算法及对应空间下界，并称该下界中相似度分布呈现文献实测确立的键查询几何各向异性。作者还指出，在常见参数范围内均匀采样已接近最优，可解释其在真实数据集上的意外效果；研究面向用 KV-cache 压缩降低自回归生成内存。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 16:31
arXiv 新论文给出该设定下空间近优算法与下界，并解释均匀采样近优。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AI / cs.LG 最新论文研究键查询相似度受限下注意力的空间复杂度与 Transformer 各向异性
arXiv 论文在键与查询余弦相似度被限制在零附近一个小范围的假设下，研究注意力近似的空间复杂度，给出一个空间接近最优的算法及对应的空间下界。该下界中相似度的分布呈现出文献中通过实测确立的键查询几何各向异性。作者还说明，均匀采样在常见参数范围内已接近最优，这解释了该做法在真实数据集上效果出人意料的原因。研究面向用 KV-cache 压缩降低自回归生成内存的工作。
本事件热度走势
当前热度 6·可比范围峰值 6（10月27日 11:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。