arXiv cs.AI / cs.LG 最新· Yipin Guo·· 2 天前AI 评分54
GAAC 提出无损 KV 压缩方案，个人设备 64K 上下文解码注意力提速 1.19-1.27 倍
GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices
AI 导读
论文提出 GAAC，一种无损 KV 压缩与推理服务方案，利用指数冗余对 BF16 逐通道做基加偏移编码，保持 KV 数值逐比特不变。它用融合注意力内核在计算时就地重建 KV 分块，配合块级压缩与固定容量槽位支持增量更新和分页服务。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。