arXiv cs.AI / cs.LG 最新· Egor Maximov·· 19 小时前AI 评分54
DCKV 用可微编解码器压缩混合语言模型的提示词 KV cache
DCKV: Learned Transform Coding of the Prompt KV Cache in Hybrid Language Models
AI 导读
Egor Maximov 提出 DCKV，一种面向混合语言模型提示词 KV cache 的可微编解码器，其变换、量化器和熵模型与冻结的语言模型联合端到端训练。在 Qwen3.5-2B 上，它存储压缩 token 所占字节比 bf16 少 55 倍以上，在三个长上下文基准上损失最多 1.8 分，字节减少 100 倍以上时损失最多 3.6 分。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。