arXiv cs.AI / cs.LG 最新· Hayden Prairie·· 11 小时前AI 评分50
BeNice! 用 KV 共享缩小循环架构模型的推理显存差距
BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing
AI 导读
论文提出两阶段方法，让循环架构模型具备 KV 可共享性；其中后训练方法 BeNice! 把最后一次循环的 KV-cache 广播到第一次循环，同时保持原模型质量。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。