arXiv cs.AI / cs.LG 最新· Arnav Chavan·· 14 小时前精选AI 评分75
arXiv 论文提出 8B 流式语言模型 Lafa，吞吐为同级 AR 模型的 2.54 倍
Large Flow Language Models
AI 导读
arXiv 论文提出 Lafa，一个数据高效扩展到 8B 参数的块式连续流语言模型，在指令跟随、推理和编码任务上质量匹配或超过自回归模型。它在前缀用因果注意力、块内用双向异步流，可直接改造预训练 AR 模型，训练 token 用量少于 30B，并支持前缀缓存与块式并行解码。论文用自推测解码在单个模型内校验流式草稿，报告同等质量下吞吐为 AR 模型的 2.54 倍。代码已公开。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
推荐理由
做长文本生成的团队可以按论文的块式流式方案改造预训练 AR 模型，先在小模型上验证 2.54x 吞吐能否复现。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。