arXiv cs.AI / cs.LG 最新· Haowen Shi·· 19 小时前AI 评分54
论文推导仅用 prefill 隐状态预测 LLM 解码长度的误差上界
On the Fundamental Limits of Prefill-Based Decoding Length Prediction
AI 导读
这篇 arXiv 论文指出，仅用 prefill 阶段隐状态预测 LLM 解码长度，存在所有方法都要满足的误差上界，根源是自回归解码本身的随机性。作者把解码视为停时随机过程，推导出每个 prompt 的正态分布与显式误差项，以及斜率等于响应分段数变异系数的仿射方差律 σ=αμ+b。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。