arXiv cs.AI / cs.LG 最新· Ziqi Jin·· 21 小时前AI 评分62
ProVe 反转投机解码角色，32B proposer 平均吞吐达 2.5x
ProVe: Proposer-Verifier Decoding
AI 导读
ProVe 把投机解码的角色反转，让大模型充当 proposer 用一次前向预测整块未来 token，再用一次前向完成验证。验证器可换成更小的 3B AR 模型，此时六个基准上平均吞吐 2.7x，平均准确率比 AR 低 2.6 个百分点；由 proposer 自己验证则无损，32B proposer 平均吞吐达 2.5x。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。