arXiv cs.AI / cs.LG 最新· Shin'ya Yamaguchi·· 18 小时前AI 评分54
对比解码方法 RCD 缓解 CoT 推理中的查询捷径
Mitigating Query Shortcuts in Chain-of-Thought with Context-Aware Decoding
AI 导读
论文提出 RCD，把上下文感知解码（CAD）用于 CoT 推理，通过对比有理由和无理由条件下一个 token 的分布，放大因理由而提升概率的 token。在五个推理基准上，RCD 相比标准 CoT 提升了答案准确率；用真实理由和随机理由做的干预分析显示，最终答案对理由内容的依赖增强。作者还用 KL 正则化奖励最大化目标给出了该解码规则的理论解释，并称这是一种缓解查询捷径的免训练方法。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。