跳到正文
原文
arXiv cs.AI / cs.LG 最新· Auss Abbood·· 18 小时前AI 评分50

arXiv 论文称 LLM 时序推理基准未实现算术与语义二分,得分主要靠知识记忆

Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs

AI 导读

一篇 arXiv 论文用两组实验质疑 LLM 时序推理的算术与语义二分。在基准标注为算术或语义的子集上微调,只带来 +6.8 至 +23.1 个百分点的数据集内提升,同模态跨数据集迁移为 -3.2 至 +1.1 个百分点。作者基于认知需求的评估显示,驱动这些基准表现的主要是知识,而非被当作算术与语义代理的定量和逻辑推理。

标题与摘要由 AI 辅助生成,事实与观点以原文为准。

来源:arXiv cs.AI / cs.LG 最新 · arxiv.org

本站标题、摘要与推荐理由由 AI 辅助生成;原文版权归来源所有。