arXiv cs.AI / cs.LG 最新· Yue Wu·· 22 小时前AI 评分55
Select-TTT 按查询相关性调节原地测试时训练的写入强度
Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training
AI 导读
Select-TTT 提出一种按用户查询调节写入强度的原地测试时训练规则，用来修复 In-Place TTT 在真实网页长上下文问答上收益消失的问题。它直接从冻结的输出头读出各文本块对查询 token 的概率质量作为相关性，无需监督和新参数，再用带温度的 softmax 转成学习率乘子并保留分块并行计算。该方法在两个基准和两个骨干模型上稳定提升长上下文问答表现。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。