arXiv cs.AI / cs.LG 最新· Anamaria-Roberta Hartl·· 1 天前AI 评分62
KronLSTM 用 Kronecker Delta Rule 改进长上下文线性注意力
Kronecker Delta Rule for Long Context Linear Attention
AI 导读
作者提出 KronLSTM，一种基于 Kronecker Delta Rule 的线性注意力架构，扩展了 xLSTM 家族。它的记忆修正只在矩阵空间的单一方向上改动目标关联，对已存信息的干扰小于 delta-rule 更新，记忆动态可描述为收敛到稳态分布的马尔可夫链，记忆矩阵的期望范数在整条输入序列上保持有界，因此不需要额外的归一化与稳定机制。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。