跳到正文
热点事件持续更新

COP:用正交投影缓解LLM持续遗忘的效用衰减

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

2026年10月30日,arXiv(cs.AI/cs.LG)刊出一项研究,提出持续正交投影(COP),用于应对大语言模型在连续遗忘请求下的效用衰减问题。该方法是一种梯度投影方案:将每一次遗忘更新限制在由先前遗忘集缓存的激活子空间的正交补上,从而在不影响已遗忘内容的前提下保护模型原有能力。与依赖历史梯度或旧遗忘集的做法不同,COP 每层仅保存低秩基,可直接接入基于梯度更新的 LLM 遗忘方法。在 TOFU 与 RWKU 基准上,COP 在连续遗忘请求中既保持模型效用,又不削弱遗忘效果,优于持续遗忘专用基线。目前报道仅给出上述基准结果,未涉及其他评测或实际部署情况。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. arXiv cs.AI / cs.LG 最新
    用正交投影在持续 LLM 遗忘中保持效用

    研究提出持续正交投影(COP),一种梯度投影方案,把每次遗忘更新限制在由先前遗忘集缓存的激活子空间的正交补上。COP 每层仅存低秩基,无需历史梯度或旧遗忘集,可直接接入基于梯度更新的 LLM 遗忘方法。在 TOFU 与 RWKU 基准上,COP 在连续遗忘请求中保持模型效用且不削弱遗忘效果,优于持续遗忘专用基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。