arXiv cs.AI / cs.LG 最新· Juan Belieni·· 20 小时前AI 评分40
用正交投影在持续 LLM 遗忘中保持效用
Preserving Utility in Continual LLM Unlearning via Orthogonal Projections
AI 导读
研究提出持续正交投影（COP），一种梯度投影方案，把每次遗忘更新限制在由先前遗忘集缓存的激活子空间的正交补上。COP 每层仅存低秩基，无需历史梯度或旧遗忘集，可直接接入基于梯度更新的 LLM 遗忘方法。在 TOFU 与 RWKU 基准上，COP 在连续遗忘请求中保持模型效用且不削弱遗忘效果，优于持续遗忘专用基线。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。