Google Research·· 3 小时前精选AI 评分70
Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线巩固之间交替，把短期上下文写入长期参数。睡眠阶段通过 MoE 扩展低秩专家，再用 on-policy 蒸馏和 RL 模仿学习完成知识播种，dreaming 阶段随机激活专家生成合成样本做筛选和微调。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
推荐理由
做长上下文知识注入的团队，可以把睡眠阶段当作离线后训练流程，让模型在不改架构的前提下写入新事实并保留旧能力。
来源：Google Research · research.google
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。