谷歌推出睡眠框架助大模型持续学习并保留旧知识

谷歌研究团队于10月27日公开一项名为“睡眠框架”（Sleep Framework）的持续学习研究，目标是改善大语言模型部署后知识固化、难以持续吸收新信息的问题。相关成果由 Google Research 发布，研究论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。

研究团队指出，主流大模型完成预训练并上线后通常处于相对静态的状态，因此会形成知识“截止日期”。仅依靠上下文学习时，新信息往往会在会话结束后丢失；如果持续使用新数据微调，又可能触发灾难性遗忘，使模型获得新能力的同时削弱原有能力。

这套方案借鉴人类睡眠期间进行记忆巩固的机制，将模型运行拆分为“清醒阶段”和“睡眠阶段”。清醒时，模型正常接收和处理输入，并把新内容暂存在短期记忆中；进入睡眠阶段后，模型暂停接收新输入，集中进行记忆整合以及自身能力改进。

在记忆巩固环节，系统结合参数扩展、混合专家记忆模块和知识蒸馏，将短期上下文中的脆弱信息写入长期参数，同时尽量避免覆盖已有知识。类似“做梦”的环节则由模型生成并筛选合成训练样本，再通过强化学习反复训练，以增强推理能力和泛化表现。

实验结果显示，该框架在持续翻译、长上下文理解、事实知识吸收和数学推理等任务上超过多种基线方案。模型能够处理最长约1000万token的上下文，并在针对未见语言的多阶段持续学习中保持接近零的性能下降；在AIME 2024和AIME 2025等数学基准测试中，准确率也有所提升。

这项研究于10月27日公开，相关成果同时以《The sleep framework: A new way for LLMs to retain knowledge in continual learning》和《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》为题介绍了该方法及其验证结果。