上下文语言模型可自主编辑上下文并降低算力

Meta、麻省理工学院与华盛顿大学的研究人员提出上下文语言模型（Context Language Model，CLM），让大语言模型把上下文视为可持续更新的动态文件，并自行决定如何编辑历史信息。与依赖人工设计的摘要、压缩、外部存储和检索机制不同，CLM试图将上下文管理能力直接内化到模型中，以同时改善任务表现和计算效率。

CLM可以改写历史消息、保留关键事实、删除冗余内容、记录任务进度，还能形成适合自身的上下文管理策略。用户只需用自然语言说明期望的管理方式，模型便可据此调整行为；在反复优化过程中，它还能够生成并复用上下文技能文档。可习得的能力包括建立内部笔记、清理无关中间结果、保留有效信息，以及记录失败实验和后续探索方向。

研究团队评估了三种方案：不经过专门训练的零样本管理；通过自然语言指导并结合技能优化循环的上下文学习；以及以任务成功为主要目标、同时优化计算效率的强化学习。零样本方案在 BrowseComp-Plus 上准确率提高11.4%、浮点运算量减少21.5%；在持续12小时的 EdgeBench 中得分提高5%、浮点运算量减少59%；在持续24小时的多仓库智能体集群任务中，同等算力下性能提升65%。上下文学习方案在 ContextBench 上最高提升35.9个百分点且消耗更少算力。强化学习则将 Qwen3.5-9B 在 BrowseComp-Plus 上的准确率从28.8%提高到42.5%，相对提升47.6%，浮点运算量减少12%。

研究人员同时指出，CLM可能误删后续无法恢复的重要信息。允许模型编辑自身上下文也会引入新的安全问题，因为可编辑内容可能成为提示词注入或模型自生成指令在多轮交互中持续残留的通道。更强的上下文控制权也不必然带来更好结果，模型仍可能错误地保留、修改或丢弃信息。

相关讨论认为，论文中的准确率和算力收益来自特定任务，端到端信任模型自主管理上下文仍需谨慎。也有观点指出，CLM尚未达到生产可用阶段，重写上下文可能导致模型缓存失效，而现有缓存技术本身也存在需要进一步评估的缺陷。