Anthropic五年前路线图押中长上下文与智能体方向
一场版权诉讼公开了 Anthropic 联合创始人 Jared Kaplan 撰写的内部文件《Concise Research Roadmap》。这份仅三四页的 2021 年路线图,提前涉及了如今热门的 Coding Agent、工具调用、长上下文、强化学习、自动化反馈以及智能体安全等议题。
文件中还留有多位核心成员的批注。Tom Brown 认为,浏览代码仓库是简单且高价值的切入点;Nelson Elhage 则预判,自动定位项目类型定义会带来明显用户价值。Dario Amodei 为编程助手与工具演示之争定下节奏:短期先展示工具使用能力,长期打造最强编程助手。Amanda Askell 同时警告,若只在自然语言领域做对齐、却在代码领域推进能力研究,二者最终会脱节,安全与能力必须同步发展。
当时 Anthropic 成立还不到半年,累计融资仅 1.24 亿美元,距离 ChatGPT 发布还有 16 个月,距离 Claude 1 面世还有 20 个月。尽管行业仍在怀疑大模型是否只是过渡技术,团队已经规划高 GPU 利用率、长上下文、工具使用强化学习和社会影响评估等课题。此后五年,从 Claude 1 到 Opus 5.5,从宪法 AI、可解释性到 Computer Use、MCP、Claude Code 和混合推理,都能在这份路线图中找到对应方向。
路线图把 AGI 的核心路径概括为:训练具备长期记忆的大型生成模型,再结合自动化奖励与人类反馈强化学习完成微调。首个验证载体被设想为“对话式软件工程师”,能够创建、编辑、解释代码,编写函数、排查缺陷、设计 API,并讨论工程规范,这已接近今天 Claude Code 的雏形。团队计划先从打印调试和仓库浏览切入,再扩展到代码执行、文档编辑等复杂工具。
规模化是另一条主线。团队提前考虑万亿参数模型、GPU 利用率、TPU 与 Trainium 适配,以及块稀疏注意力等工程封装;同时建设覆盖自然语言、代码、Diff、PR、调试记录和运行评估的高质量数据集,并持续优化过滤、迁移、微调与多样性。长上下文、海量记忆、预训练和数据工程也被视为基础能力。对齐方面,研究覆盖人类反馈、奖励模型校验、对齐失效分类及规模效应,并尝试让模型主动澄清意图、根据反馈调整行为。可解释性研究则试图拆解神经元、注意力头和内部回路,理解算术、对话和代码生成的机制。
工具强化学习同样被列为重点,目标是让模型理解环境与任务,并通过交互突破单纯生成文本的边界。路线图还讨论了类似 Google Docs 的自然语言编辑器,以及非沙箱工具的部署风险、代码执行安全、权重保护和第三方评估,最终形成从算力、基座模型、工具能力到对齐、可解释性和社会治理的完整研发框架。
五年后,外界注意到,今天争相推进的智能体方向,几乎都曾出现在这份“待办清单”中。也有研究者认为,判断趋势并不一定稀奇,真正困难的是持续把路线落地,并在长期迭代中保持方向不偏。
2022 年底 ChatGPT 以 RLHF 普及大模型后,Anthropic 很快提出宪法 AI:先设定行为原则,再让模型评判和修正另一个模型的回答,以降低人工标注成本和个人偏好影响。2023 年 3 月,Claude 首次对外合作,主打长文本和安全;5 月上下文窗口从 9K 扩展至 100K token,约 7.5 万个英文单词,而同期 GPT-4 最高约 32K。9 月发布的《负责任的缩放政策》则按模型能力划分风险等级,并匹配更严格的安全措施。同年 10 月,Google 领投融资使 Anthropic 估值达到 184 亿美元。如今 Claude 已可处理 1M token 长文本,并发展出面向工程场景的记忆优化方案,早期路线图中的许多设想已转化为具体产品与研究成果。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文