阶跃星辰开放600B稀疏MoE模型Step 5 Preview权重

10月15日，阶跃星辰开放 Step 5 Preview 模型权重，提供 BF16 和 FP8 两种版本，并同步发布技术博客、开发工具与部署指南。模型已上线 Hugging Face 和 ModelScope，主要面向长程 Agent 场景，支持100万 Token 上下文窗口以及文本、视觉输入，应用方向包括软件工程、专业知识工作和金融任务。

Step 5 Preview 采用600B参数的稀疏 MoE 架构，每个 Token 激活约27B参数，原生支持跨文件代码修改、运行、验证，以及多轮工具调用和根据执行结果修正操作。此类任务不同于单轮问答，模型需要持续理解需求、维护早期约束、处理代码和工具返回结果，并在多次尝试后完成交付。因此，实际评估不能只看准确率，还应关注完成率、耗时、资源消耗和人工接管次数。

技术设计方面，模型使用92层 Transformer，并按3∶1比例交替配置门控滑动窗口注意力与稀疏全局注意力。Sparse GQA 会将相邻8个 Token 合并为索引块，团队称这可把索引和 top-k 选择开销降至原来的八分之一。训练时，隐藏状态、相关梯度和归一化缩放参数采用 FP32，并配合细粒度梯度截断以提升稳定性。不过，局部索引开销降低并不代表完整推理提速八倍，实际成本仍包括权重读取、注意力计算、跨设备通信和工具执行等环节；600B总参数与27B激活参数也不能简单等同于27B稠密模型的部署门槛。

训练数据覆盖科学推理、软件工程、机器学习研发和专业工作，团队构建了百万级可验证环境，并通过长程任务强化学习训练模型。由于 Agent 合成数据容易集中于简单、重复任务，训练过程还需要控制难度与多样性，防止模型利用测试漏洞或评分规则中的捷径获奖。环境数量之外，其验证质量、覆盖范围以及与真实业务的差异，都会影响能力能否迁移到实际工作。

上下文压缩被纳入 Step 5 Preview 的端到端策略训练，并使用与任务一致的奖励进行优化。当上下文预算接近耗尽时，Agent 需要整理出可恢复的工作状态，再继续执行。模型因此不仅要处理更长输入，还要判断哪些需求、事实、失败方案和未决问题值得保留。压缩过度可能丢失关键约束，保留过多则会增加计算负担；百万 Token 窗口并不自动意味着长任务可靠性，仍需通过多轮压缩后的任务完成情况验证效果。

部署方面，该模型适配多种芯片平台和推理框架。开发者可以使用 vLLM 或 SGLang 提供兼容 OpenAI 接口的 API 服务，也能通过 Transformers 进行离线推理，并接入自有数据、工具和业务系统。BF16 与 FP8 版本可覆盖不同精度和资源条件，企业还可在内部代码仓库、业务文档及工具调用失败恢复等场景中进行针对性测试，以判断模型是否适合自身工作流。

根据截至2026年10月15日可见的 OpenRouter 数据，Step 5 Preview 在该平台 Token 用量周榜和日榜均位列全球第二。

从已披露方案看，长程 Agent 的竞争已经延伸至模型架构、训练数据、稳定性优化和运行时状态管理。权重开放后，模型还需要接受更多真实工作负载检验，关键问题是能否在可接受的时间和成本内稳定完成任务，以及整个过程需要多少人工检查和纠错。