产品派
返回

扩散模型Clover-35B押注Agent任务提速与替代自回归

InfoQ 中文站2026/11/19 17:01:58
AI 导读

扩散智能于11月19日发布Clover-35B-A3B-Preview技术报告,并开放监督微调(SFT)代码。该模型总参数量约350亿,激活参数约30亿,采用并行生成和迭代修正机制,目标是在Agent编程、工具调用等任务中兼顾质量与速度。团队还公开了完整的架构、训练方法及评测结果。

在统一评测协议下,Clover在报告列出的七项Agent指标中均排名第一,覆盖工具使用、专业工作和智能体编程。其SWE-bench Verified得分为73.6,Terminal-Bench 2.1为51.7,τ³ Overall为65.3;部分测试配置下,Token生成速度达到同级自回归模型的5至10倍。不过,生成速度并不等同于端到端任务效率,工具调用、环境反馈、测试和代码修复仍会影响最终耗时。

Clover采用分块扩散,将文本划分为多个Block,在块内并行生成Token,并通过KV Cache复用已完成内容,以降低长上下文场景中的重复计算。架构方面,团队将Gated DeltaNet改造为支持块内双向交互的BD-GDN,并采用三层BD-GDN-dMoE加一层Full Attention-dMoE的混合结构,每四层一组、共重复十次,同时加入可学习的块大小校准和右侧上下文卷积分支。

这种设计使模型能够同时利用历史状态与当前块前后位置的信息,但目前仍是按Block逐步向后生成,真正覆盖全序列的全局规划尚未完全实现。测试显示,在64条Agent历史轨迹前缀回放中,将块大小从8提升至16后,每轮提交Token数和实际吞吐量均有所增加,团队还将继续研究更大生成块对质量和任务表现的影响。

在实际任务测试中,Clover展现了并行生成与工具协同的潜力。浏览器创建私有项目并邀请成员的测试中,它用13步、169.9秒完成任务,而Qwen3.6 Flash用了21步、392.3秒;覆盖49项任务的WindTunnel测试中,Clover执行耗时中位数为1.52秒,Jev与Mercury 2.5组合为3.21秒。团队也在开发适配扩散模型的Harness,尝试并行执行无依赖的工具调用。

不过,复杂编程任务还需要运行测试、处理报错并多轮修改,单纯提高Token速度未必能等比例缩短总耗时。团队尚未完成系统性的端到端比较,但根据使用体验估计,模型速度提升目前大致可按一比一转化为任务效率,未来通过模型与Harness协同可能实现更高收益。扩散模型在代码和结构化数据生成中还可能凭借块内前后信息交互改善一致性,但在Humanity's Last Exam等高难度测试中仍弱于部分自回归模型,部分传统任务也略低于Qwen,主要原因被认为是训练数据不足。现有训练数据与自回归模型基本相同,差异主要体现在数据处理和学习方式上。

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文