Clover-35B扩散模型开源,挑战Agent编程
深圳扩散智能于10月28日开源Clover-35B-A3B-Preview,探索扩散语言模型在大参数规模和复杂任务中的应用。与GPT、Claude、Qwen等自回归模型逐个生成Token不同,dLLM通过迭代去噪并行更新多个Token,有望减少串行解码开销,但仍需解决能力、稳定性和实际任务效率问题。
扩散智能由香港大学NLP实验室联合主管孔令鹏教授及其博士生龚珊三、叶佳成创立,曾推出DiffuSeq、Dream 7B等研究成果,近期完成两轮融资,金额达数亿元人民币。Clover-35B采用MoE架构,总参数350亿、单次推理激活约30亿,规模约为上一代Clover的5倍。团队内部测试显示,其生成速度达到680 tokens/s,部分Agent和通用能力评测达到或超过同规模自回归模型。
在无人机空域管理演示中,模型读取20条空管报文,提取地点和半径,并在三维地图设置禁飞区,耗时7.32秒;Qwen3.5完成同一任务用时62.3秒,差距约8.5倍。WindTunnel包含49项任务的测试中,Clover中位执行时间为1.52秒,Jev与Mercury 2.5组合为3.21秒,GPT-5.6 Luna为5.74秒,Gemini 3.6 Flash为7.22秒。不过,部署方式、硬件、输出长度、工具调用和计费规则均会影响结果,生成速度也不等同于Agent端到端效率。
在Agent基准测试中,Clover-35B-A3B-Preview的SWE-bench Verified得分为73.6,Terminal-Bench 2.1为51.7,τ³ Overall为65.3,团队称其超过Mercury 2.5及同参数规模的Qwen3.6-35B-A3B。这些测试覆盖软件问题修复、终端任务执行和工具交互。通用评测涉及知识、数学、代码、逻辑、指令遵循和长上下文理解,Clover仅在部分项目领先,数学和代码等部分指标仍有其他模型占优。
架构方面,Clover基于Qwen3.6-35B-A3B,在混合GDN/Attention MoE骨干上加入块级扩散生成,并将门控Delta网络改造成双向结构。模型利用递归状态压缩历史上下文,减少重复计算,同时在当前生成块内采用双向注意力,让Token并行交互;可学习的块大小校准和双向局部特征提取,则用于适配不同生成需求,以平衡长上下文能力与并行解码成本。
扩散智能计划基于该模型推出决策模型和多模态模型。决策模型面向快速、结构化判断,设想在一次生成中联合处理最多8个关联问题,以共享上下文并减少决策冲突,但具体效果仍待验证。Google的Gemini Diffusion、Inception的Mercury系列及LLaDA等项目也在推进扩散式文本生成;与此同时,自回归模型仍通过推测解码、架构和推理引擎优化提升效率。
Clover-35B-A3B-Preview的权重和代码已发布至Hugging Face、GitHub及ModelScope,采用Apache-2.0许可证,并支持SGLang、llama.cpp等推理后端。其35B规模和680 tokens/s数据为扩散模型提供了新的实证基线,但能否在统一硬件、相近质量要求下,将速度优势稳定转化为复杂Agent任务的成本和效率收益,还需要更多生产环境验证。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文