Cloudflare开源Clef决策模型,支持多模态低延迟推理
Cloudflare在近期的“生日周”活动中推出开源权重决策模型Clef。该模型面向预设选项分类,而非自由文本生成,同时发布了270亿参数的Clef和更小的90亿参数版本Clef-Flash,并提供用于适配具体决策任务的平台。
Clef接收当前状态以及带有类型定义的问题Schema,通过一次前向推理,直接返回每个问题及其候选选项对应的概率。模型支持文本、JSON、图像和视频等输入,避免了生成自然语言结果后再进行解析的过程。
这类类型化、带概率的分类结果可以交给AI智能体,用于决定下一步操作,例如分配或升级客服工单,也可以在模型不确定时转交人工处理。其API兼容Typesafe AI的Jev System One模型。
Cloudflare表示,模型部署在自有基础设施上,可利用边缘GPU降低网络传输延迟,从而把Clef放入智能体的核心决策路径,再与Workers AI中的大语言模型协同完成后续动作。针对延迟敏感场景,Clef-Flash在内部基准测试中的中位延迟为38.8毫秒,270亿参数版本为209.3毫秒。
与目前主要进行文本分类的Jev相比,Clef配备视觉编码器,能够对图像内容进行分类;其上下文窗口达到64K,是Jev 32K的两倍,可容纳更多状态信息。社区讨论则对“决策模型”是否构成全新品类、公开基准的代表性以及开源权重的实际价值提出了质疑,也有人建议重点测试模型在误报代价高于漏报的场景中能否识别自身不确定性。
Cloudflare计划利用历史标注数据,针对客服工单分级、机器人识别等任务对Clef进行微调,以提升准确率和速度。同时,公司已推出微调服务,客户可以使用自有数据进行适配;初期将由工程师协助,面向用户的自助平台计划后续上线,具体时间尚未公布。当前模型已通过Workers AI提供,并可从Hugging Face下载权重供开发者试用和反馈。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文