Cloudflare Auto Router公测:成本约降至三分之一
Cloudflare通过AI Gateway推出Auto Router公测版,用户将模型指定为cloudflare/auto后,系统会为每次请求自动选择模型。其公布的一项基准测试显示,自动路由在可靠性和成本之间取得了较明显的改善,但也暴露出模型选择与评测方法的局限。
路由流程分为两步:首先建立候选模型池,排除不支持当前请求格式的模型,并结合凭证、计费设置、访问控制和支出上限进行筛选;随后,运行在边缘GPU上的Workers AI分类器,将请求划分到14类任务,并从复杂性、歧义性、风险程度、上下文依赖四个维度分别以1至5分评估。系统再将这些结果与基准数据结合,以“效用=预期质量-自适应成本惩罚”为依据选择模型。
分类只参考最近几轮请求,输入文本上限为8KiB。系统会评估候选模型在不同任务上的能力,以及模型升级对复杂任务可能带来的收益;任务越困难,价格因素在最终决策中的权重就越低。该设计试图把计费从单次调用扩展到任务完成效果,而不只是比较每个请求的模型价格。
一项测试包含97个任务,每个模型分别采样三次,并进行1万次Bootstrap重采样。结果显示,采用Auto Router后可靠性约提升10个百分点,同时成本约为原来的三分之一。相关讨论认为,真正应衡量的是后续人工修正成本:如果便宜模型导致人员额外花一小时返工,表面的调用节省可能并不成立。
风险判断是争议焦点之一。由于分类器偏重最近几轮内容,较长智能体会话中早先出现的“客户退款”等高风险信息可能被忽略。更稳妥的做法是由应用维护跨轮次风险标签,再决定请求是否交给Auto Router,避免最终一条简短指令不当地降低操作风险。响应会返回cf-aig-routed-model和cf-aig-routing-reason,后者可能包含cost_optimal_within_pool或pinned_by_turn,便于审计;也可用cf-aig-allowed-models、cf-aig-allowed-providers请求头限制单次请求的模型池,但暂时不能保存为路由配置文件。
当前默认模型池列出Claude Opus 5、Sonnet 5、Fable 5,以及GPT-5.6 Luna、Sol、Terra和Grok 4.5;作为基线的Opus 5.5和GPT-6 Sol则需通过请求头加入可选池。由于模型池会随时间变化,复现测试时必须确认网关实际调用的模型。若缺少会话ID,同一对话可能切换模型并失去提示词缓存;系统还会按上下文长度增加切换惩罚,因为新模型可能重新生成推理Token并产生输出费用。
部分评论者认为,自动路由可能以更低智能换来更高总成本,重要任务直接使用强模型反而更划算,也有人主张应以任务而非请求作为计费单位。分类器、路由权重和模型能力还会随模型更新而过时,目前新模型需要手动加入评分矩阵。Auto Router公测期免费,后续价格尚未公布,现阶段不支持WebSocket,仅支持Chat Completions和Responses API。路线图中的cloudflare/auto-best将使用相同分类器和模型池,但不考虑成本,直接选择预期质量最高的模型。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文