产品派
返回

Snowflake推出AI Gateway统一管理模型与Agent成本

AIInfoQ 中文站2026/10/22 19:05:26
AI 导读

企业AI技术栈正变得越来越复杂,向量数据库、监控系统、Pipeline调优工具,以及编程Agent、嵌入式Agent和MCP服务器彼此连接,模型也在数周级别持续更换。不同团队各自接入组件后,企业往往难以准确掌握正在调用哪些模型、由谁发起、执行了什么操作以及产生了多少成本。单纯限制员工使用AI,反而可能促使其转向未经批准的工具,扩大安全风险。

Snowflake认为,问题核心在于企业缺少位于AI客户端与企业系统之间的统一控制节点。已进入公开预览阶段的Cortex AI Gateway,定位为集中式AI基础设施控制平面,提供统一且受治理的模型推理、动态模型路由、MCP与工具治理、集中式可观测性、安全护栏,以及成本治理和控制六项能力。平台团队可以借此管理模型和MCP服务器权限、归因并控制支出,应用团队则通过单一端点进行开发。

在模型访问方面,Gateway将不同供应商的调用路径整合到一个入口,支持OpenAI、Grok、GLM、Gemini、Llama、Mistral和DeepSeek的Chat Completions API,以及Claude的Messages API,并兼容流式传输、工具调用、结构化输出、Prompt缓存、图像输入和推理等能力。现有客户端通常只需替换base URL和token,访问控制则沿用Snowflake的RBAC机制。未来Snowflake CLI还将通过“snow ai opencode”自动注入凭证并启动经Gateway路由的OpenCode。

动态模型路由功能即将进入私有预览。系统会根据Agent每一步任务的复杂度,在获批模型中选择能够可靠完成工作的最低成本选项。内部dbt Pipeline评估显示,在质量相当的情况下,token效率最高提升至3倍;另一项编程测试中,工程团队在保持Pull Request吞吐量不变的同时,将token用量减少约25%。路由决策遵循数据驻留和治理规则,并会被记录,便于合规审查;DeepSeek-V4-Flash在ADE-bench中取得74.4%,GLM-5.2取得66%且token消耗最低,GLM-5.3也将进入私有预览。

工具治理主要针对MCP带来的新访问路径。Cortex AI Gateway的Tools功能目前处于私有预览,内置超过100个经过筛选并完成OAuth授权的MCP服务器。管理员可以启用指定工具、全部现有工具,或包括未来新增工具在内的全部工具;未获批准的能力对客户端不可见。系统还能记录工具调用,将同一Prompt触发的Agent执行过程串联,并把工具调用Span与模型推理写入同一Trace,以识别工具投毒、工具遮蔽和Rug Pull等攻击。

在可观测性方面,企业通常只能依赖过时的Agent清单,约三分之一受访客户通过自建仪表板监控Agent。云安全联盟调查还显示,过去一年有82%的组织至少发现过一个此前未被安全或IT团队知晓的AI相关对象,进一步说明统一运行轨迹和实时监督的重要性。

企业AIAI网关Agent治理MCP成本控制

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文