Google Cloud API Gateway新增实时流式处理能力
Google Cloud宣布,API Gateway新增流式处理能力并进入公开预览,可将传统请求—响应模式扩展到实时通信场景,重点服务于流式模型输出、多步骤智能体工作流和交互式会话等AI应用。
此前,开发者若希望实现流式体验,通常需要在网关前端接入与放弃流式传输之间取舍,或者让流式端点绕过网关,进而失去身份验证、API密钥校验和可观测性。新功能允许流式端点继续运行在API Gateway之后,并继承既有安全策略与治理能力。
该服务支持服务器发送事件(SSE)、分块传输编码、HTTP响应流式传输、WebSocket和gRPC。单条流式连接最长可保持一小时,超过时限后,客户端需要重新建立连接。启用流式能力不要求修改现有API规范,也不需要额外API、扩展或注解;API密钥强制执行、JWT验证、后端服务账户认证、Cloud Logging、Cloud Monitoring、路径模板和请求路由等功能仍可正常使用。不过在预览阶段,创建网关时必须通过命令行参数`--enable-streaming`显式开启,已经存在的网关也不能直接切换到该模式。
此次更新还引入了可预测的网关主机名。过去主机名包含创建后才生成的哈希值,如今统一采用`GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev`格式,开发者可以在资源创建前完成引用和相关配置。
对于逐步生成结果的AI应用,流式能力可用于实时输出模型回答、展示智能体多步骤任务进展、支持工具调用协议和连接远程MCP服务器。API Gateway同时提供模型路由,通过兼容OpenAI的统一端点,根据请求中的模型字段将流量转发至Gemini、Claude或OpenAI gpt-oss模型,从而在保持标准化流式接口的同时,集中管理模型访问范围、访问主体和相关策略。
需要注意的是,用户emildrops和Ehsan Elahi Zaheer指出,网关目前不能原地启用该能力,且延迟指标统计的是完整数据流持续时间,而不是首字节到达时间。因此,监控图表可能无法准确反映用户首次看到内容的体验,甚至在没有故障时呈现异常延迟。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文