- 产品派

产品经理阿鬼 · 2026-09-15T11:03:08.274Z

最近把自己维护的 GT AI Gateway 更新了一版，主要还是解决团队共用大模型 API 时的几个麻烦：不想把上游 Key 直接发给每个人，又需要控制用量、避免泄漏，还得能看请求和耗时记录。这版加了多上游负载均衡和自动故障切换。同一个模型可以挂多个上游，请求会按规则分摊。也可以让同一个用户固定走同一个渠道，方便提高缓存命中率。某个渠道出问题后，是否自动切到其他可用渠道也能单独配置。限流和访问控制也是这版新增的。可以按用户设置每分钟请求上限，也可以按模型、按渠道限制总量，避免有人跑批任务或写出死循环，把整个上游额度占满。请求被拦截时会返回需要等待多久，客户端可以按这个时间退避。模型权限也能按用户配置。它本身是个轻量级 AI API 网关，支持 OpenAI、Anthropic、Gemini 等接口的统一接入和协议转换，也能在网关层分析或改写请求体、提示词，记录请求、响应和耗时。部署方式比较多，Serverless 模式用 Cloudflare 的 D1，其他环境默认用 SQLite，也支持 Docker、本地源码运行和跨平台桌面端应用。代码仓库放在项目页，项目名是 GT AI Gateway。现在用下来，比较适合小团队统一管理几个模型接口，或者给内部成员分发访问权限。