产品派
返回

Grab用LLM-Kit将智能体上线周期缩至约1小时

AIInfoQ 中文站2026/9/18 19:05:43
AI 导读

Grab已用LLM-Kit为500多个内部智能体服务提供标准化支撑。这个脚手架与集成工具集内置智能体执行循环、评估、链路追踪、密钥管理和工具服务器连接能力,服务每天被数百万商家、司机与消费者使用。

借助这套方案,新智能体接入生产环境的时间已从过去两周甚至更久缩短到约1小时。推理循环本身只需一个下午即可完成,真正耗时的是密钥、服务发现、可观测性和评估等生产化配套工作。

LLM-Kit并未创造新的智能体抽象或领域专用语言,而是建立在Grab现有基础设施之上。工程师填写表单后,即可生成一个GitLab代码库和可运行的FastAPI服务模板,内含LangGraph Agent、OpenTelemetry追踪、Vault密钥管理、服务发现以及从首次提交便可使用的评估端点;评估支持ROUGE、BLEU和模型评分器。

工具不会被预先固定在单个服务中。智能体运行时可从50多个已注册的MCP服务器发现工具,一项能力注册一次即可供所有智能体使用。模型调用则统一经过兼容OpenAI接口的GrabGPT Gateway,该网关已接入五家模型服务商并负责注入凭证,应用代码无需写入供应商信息。

Grab选择框架而非封闭平台,是为了避免团队被快速过时的预设方案限制,并保留对既有开发流程的适配能力。模型网关能够抽象模型层,但框架、运行时和团队形成的开发方式仍需由共享框架承载。

在安全与运营方面,Grab网络安全团队今年6月介绍的Palana支持团队在控制身份、密钥、网络访问和可见性的同时试验自主智能体;分析团队还建设了多智能体工程支持系统。此前的相关分析指出,智能体技术锁定会在模型、框架、运行时和开发范式等多个层面累积。

当服务规模达到500个后,问题也从单体框架扩展到平台治理:网关统一管理模型调用,远程MCP支持工具复用,评估平台则判断提示词调整是否真正改善了智能体。Amazon Bedrock AgentCore和谷歌Agent Runtime已能为现有框架编写的智能体提供托管、身份、网关和可观测性能力。对团队而言,关键成本可能不在选择哪种智能体库,而在凭证管理、追踪和评估体系由谁建设与维护。

智能体LLM-KitMCP平台工程生产部署

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文