Grafana用SLO量化AI智能体行为可靠性

Grafana Labs提出将可靠性工程中的评估、服务级别目标（SLO）和错误预算引入AI智能体监控，用于衡量幻觉、任务完成度、回答依据、毒性、隐私泄露、提示词注入影响及成本等行为表现。传统监控只能说明响应速度、技术错误和Token消耗，却无法判断答案是否正确、有用或符合上下文。

该方案首先通过评估检查单次交互是否达到特定行为标准，既可以让另一个语言模型担任裁判，也可以在适用时使用正则表达式等确定性规则。Grafana不建议把所有维度压缩成一个“智能体质量分数”，因为一个系统可能回答有依据但成本高，也可能有帮助却偶尔产生有毒内容。将各项行为拆分为独立指标，才能分别设定目标。

例如，团队可以规定30天内至少95%的对话完成用户请求，未达标的5%便构成错误预算。当预算充足时，可以继续尝试修改提示词、模型或工具；预算快速消耗时，则应暂停实验并优先修复质量问题。这种机制尤其适合发现缓慢的行为退化：模型、提示词、检索方式或用户变化，可能让答案质量每天下降几个百分点，但系统仍未出现明显技术故障。

目标值并没有统一答案，任务完成度或回答有据性究竟应达到85%、95%还是99%，行业尚无共识。Grafana建议先用评估建立基线，再依据历史数据设定目标，并随着智能体成熟逐步收紧。其自身对Grafana Assistant的实践还区分了离线评估与在线评估，前者验证已知场景中的变更，后者观察真实生产交互。

这一方法的风险在于，SLO是否可信取决于底层评估。如果作为裁判的模型持续误判，或评估标准只奖励形式上合格却没有满足用户意图的回答，错误预算就会制造虚假的精确感。因此，组织需要准备有代表性的评估集，清晰定义可接受行为，在合适场景采用确定性检查，对模糊案例进行人工复核，并持续验证评估器本身。

从更广的行业实践看，Anthropic通过明确任务、重复试验和多个评分器评估智能体，并区分pass@k与pass^k：前者关注多次尝试中是否至少成功一次，后者关注是否每次都成功，后者更贴近生产可靠性。OpenTelemetry则在推动智能体遥测语义标准化，为跨框架、跨供应商的追踪、指标和日志提供基础。整体来看，评估负责判断行为，观测提供证据，SLO则定义行为是否可以接受的运行边界。