会话追踪与成本控制助力排查AI智能体故障

生产环境中的智能体可能持续调用错误工具，却不触发传统可用性告警。8月4日，StackGen首席工程师Sabith K Soopy在一篇CNCF文章中分享了团队数月运行智能体的经验：真正困难的不是搭建系统，而是在系统出错后还原其具体行为。普通应用监控只能确认服务是否响应，难以解释自主工作流为何循环、调用无效接口，或声称完成任务却实际跳过执行。

StackGen使用Langfuse记录嵌套会话。每次大语言模型调用、工具执行和子智能体委派都作为独立span保存，并附带延迟与token成本；子span嵌套在父级trace下，可还原多智能体之间的完整委派链。为避免遥测系统反过来阻塞业务，建议采用异步批量导出，让数据先在内存中排队并定期刷新，后端暂时不可用时最多丢失追踪信息，不影响智能体继续运行。

成本治理则应在执行前介入，包括设置严格的迭代上限、限制单个工具的调用次数，并检查即将执行的请求，拦截相同工具的重复调用。简单的去重只能解决部分问题，还需要把单次会话成本与各智能体的滚动平均值比较，以识别模型路由错误、工具幻觉及多轮交互造成的上下文无限膨胀。对运行速度较快的并行智能体，事后等待告警通常已经太迟。

为便于复盘，工具调用、治理决策和内存操作应写入仅追加且可搜索的日志，并在存储前脱敏凭据及个人身份信息。配套命令行诊断工具可在一次执行中检查模型API访问、向量数据库连通性、待处理审批、内存计数、追踪后端连接和各项集成健康状况。已完成的追踪还可由自动分析器标记执行耗时、工具故障、重试次数及token效率问题，供人工复核。

运维指标可有限导出至Prometheus，例如工具错误率和审批延迟直方图，但不应把动态会话ID作为指标标签，否则会形成高基数时间序列，甚至拖垮指标服务器。细粒度会话上下文应留在追踪或结构化日志中，追踪负责调试，指标则负责告警。

跨环境评估还可借助OpenTelemetry生成式AI语义约定，统一描述模型操作、token消耗和工具调用，并规范客户端、服务器及模型上下文协议的span。LangSmith能够把生产异常追踪转成测试数据集，用于回归基准和质量监控；开源Arize Phoenix则结合原生OpenTelemetry追踪、自托管大语言模型评审器与提示词实验，形成从执行记录到输出质量评估的闭环。