企业级Agent应以规则划界并保留人工兜底
企业级 Agent 一旦从问答扩展到下单、调度、修改生产系统和参与决策,错误就可能造成交易失败、资损甚至生产中断。围绕自主权边界,NoDesk AI CTO 王仿主持了由飞猪算法专家吕德涛、货拉拉技术总监亓隆基、江苏移动 AI 方向 CTO 王上淇参与的讨论。
嘉宾认为,模型本质上仍是概率预测系统,存在幻觉和不确定性;业务系统则要求结果稳定、可追责。因此,Agent 应在确定的业务边界内工作,关键流程交给规则、求解器或传统算法,AI 主要用于意图理解、规则描述和代码生成。企业还需通过 Harness、权限控制、重试限制和人工确认,避免无意的高频调用耗尽 Token、算力或压垮接口,现场曾出现智能体拖垮生产系统、内部数据库接口被并发打崩并影响线上半小时以上的案例。
从建议走向执行,核心门槛不是会不会调用工具,而是能否对最终结果负责。以购买两大一小的迪士尼门票为例,票种、人数、库存和最低组合价格应由可验证、可复算的程序处理;酒店及房型 ID 可用短 ID 交给模型,展示时再还原;钱包权益、退款、支付等高风险操作必须由用户或员工确认。货运场景中,Agent 可以根据“运输双开门冰箱”等描述帮助选车,但冰箱需直立运输、异形件摆放等规则仍应由工程逻辑保证。
企业落地还受到准确率、权限、时延和可解释性的共同制约。报关、包材审核等场景涉及多模态识别、法规匹配和多跳规则,可能一次审核六七十份文件、数百个字段,甚至覆盖200多个校验项;客服退款、营销价格和外呼报价出现一个错误,就可能造成直接损失。系统不仅要达到约90%至95%以上的稳定完成率,还应展示字段解析、判断依据和依赖规则,不能依赖黑盒输出。
王上淇表示,企业专属知识、权限和流程规则通常不在通用模型掌握范围内,完全依赖大模型既浪费资源,也难以追责。实践中可让业务人员借助 AI coding 把确定性规则固化为代码,再由 AI 串联主流程,并用测试用例持续校验。若问题来自意图识别,就调整提示词或补充条件;若规则正确但代码生成有误,则修正代码。企业 Agent 的真正壁垒,最终是私有数据、工具链、业务规则与评测体系能否在真实环境中闭环验证。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文