产品派
返回

北大团队分享多智能体推理缓存优化成果

AIInfoQ 中文站2026/11/17 19:02:37
AI 导读

多智能体应用进入代码生成、深度研究和社会模拟等场景后,任务分解、工具调用、结果汇聚及多轮交互会显著增加推理系统压力。性能评估也不应只看单次模型调用速度,还要关注任务完成时间、轮次延迟、尾延迟、显存占用和可支持的并发规模。

2026年AICon人工智能开发与应用大会北京站将于12月18日至19日在北京新云南皇冠假日酒店举行,主题聚焦AI应用边界,设置13个技术专题。北京大学集成电路学院助理教授、博士生导师卓有为将参加“大模型推理与算力调度实践”专题,分享多智能体推理调度与缓存优化工作。他的研究方向涵盖计算机体系结构、设计自动化及先进器件与集成工艺交叉领域。

报告指出,多智能体系统存在关键任务资源竞争、工具等待造成显存闲置,以及不同智能体缓存重复保存等问题。TokenCake将依赖关系、工具调用和运行状态传递给推理系统,通过动态显存分区、主动卸载闲置缓存和预测式回迁,减少关键路径阻塞与上下文重算。TokenDance则针对“生成—汇聚—共享”的轮次协作模式,采用集合式缓存复用、共享主副本加私有差分存储,以及融合恢复机制,降低重复计算和数据搬运成本。

相关实验显示,在论文设定的显存受限配置下,TokenCake相比vLLM最多将端到端时延降低47.06%;在相同服务时延约束下,TokenDance支持的并发智能体数量最高达到启用前缀缓存vLLM的2.7倍。报告还将结合代码生成、深度研究、GenerativeAgents和AgentSociety案例,讨论工具时延波动、共享比例变化、负载增长时的策略选择、回退路径和容量规划。

大会还安排后训练工程、知识工程、Multi-Agent Systems、智能体评测与安全、AgentOps、自进化智能体、AI软件交付、个人智能体、AI原生架构及产业智能化等专题。当前报名可享九折优惠,立减580元,咨询电话为13269078023。

多智能体大模型推理缓存优化算力调度

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文