商汤大装置以异构推理提升Token服务效率

10月16日，第十届CSDI Summit中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO宣善明围绕Agentic时代的Token增长、异构推理集群和基础设施演进分享实践。随着应用从问答转向多Agent协作及长任务执行，Token需求可能增长千倍，竞争重点正从算力规模转向低成本、稳定地产出高质量Token。

推理任务对资源的要求并不相同：问答重视成本与并发，办公和客服关注首Token延迟（TTFT）及生成速度（OTPS），科研和金融场景则强调准确性、可审计性与可追溯性。预计推理支出占AI IaaS比例将从2026年的55%升至2027年的59%，长上下文缓存、调用成功率等指标也会共同影响服务质量。

商汤大装置以PD分离为核心，将Prefill与Decode解耦，分别交由更适合的国产算力和高带宽高阶GPU处理，并通过KV Cache连接。在临港AIDC，其已构建万卡级异构推理集群，融合800G、400G和200G网络。针对Decode节点故障导致大量Prefill资源闲置的问题，系统会预留高端节点补位，或支持节点动态切换角色；平台还形成覆盖能源、互联、KV数据面、运行时、调度和交付的六层架构。特定测试中，相同高端旗舰卡数量下，Token吞吐量达到基准方案的5倍。

为提升集群稳定性，部分配置需30至50个中低阶Prefill节点匹配一个Decode节点，因此故障容错和弹性调度尤为关键。通过资源池预留、角色动态流动等方式，系统在控制成本的同时维持持续服务能力。

该平台还探索跨域PD分离，让本地中低阶算力执行Prefill，再把KV Cache传往异地高阶集群完成Decode，实现跨集群、跨机房和跨地域编排。部分模型的1M上下文KV Cache已由近100GB降至约1GB，降低了传输压力；引入主体Decode节点（MD）和中继Decode节点（RLD）后，不具备完整高阶算力的区域也能参与协同。

AF分离则把Decode中的Attention与FFN拆开，前者偏重显存容量和带宽，后者依赖矩阵计算能力，分别部署到更匹配的硬件上。相关探索预计可使单卡吞吐提升150%至200%、运营成本下降30%至40%，能效提高两倍以上，实际效果取决于模型、硬件和系统实现。

宣善明表示，推理基础设施应以端到端SLA和单位有效Token成本衡量价值。目前商汤大装置平台日均Token服务量约6万亿，预计2026年全年规模增长25倍，并在第四季度达到日均10万亿Token。其目标是把依赖经验的调参转变为可度量、可优化、可验收的系统工程。