超节点竞争转向芯片协同与模型实际性能
AI算力基础设施正从比拼GPU数量,转向比拼能否让数十、数百乃至上千颗芯片像一台计算机一样协同工作。英伟达GB200 NVL72、华为CloudMatrix 384与Atlas 950 SuperPoD等产品,推动超节点成为新的基础设施焦点。
传统集群以八卡服务器为基本单元,服务器内部依靠NVLink等高速互联,服务器之间则使用InfiniBand或以太网。模型规模扩大后,跨节点通信、数据搬运和同步等待会吞噬算力收益。2024年3月发布的GB200 NVL72将72颗Blackwell GPU置于同一NVLink域,把紧耦合范围扩展到机柜级。
模型实践也显示互联会影响架构设计。2025年5月,DeepSeek披露其H800系统中,节点内NVLink有效带宽约160GB/s,跨节点InfiniBand约40GB/s,相差约四倍,因此限制混合专家模型中每个Token访问的专家跨越节点数量。华为云2025年4月发布CloudMatrix 384并实现规模部署,2026年7月展示1024卡Atlas 950 SuperPoD,提供256TB统一内存编址空间。
浪潮信息的元脑SD200 Ultra则以128颗国产AI芯片组成紧耦合系统,提供8TB统一编址显存,并针对通信和算子优化,可承载2.8万亿参数的Kimi K3,生成时延达到5.85毫秒,相当于单用户170 Tokens/s。相比之下,未经优化的超节点运行该模型,初始速度可能只有约10 tokens/s,说明“装得下”不等于“跑得快”。
超节点的核心指标不应只是卡数。模型精度、上下文长度、并发请求、并行策略及专家分布,都会改变内存和互联需求。较小计算域可能更适合拆分成多个实例,而超大域也可能因通信、调度、拓扑和远端显存访问成本上升而降低效率,新增一倍芯片未必带来等比例性能。
统一寻址是部分厂商定义超节点的重要基础,但统一地址空间并不等于本地访问成本。系统还需处理链路拥塞、通信计算重叠、资源弹性分配和任务隔离,让大任务使用完整计算域、小任务共享剩余资源。长程Agent运行数小时甚至数天时,故障隔离、状态保存、重试迁移和恢复能力同样关键。
更大规模还意味着更高的供电、散热、机房改造、软件适配和运维成本。最终,超节点是否值得采用,要看目标模型能否达到预期时延和吞吐,以及故障影响范围、恢复时间和整体投入回报,而不是只看发布会上的连接卡数。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文