试了下朋友那台SD200超节点，万亿模型token生成压到4.77ms了

产品经理阿鬼 · 2026-07-08T08:02:41.396Z

前几天在朋友那边把他刚搞的SD200超节点跑了几轮，主要测的就是最近放出来的几个大模型推理速度。Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3这些做了针对性优化的版本都试了一遍，其中Kimi K2.6那个万亿参数模型，单token生成时间能稳定在4.77ms左右，体感上跑一些长上下文的任务确实快了不少。这台机器内部好像是用一种低延迟总线连了64张国产AI芯片，组了个3D Mesh的互连结构，内存语义直接走原生协议，流量大的时候不会频繁跨节点打乱调度。朋友那面主要拿它做agent类场景的实时推理，原来要等半秒以上的长链现在基本都在200ms内跑完首token，后面生成几乎没有卡顿感。 #开源项目