5070ti 16G 跑大模型推理速度实测与思考

综合讨论

109

5070ti 16G 跑大模型推理速度实测与思考

涂途说 · 2026-05-21T22:55:37.852Z

前置条件：5070ti 16G，llama.cpp，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（MoE 结构），速度大概 120t/s-150t/s，首 token 和后续输出都很快。 2. 跑 devstral small2 24b q4_k_m 量化（稠密结构），速度只有 8t/s-10t/s，首 token 慢，整体输出都慢得多。现在的模型分稠密（Dense）和 MoE（混合专家）两种结构。稠密模型是所有层都参与计算，比如 devstral 这个有 40 层，单 token 算力消耗约 48gflops（不算量化），算力成本高。 MoE 是总共 26b 参数，每次只激活 4b，算力消耗单 token 约 8gflops，小很多，但知识量还是 26b。gemma4 有 128 个专家，每次激活 8 个专家 + 1 个共享专家，靠动态路由选专家。常见几个顶级开源模型： glm5.1：754b 参数，激活 40b deepseek-v4 pro：1.6t 参数，激活 49b v4 flash：284b 参数，激活 13b minimax2.5：229b 参数，激活 10b MoE 虽然算力消耗低，但必须把完整参数全加载进显存，显存需求没降。推测以后顶级大模型可能只有 MoE 结构了，小参数可能还有稠密，因为算力成本还能接受，大稠密结构算力成本厂商也扛不住。本地部署方面，我觉得推理速度到 40-50 token/s 就能自用了，算及格线。目前觉得比较好的本地部署方案： 1. 买 NV 工作站显卡，pro6000 96G 二手 6w 多，pro6000d 84G（无 ECC，略差）二手 4w，pro5000 84G 这种。 2. 等 M5 Pro 的 Mac mini/Studio 发布后买，价格差不多或稍低。改显存、矿卡、二手专业卡就不讨论了，不太懂。 Mac 跑推理，看 OLMX 官网的推理速度榜还是差点意思，不知道 M5 Pro 的 Mac 会不会有明显提升。另外双 5070ti 跑模型推理不知道速度如何，价格相对便宜。我主板是 DDR4 PCIe 4.0，双卡要拆成 8x8，PCIe 5.0 更好，但得换主板内存，成本太高没试。如果内存便宜点，就换主板加内存搞个 5060ti 16G 来测，这也算一种方案。

涂途说Lv.1

18小时前

109