- 产品派

pmagui · 2026-06-26T15:55:31.494Z

刚看到 DeepSeek 和北大一起开源了个 DSpark 框架，说是专门解决大模型在高并发时推理效率的瓶颈。已经用在 DeepSeek-V4-Flash 和 V4-Pro 的预览版服务引擎里了，相比之前生产环境用的单 token 推测解码基线 MTP-1，同等吞吐量下单用户生成速度能提升 60% 到 85%。论文和训练代码在 GitHub 上开放了。大模型自回归生成时每吐一个 token 都得做一次完整前向传播，延迟会随输出长度线性增长，这算是现在对话系统响应偏慢的一个主要原因吧。

pmagui

1个月前