- 产品派

pmagui · 2026-06-26T15:55:31.494Z

刚看到 DeepSeek 和北大一起开源了个 DSpark 框架，说是专门解决大模型在高并发时推理效率的瓶颈。已经用在 DeepSeek-V4-Flash 和 V4-Pro 的预览版服务引擎里了，相比之前生产环境用的单 token 推测解码基线 MTP-1，同等吞吐量下单用户生成速度能提升 60% 到 85%。论文和训练代码在 GitHub 上开放了。大模型自回归生成时每吐一个 token 都得做一次完整前向传播，延迟会随输出长度线性增长，这算是现在对话系统响应偏慢的一个主要原因吧。

产品派

登录

产品派

模式切换

跟随系统明亮模式深色模式

产品派

登录

琼ICP备2022006744号-8 琼公网安备46020002000453号

关于我们

请输入搜索内容

发布产品发起讨论免费

pmagui

3个月前

讨论话题

发现产品榜单精选讨论