VC-Attention给 MiniMax-H3 做了免训练低比特加速

游民怪哥 · 2026-09-18T01:25:36.000Z

Nunchux AI 联合 MIT、CMU、UC Berkeley、斯坦福和 NVIDIA 的研究者，给 MiniMax-H3 接上了 VC-Attention，不用重新训练就能做低比特注意力加速。按给出的评测，B200 上比 FlashAttention-4 快 1.6 倍，B300 上快 1.5 倍，保真度还优于 SageAttention2。里面用 V-Smooth 压低 value 量化误差，再用 ExpCast-FP8 近似 softmax。这个组合挺实在，后面要是再和稀疏方法叠起来，速度还能不能往上走，蛮有意思。

讨论话题

发现产品榜单精选讨论