- 产品派

小强 · 2026-08-17T01:24:52.000Z

有研究对26个7B模型做了测试，发现QK归一化、分组查询注意力、滑动窗口注意力、较短预训练上下文等设计，单看影响不算明显，但组合在一起可能明显削弱长上下文表现。在HELMET 32K评测里，不同模型分数从29.9到56.4差距很大，而短上下文测试几乎看不出区别。这也提醒大家，长上下文能力不是训练后期才决定的，架构阶段就该提前压测。

小强

21天前