ForgeKernel登顶两项算子榜,AI优化性能超越人工调优
AI雷锋网2026/10/26 14:58:00
AI 导读
大模型竞争正在从模型能力延伸至算力执行效率。模型最终要依靠算子在芯片上运行,即使模型和硬件完全相同,替换更高效的算子也可能带来数倍性能差异。算子效率不仅影响显卡能够达到的运行速度,也直接关系到每个 token 的推理成本。
DeepSeek近日开源了完整推理框架 DeepInfer。在此前开放模型权重、FlashMLA和DeepGEMM等算子库之后,此次进一步公开了模型运行链路。其FlashMLA部分版本由工程师针对芯片逐行手动调优,性能已达到相应硬件理论极限的90%以上,被视为部分芯片上人工优化所能取得的较高水平。
截至10月22日,完全由AI编写、且没有人工逐行调参的ForgeKernel,在两项算子评测中同时排名第一:一项是英伟达生态中的SOL-ExecBench FlashInfer-Bench合集,另一项是昇腾CANN官方仓库维护的CANNBench A3硬件榜。其基准加速比达到1.835倍,比第二名高25%。此外,在DeepSeek v4.1 Flash相关算子测试中,ForgeKernel通过从零开始的AI迭代优化,也超过了DeepSeek公开的英伟达版本。
这表明,算子优化正成为AI系统竞争的新环节。开源模型、推理框架和算子库持续释放工程能力,而AI自主编写与优化算子的进展,则可能进一步推动国产模型在不同芯片上的运行效率提升。
英伟达 SOL-ExecBench FlashInfer-Bench
昇腾 CANNBench A3 硬件榜
算子优化大模型推理DeepSeekForgeKernel昇腾
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文