FlagOS 2.2扩展算子与芯片协同优化能力
2026年10月17日,北京举行人工智能开放计算大会暨众智FlagOS技术大会。FlagOS 2.2于9月30日发布,展示了从算子、编译器到模型部署和服务的进展,重点回应模型快速迭代与算力基础设施长期服役之间的矛盾。
该版本覆盖9个算子库,公开算子由564个增至1454个,新增890个;在10款异构AI芯片、上千个算子测试中,整体跨芯性能提升约27%。GLM-5.3-Flash在存量昇腾910B上的逻辑服务吞吐达到优化前2.04倍,特定条件下算力租金成本较商业API参考低19.4%至27.6%。
FlagGems扩展了线性代数、归约和训练反向接口,新增FlagGems-SGLang,提供40个覆盖Attention、Mamba、MoE、LoRA、采样和量化的多芯算子;FlagGems-vLLM补充MLA、KDA/GLA/GDN2、TopK及低精度计算,并为Qwen3.8-Flash-Next增加8个融合算子和完整CUDA Graph支持。
FlagOS将算子实现与FlagTree编译、算子融合、混合精度、执行路径选择及自动调优结合,推动优化从单点突破转向规模化跨芯提升。
KernelGen已支持9款AI芯片,本季度生成765个算子,其中416个在至少5款国产芯片上完成精度验证,并达到原生算子80%以上性能。FlagPrism则关联Triton源码、编译器IR和设备执行信息,支持昇腾、天数智芯、摩尔线程、英伟达和燧原,提供数值调试与性能分析能力。
FlagOS通过统一插件接入vLLM、Megatron-LM、TransformerEngine、SGLang、Torch、VeRL和LightX2V等框架,可按策略调用FlagOS、厂商或PyTorch实现,并支持缓存和失败回退。
FlagOS-Compressor首次发布,统一处理权重转换、量化、导出和校验,可按模块保留高精度。Qwen3.8-2.4T-A95B支持BF16、FP8至INT8路径;Qwen3.5-397B-A17B采用W8A8后模型文件从751.41GB降至382.45GB,缩减49.1%,GPQA-Diamond准确率为84.85%,并完成H20及国产PPU验证。
依托插件、算子、编译、量化和评测工具,FlagOS过去半年多次实现新模型一天内适配最多12款芯片,并将模型和配置发布至Hugging Face、魔搭等平台。
中国电信星辰模型已完成Xing4.0-29B-A4B在10款芯片上的适配、精度对齐和部署验证;其中苹果M5 Pro与此芯P1采用W4A8量化。高并发长输入测试中,首Token时延降低19.87%,解码速度提升26.32%。
在真实服务中,DeepSeek V4.1 Flash于H100上32路和64路并发的解码速度分别提升19.7%和18.0%;平头哥810E上24路和48路并发分别提升83.1%和91.5%。GLM-5.3-Flash在910B上的吞吐由8.52k升至17.36k tokens/s;256K输入场景算力成本为59.27元,较API参考低19.4%,512K输入场景为104.53元,低27.6%。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文