产品派
返回

范式智能与睿思智联开源生产级AI平台模域

AIInfoQ 中文站2026/10/16 17:01:09
AI 导读

10月16日,范式智能与北京睿思智联科技有限公司宣布,一站式生产级AI部署平台“模域”(ModelSphere)正式上线。平台面向企业免费开源,将算力管理、模型部署和运行优化集中到统一系统,帮助企业把算力转化为安全、稳定、可用于实际业务的AI服务。

随着大模型进入规模化商业应用,企业在算力统筹、芯片适配、模型上线和生产环境调优方面,仍普遍面临资源利用率不高、部署复杂、生态割裂等问题。模域通过统一部署和管理流程,减少底层系统适配、资源调度与日常运维的重复工作,使团队无需深入掌握驱动编译和硬件适配,也能将开源模型接入业务系统。

平台提供图形化操作面板和预置部署能力,可降低环境配置与代码编写要求,并简化异构芯片集群的部署。其企业级功能包括自动弹性扩缩容、PD分离部署、三级KV缓存、高可用负载均衡,以及服务中断后的自动续写,旨在保障模型服务在生产环境中持续稳定运行。

在性能优化方面,模域内置AutoTune智能模型排期策略,并结合硬件加速能力实施自适应负载均衡调度,以改善请求处理能力和首次响应速度。官方数据显示,系统极限吞吐较基准提升约285%,整体性能达到原来的4倍。平台还融合EngineX推理引擎,可统一管理并混合调度华为昇腾、天数智芯、摩尔线程和海光DCU等国产算力资源,减少针对不同芯片重复编写底层逻辑的需要。

模域团队持续跟进开源社区进展,目前已针对DeepSeek-V4、DeepSeek-V4-Flash、Qwen、Kimi、MiniMax和GLM等主流模型进行适配与优化,支持新模型发布后的快速部署,并进一步调优至生产环境。

在技术栈中,模域与vLLM、SGLang等推理引擎形成配合:推理引擎侧重提升单台服务器的计算效率,模域则负责集群层面的纳管和优化,包括负载与缓存感知的请求路由、统一KV缓存池、基于服务质量的自动扩缩容、服务断流续写、依据线上数据进行自动性能调优,以及运行监控和服务管理。项目采用Apache 2.0协议,已在GitHub开源,地址为https://github.com/modelsphere/modelsphere。

AI部署算力调度大模型开源平台国产芯片

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文