产品派
返回

中国电信开源29B模型,3090显卡可本地运行

AI量子位2026/9/20 20:22:41
AI 导读

中国电信推出并开源Xing4.0-29B-A4B,面向数据不能出域、算力有限但需要处理长文档和复杂业务的企业。模型采用MoE架构,总参数290亿、单次推理激活约40亿,4-bit量化后约占15GB显存,RTX 3090即可运行;其训练、框架和部署链路均完成国产化适配。

在FP16精度下,该模型约需60GB显存,量化后占用降低约75%。它可在本地完成文档理解、指标提取和信息整理,也能在约20分钟内初评一份200页投标文件,并分别给出技术、商务和价格评分依据。模型已登陆GitHub、Hugging Face、Gitee、魔搭和魔乐等平台,支持API调用,并进入Hugging Face趋势榜第四位。

Xing4.0-29B-A4B原生支持256K上下文,可扩展至512K,能够分析代码仓库、文档、日志和历史记录,并把Excel合同台账转成包含金额分布、风险识别和履约预警的管控大屏。在Agent任务中,它可以拆解需求、安排顺序、并行执行并调用天气、日程、提醒、出行等工具,持续推进到可验收结果。

模型已适配OpenCode、Claude Code、OpenClaw、Hermes等Agent或Harness框架,并兼容LLaMA-Factory、MindFormers、SGLang、vLLM和KTransformers。其智能客服方案已完成私有化部署,通话、身份和业务数据不出域,覆盖意图理解、工具调用、结果整合及合规校验,复杂业务办理成功率超过90%。

技术上,模型使用MLA压缩长上下文KV Cache,结合MTP加速生成,并引入mHC稳定层间信息传递。训练数据规模达数十万亿词元,经过PB级多源清洗,包含表格、知识图谱和Agent行为轨迹;后训练借助支持代码运行、搜索和工具调用的沙箱,并按4K、32K、128K、256K逐步扩展序列长度,采用多专家强化学习和MOPD融合Coding、Agent、Reasoning能力。

训练基于华为昇腾910C集群及MindSpore/MindFormers,完成新架构适配、跨框架精度对齐和融合算子开发,并使用Muon、QK-Clip、DVM图算融合、细粒度重计算和Ascend C算子降低开销。官方称整网训练吞吐较开箱性能提升约96%,后训练采用的Slime框架也已适配昇腾生态。

企业可将模型预集成到算网一体机,或在符合数据管理要求的前提下通过智算专线弹性调用云端算力;采用国产芯片的用户还可借助FlagOS降低迁移成本。该方案覆盖消费级显卡、一体机和云端部署,意在把星辰系列中的轻量模型更直接地落到企业办公场景。

国产大模型本地部署AI办公智能体

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文