LimiX-2发布并登顶三项结构化数据评测
稳准智能联合清华大学计算机系崔鹏教授发布新一代结构化数据基础模型 LimiX-2,参数规模提升至 400M。该模型在 TabArena、BCCO、TALENT 三个国际主流结构化数据评测中,总体 Elo 分数分别达到 1935、1432 和 1506,均位列榜单第一,并超过 Google、SAP、Amazon 等团队的同类模型。
Elo 分数用于衡量模型综合能力。TabArena、BCCO、TALENT 覆盖回归、二分类、多分类等多类结构化数据任务,主要考察模型在不同数据集上的泛化与预测表现,已成为该领域基础模型竞争的重要参考。
此次升级主要包括三条技术路线:引入上下文机制网络 CMNs,将建模重点从预先指定目标变量的预测,扩展到变量之间的联合依赖关系;在预训练阶段升级自动化合成数据生成引擎;继续扩大模型规模,将参数提升至 400M。团队还提出上下文条件掩码建模 CCMM,通过不同观测模式下的跨变量监督,把变量关系推断设为明确的预训练目标。
在架构上,LimiX-2 采用单元格级建模,把变量在各样本中的观测作为基本表示单元,同时保留列身份、具体取值和缺失状态,以支持跨变量、跨样本的信息交互。由此,分类、回归、缺失值填补等任务可被统一视为对同一数据模型的不同查询,联合关系建模也为结合因果假设进行因果骨架发现提供统计基础。
训练数据方面,LimiX-2 升级了大规模自动化合成数据引擎。由于企业结构化数据往往难以像互联网文本一样公开获取,表格基础模型普遍依赖合成数据预训练。该模型可生成线性、非线性、多变量交互、周期变化和噪声扰动等不同分布的数据,使模型在真实企业场景前接触更丰富的数据结构与变量关系。
模型规模扩展延续了团队此前提出的“结构化数据基础模型遵循 Scaling Law”方向。参数增至 400M 后,相关技术路线可在更大尺度上验证,并提升泛化能力,以及对因果关系规律的挖掘和稳定表达能力。除分类、回归等预测能力外,LimiX-2 在 Sachs、UF、Causal Chamber 等因果发现公开标准数据集上也显著领先传统方法。
截至 2026 年世界人工智能大会,上一代 LimiX 已完成 800 余个结构化数据场景的通用性验证,并与 60 多个客户达成战略合作。其应用方向包括工艺参数优化、设备故障预测、电力预测、能耗优化和材料科学等,目标是将“一项任务训练一个专用模型”的传统方式,转变为一个基础模型跨场景、跨数据集提供通用预测能力。
行业内,结构化数据基础模型的竞争正在升温,Google、Amazon、SAP 等团队均在推进相关研发。崔鹏表示,LimiX-2 的发布及评测成绩是团队在结构化数据大模型方向的阶段性成果,未来将继续提升模型对数据规律和变量因果关系的理解能力,推动 AI 从预测走向决策。技术报告题为《LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence》,已在 arXiv 发布,项目同时提供 Github、Hugging Face 和 ModelScope 页面。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文