智谱GLM-Omni论文披露统一多模态能力短板

清华大学与智谱联合发表论文，唐杰担任通讯作者，披露了统一多模态模型GLM-Omni的技术基础和实验表现。论文未说明它是否对应外界猜测的GLM-5.5，但相关模型名称已引发讨论。

实验显示，模型经过图像生成训练后，能以72%的比例把指定号码画到球衣上，但仅凭文字询问号码时正确率只有2%。这说明模型可能已经在视觉路径中学到知识，却还不能顺畅地转化为语言答案，也暴露出统一理解与生成架构的连接问题。

研究团队构建了虚构世界MagicWorld，以避免模型调用既有记忆。比如虚构球衣Arvenbrock的号码为10，训练提示只要求生成球衣，数字10只存在于图像中，训练后再用文字提问，若能答出10，才可证明知识从图像进入了语言回答。

数据集覆盖颜色、数量、形状、空间关系、相对大小、数字和文字7类任务，每类50条知识，共350条；团队制作不同背景和视角的图像，最终保留8552组训练样本，并检查文本以减少答案泄漏和属性分布偏差。

评测分为两条路径：让模型重建图片并检查属性，或不提供图片、直接进行文字问答，借此区分模型没有学会知识与已经会生成却无法读取知识的情况。

对比模型包括采用专家分支的BAGEL、直接建模像素的SenseNova-U1，以及基于GLM-4.1V-Thinking并接入X-Omni离散图像Tokenizer的GLM-Omni。研究还加入1万条无关问答训练样本。三者视觉正确率分别为31.43%、61.14%和54.00%，文字正确率为8.86%、20.00%和14.57%；SenseNova-U1数字任务视觉正确率达88%，文字回答却为0%。

文本对齐训练后，BAGEL、SenseNova-U1和GLM-Omni平均文字正确率分别升至15.43%、28.00%和12.57%，但数字、书名等字符任务仍常为0%。图文交错对齐把生成和回答放进同一序列，使GLM-Omni平均值进一步升至26.86%，BAGEL和SenseNova-U1达到17.14%和28.57%；去掉图像损失后，GLM-Omni降至13.71%，表明图像监督确实帮助语言调用。Visual CoT先生成图像再读取答案后，三者平均正确率为41.14%、20.57%和34.86%，数字任务分别达到4%、36%和20%。不过该方法增加计算开销，图像错误也可能带偏答案，书名任务仍未改善。研究表明，统一多模态模型不仅要提升生成和问答能力，还需打通不同任务间的知识传递；GLM-Omni是否进入后续产品，仍暂无公开结论。