西湖大学成立世界模型中心,于开丞坚持物理智能路线
2026年9月,GPT-6 Astra在机器人操作基准RoboDojo-Sim的42项任务中取得平均成功率第一,且未接受机器人专项训练,超过40个公开策略。一个多月后,西湖大学成立世界模型研究中心,施一公参与支持,推动者是工学院助理教授、AutoLab负责人于开丞。他认为,通用语言模型再强,物理世界也无法等待,二者不能直接互相替代。
于开丞曾在EPFL跟随Pascal Fua研究五年,读博二年级时发现NAS领域关键问题并获高通创新基金,该年度欧洲仅四人获奖。回国加入达摩院后,他凭BEVFusion等工作在自动驾驶领域成名,并因数据采集成本高、遇到新场景就要重复训练的现实困境转向世界模型。2023年起,他在西湖大学持续研究;2024年参加华为举办的ECCV极端场景生成挑战赛,以世界模型合成罕见事故场景并夺冠,当时其他方案基本未采用该路线。
他没有在语言模型热潮中转向大模型,理由是团队更擅长计算机视觉,且世界模型既有长期价值,也为初创团队保留机会。其通用世界模型Awomo-0.5拥有40亿参数,在具身智能、物理世界理解等六个国际主流榜单登顶,代码和权重均已开源。于开丞认为,语言模型只能留在屏幕内,危险或遥远环境仍需机器代替人执行;语言与连续物理世界的技术基础不同,3D、影视等路线也难以简单合并。
在他的定义中,世界模型是面向连续物理空间事件、以预测下一状态为目标的通用技术,底层可采用扩散模型与Transformer结合的DiT架构,并加入未来预测机制。它应按用途判断:面向人的视频生成重视观感,面向机器人的模型则必须满足物理真实性。动作并非必要条件,装修设计等理解空间和需求的任务也可属于世界模型;具身智能是应用场景,不能与这项通用技术混为一谈。
他还指出,视频中的杯子即使不完全遵守物理定律,只要符合观感,通常不会被人介意;动漫甚至会主动加入反直觉效果。但用于现实任务的隐空间物理世界模型,判断标准是动作是否准确、任务能否完成,错误便不能被审美效果掩盖。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文