昆仑万维开源单卡实时视频游戏模型Matrix-Game 4.0

昆仑万维于2026年10月15日发布Matrix-Game 4.0，称其是首款可运行在单张消费级显卡上的视频大模型游戏。系统由代码生成游戏逻辑，引擎维护状态和规则，视频模型实时渲染画面，并已同步开源至Hugging Face。单张NVIDIA RTX 5090可实现480p、60 FPS，按键到首帧响应低于150毫秒，单步去噪稳态速度达83 FPS，显存峰值18.5 GiB。

该项目的核心包括单卡实时运行、Harness世界状态管理、贯通数据训练与推理的工程链路，以及面向创作者的开源能力。此前交互式世界模型主要受三方面限制：状态难以独立读取和验证，长时间交互容易出现结构与物体漂移，生命值、道具、任务和胜负等规则也难以稳定执行。Matrix-Game 4.0因此选择让代码和引擎管理世界，让模型负责视觉呈现。

系统包含三个模块：引擎用简化几何记录布局、物体状态、碰撞、重力、背包和任务进度，并持续输出结构画面；编程智能体把自然语言需求转成场景配置和游戏代码，可调整地形、NPC行为及玩法；视频模型则依据结构、语义和历史画面生成材质、光照与环境细节。实时流程为“玩家操作—引擎更新—输出控制条件—视频模型渲染—画面呈现”，即使物体离开视野，其状态仍由引擎维护。

团队基于UE5构建结构画面与精细画面对齐数据集，覆盖CitySample超大城市、开放沙漠、复杂城堡和高动态空战，并同步采集实例ID、可见性及因果交互事件。动态Caption会根据当前可见对象和状态生成提示词，配合结构画面共同约束输出。

模型基于Wan2.2 5B改造为V2V模式，将结构画面与待生成视频拼接为148通道输入，并结合事件提示词、空间记忆参考图和首帧生成画面。网络采用30层因果DiT，自注意力读取KV缓存、交叉注意力读取文本KV。为达到实时速度，系统使用CUDA Graph、融合GPU内核、FP8量化、环形历史KV缓存、并行注意力和轻量TAEHV，使文本编码器、DiT与VAE可常驻RTX 5090。

项目同步开源后，创作者可借助Coding Agent用自然语言改造地形、物件、NPC和交互规则，减少对精细3D资产制作的依赖，使游戏原型能够快速生成、修改和迭代。

在端到端延迟对比中，Code World Model约10.2秒、StreamRender-H3约545毫秒、AgentGarten约878毫秒，Matrix-Game 4.0为112毫秒，约为前三者的1/90、1/5和1/8。算力方面，其他方案列出的需求包括1×H200 141GB、8×GB200等配置，Matrix-Game 4.0则定位于单张RTX 5090的本地实时运行。