产品派
返回

VAST开源EdenLive,RTX 5090上720P超24FPS

AI量子位2026/10/18 19:49:49
AI 导读

VAST发布并开源实时世界模型EdenLive,主打将简化场景、参考视频、目标首帧和提示词结合起来,在保持布局与运动的同时,实时生成写实、二次元等不同风格的画面。该模型把世界状态与视觉渲染分开处理:交互系统负责维护规则和状态,EdenLive负责把状态转化为精细画面。

性能方面,EdenLive的5B模型在单张消费级Nvidia RTX 5090上以720P运行时,生成速度超过24FPS,可持续输出分钟级内容。从用户操作到对应画面出现的端到端延迟为百毫秒级。当前更适合场景漫游、推箱子等低频交互玩法,也能展示角色动作、血条和回合计时等游戏状态。

该模型还可用于场景和动画预览、视频重渲染及具身数据增强。同一套场景布局和镜头运动,可以通过目标首帧与提示词切换美术风格;真人视频中的角色、房屋或物体能够被替换为卡通形象、手绘风格或不同材质。真实的人手操作画面也可转换为机器人视角,改变机械手、物体颜色和材质,同时保留原有动作。

EdenLive的完整管线中,参考画面提供布局、镜头与运动,首帧决定整体外观,提示词补充风格和细节,交互系统则持续更新游戏逻辑。VAST表示,项目数据管线覆盖2D、3D简化场景、游戏引擎渲染和真实视频等来源,并通过成对数据对齐场景、相机、物体位置及运动信息。

Project Eden此前已提出“解耦世界状态与视觉生成”的设计。其架构包括持续演化的结构化状态、状态到观测的接口,以及生成式神经渲染,分别负责状态维护、观测转换和画面生成。VAST称,这一路线比行业形成类似共识早约三至四个月,团队也持续在3D、视频生成和系统工程方向协同研发。

VAST认为,3D能力可用于组织角色、道具、空间关系和世界状态,视频生成则负责材质、光影与动态表现。团队还从视频中提取深度、相机位姿和几何运动轨迹,并结合游戏引擎的状态与渲染画面,为世界模型建立结构和视觉之间的对应关系。EdenLive目前仍需改善高频激烈交互、多角色身份保持、小物体控制及长时间生成的一致性。

项目已公开模型权重、推理代码、技术报告和端到端Demo,并计划开源Game Prototype Turbo“Prompt to Proxy Game”技能。用户可据此快速生成可游玩的游戏原型,由交互系统输出简化参考画面,再交给EdenLive实时渲染。相关资源包括GitHub代码仓库、Hugging Face权重、项目主页和技术报告。

世界模型实时生成视频生成游戏开发开源模型

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文