产品派
返回

清华等联合开源RPent,具身智能任务成功率达92.6%

AI量子位2026/9/21 14:22:37
AI 导读

GPT-6 Astra开始接受真实机器人操作测试后,大模型作为决策中枢的智能体范式正从数字环境走向物理世界。清华大学、无问芯穹与正行创新联合开源具身智能基础设施RPent,将通用大模型的任务理解与规划、VLA等专家模型的精细操作、记忆系统、工具及机器人接口连接起来。在LIBERO-PRO测试中,RPent任务成功率达到92.6%,端到端完成速度提升7倍以上。项目由RLinf核心团队打造,代码已发布于https://github.com/RLinf/RPent。

RPent真机演示包含倒钢珠、双臂擦盘、移开碗具寻找勺子等开放任务。面对“把餐具放入纸箱”等变化目标,系统不会机械复用冻结VLA的旧动作,而是重新观察环境、选择位置,并在视觉定位出错时检查结果、排除错误目标后再次定位。执行过程中,它还能通过试抬确认夹持稳定,在路径受阻时调整腕部姿态,并先移开遮挡物再抓取目标。探索成功后,任务逻辑会保存为Task Card,Flash Mode可直接复用已验证流程,减少重复调用大模型的延迟。

RPent没有让单一模型包办所有工作,而是结合两条路线:纯VLA擅长精细动作,却容易在长任务、复杂语言或受扰场景下退化;纯大模型Agent具备较强任务理解能力,但在亚厘米精度、时延和持续积累经验方面仍有限。RPent让通用模型负责理解与规划,VLA、WAM等专家模型负责动作执行,记忆系统沉淀经验,框架则连接模型、工具与环境,形成“观察—规划—执行—反馈—再规划”闭环。其算法基础来自团队7月提出的Harness VLA工作。

系统采用用户层、智能层、接口层和环境层的模块化架构。用户可通过交互式CLI或Web Dashboard下达指令,并查看视觉输入、推理过程和动作轨迹;智能层由Agentic Planner、Memory、Tool Library和Action Primitive组成,统一封装VLA、WAM及Code as Policy等能力。环境层目前支持LIBERO-PRO、RoboCasa、RoboTwin、RoboDojo等仿真环境,以及Franka、双臂Franka、YAM和SO101等设备。

新增机器人只需实现标准动作、状态和环境接口,上层任务逻辑、提示词与工具无需重写。智能层和环境层采用独立进程,可分别部署、迁移和重启,便于长期运行。RPent还以MCP统一描述工具能力,以RPC连接模型服务、机器人和仿真环境,并通过MHS抽象物理设备的读写与控制,使真实机器人、远程服务和仿真平台能够协同工作。

在物理环境中,失败可能需要重新布置场景,甚至造成设备损坏,因此RPent设计了Memory机制,将经验按复用范围组织为三层,并记录适用范围、类型、可信度及证据。新经验需经过验证才能提高可信度,冲突记录则被保留并隔离,避免偶然成功污染已有能力。

其中的Recipe代表可迁移的任务方案,而不是某次执行中的固定坐标。RPent希望借此把一次成功探索转化为后续任务可复用的能力,让机器人从执行固定动作,逐步转向理解目标、组合技能、应对变化并持续学习。

具身智能机器人大模型开源项目

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文