RAPID框架单次演示实现具身任务83%真机泛化

机械臂通常需要数百条遥操作轨迹才能学会抓取某类杯子，但更换杯型或摆放位置后，成功率便明显下降。即使视频模型能预测合理的未来画面，动作模块接入实机后仍可能执行失败，暴露出视觉理解与动作控制之间的脱节。

在IROS 2026上，UPenn、MIT与Stanford团队的茅佳源介绍了相关研究。团队提出RAPID闭环框架，并设计TR指标诊断“视觉会了、手却做不对”的问题；结合基于TR的自适应引导后，双臂机器人在复杂组合任务中的真机泛化成功率达到83%。

RAPID面向多种非抓取交互，仅需一次人类演示即可学习。研究认为，单纯依靠端到端数据拟合难以支撑物理泛化。例如将π0.5部署到挖掘机并使用工业操作员数据训练时，完成一项任务仍用了200条轨迹，显示出数据效率低、多任务扩展困难的问题。

如果每项技能都要积累数百条轨迹或百小时数据，规模化训练并不现实。相比之下，人类只看一次演示，就能把动作逻辑迁移到不同尺寸、材质的物体和新任务中。

针对端到端模型在分布外场景中的失效，团队转向“世界建模与规划”：让机器通过少量样本理解物理规律，再进行动作规划。

世界模型不必逐像素预测未来，而可抽象出形状、姿态、材质等属性，并用状态转移图描述动作造成的变化。神经网络负责感知，符号逻辑负责组合属性和定义转移规则，机器人便能在执行前推演推动或翻转后的状态。

为解决策略网络难以拼接的问题，团队把动作生成改写为约束优化：在动力学、无碰撞、关节限制、抓取和最终放置等约束下，寻找代价最低的轨迹。MAGIC悬挂任务中，传统规划单次求解超过5分钟，使用10万个合成杯子训练的方法单次演示成功率仅42%；借助视觉对应与约束优化，成功率提升至93%。

RAPID进一步把单次演示拆成推、翻转、支点旋转、抓取等原语，由Coding Agent生成以物体为中心的约束程序，再由Real2Sim物理校验器检查碰撞和可行性并反馈修正。

在包含书架、隔板等环境的8项复杂非抓取真机任务中，RAPID组合了推、翻、压移、支点、倾倒和抓取等操作，展现出较强的鲁棒性与泛化能力。其核心是将代码生成、物理验证和符号化约束优化结合起来，而不是继续单纯扩大端到端网络规模。