LightNav-0零样本适配四类机器人本体
具身智能正从展示单项技能,转向验证机器人能否在不同环境、任务、本体和异常状态下长期稳定工作。亮源新创近一个多月连续公布LightParkour、LightNav-0和Light REACT,分别聚焦复杂接触运动、通用导航和全身韧性控制,整体围绕Physical AI的规模化预训练、规模化对齐和规模化部署展开。
LightParkour从真实人类动作中提取简短种子,再结合物理仿真与课程学习扩展技能。以45厘米障碍物的初始动作出发,系统逐步生成可跨越75厘米障碍的参考轨迹,后者约为身高90厘米的Lightbot 0的83%。该方法只需人工对齐最初动作和障碍物,后续经验主要由仿真产生,并通过多专家蒸馏将行走及三项复杂接触技能整合进统一策略。
部署时,LightParkour利用胸前深度相机、本体感知和速度指令,以50Hz在机载计算平台运行,不依赖运行时参考轨迹、外部动捕或机外状态估计。机器人能够自主判断何时行走、执行全身动作以及恢复常规运动,体现了从单个动作样本扩展到技能分布的思路。
LightNav-0则通过Real2Sim2Real数据引擎,把2000多个互联网来源的真实场景转化为可重复使用的仿真环境,生成超过4000小时的视觉、语言和动作后训练经验。同一场景可配置不同目标、路线、视角和任务,摄像机几何也能变化。实验显示,在当前范围内,扩大环境覆盖比增加相同环境中的轨迹数量更有利于提升泛化能力。
为把理解转化为行动,LightNav-0引入Point CoT,先在图像空间预测目标点和可通行点,再生成动作token。公开8项消融评测中,该方法使平均任务成功率提升8.4个百分点,SPL提升5.7个百分点;RVQ动作编码器则将连续机器人轨迹压缩为3个动作token,统一视觉、语言、空间位置与动作表示。
LightNav-0在10种仿真设置中覆盖指令跟随、目标导航和具身视觉跟踪,并在真实部署中零样本迁移至人形、四足、轮式和飞行机器人。Light REACT面向外力扰动、跌倒及硬件损伤场景,使机器人依据交互历史调整运动方式。三项技术共同指向一个学习闭环:基础模型在大规模环境中预训练,经强化学习等方式对齐,再进入真实世界持续采集数据并迭代。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文