产品派
返回

蚂蚁灵波开源触觉基础模型支持跨硬件机器人操作

AIInfoQ 中文站2026/11/10 11:01:55
AI 导读

11月10日,蚂蚁灵波开源触觉基础模型 LingBot-Touch。该模型使用近5000小时真实多模态触觉数据进行预训练,覆盖磁触觉、视触觉和压阻式三类传感原理,可将不同传感器信号转化为统一触觉表征,供灵巧手和动作模型使用。模型及技术报告已在 Hugging Face、GitHub 和魔搭社区开放,相关地址分别为 huggingface.co/collections/robbyant/lingbot-touch、github.com/Robbyant/lingbot-touch 和 technology.robbyant.com/lingbot-touch。

在拧瓶盖等精细操作中,视觉虽然能帮助机器人定位物体,却难以判断指尖受力是否合适、瓶盖是否已经松动或手指是否正在打滑。触觉能够补充接触位置、压力大小及其变化等被遮挡的信息,使机器人根据实际接触状态及时调整动作。LingBot-Touch 已接入 LingBot-VLA,将具身智能系统的感知能力从视觉和空间理解进一步延伸到指尖。

团队在 Sharpa Wave 和 XHand1 两款灵巧手上开展了26项真机测试,任务包括翻书页、拧瓶盖和辨识麻将牌等。接入 LingBot-Touch 后,LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex 四种动作模型的平均成功率,相比不使用触觉时提高约14至26个百分点。以 T-Rex 控制 Sharpa Wave 拧瓶盖为例,无触觉时成功率为56.25%,直接输入原始传感器信号为62.5%,使用触觉表征后升至90%。

LingBot-Touch 针对不同传感原理设置独立编码入口,并把不同触点布局映射到统一的指尖坐标空间,再由共享模型学习接触位置、受力及其时间变化,输出统一触觉 Token。这样,人戴触觉手套与遥操作灵巧手采集的数据可以共同训练,不同动作模型也能复用已学习的接触特征,并为未来接入新的触觉传感器预留扩展能力。

跨硬件测试显示,XHand1 使用的磁触觉传感器型号并未出现在预训练数据中,相关经验来自人戴手套采集的数据。更换到 XHand1 后,团队保持 LingBot-Touch 参数不变,仅使用该灵巧手的操作示范训练动作模型。此次测试还接入了四种不同动作模型,说明该模型定位于传感器与动作策略之间的通用感知层,而非某种硬件或单一策略的专用组件。

为平衡感知效果与端侧算力,蚂蚁灵波提供 LingBot-Touch-Tiny 和 LingBot-Touch-Small 两种规格。26项真机测试采用约530万参数的 Tiny 版本,接入 LingBot-VLA、π0.5 和 T-Rex 后,整体参数量仅增加约0.13%至0.16%。Small 版本在感知测试中仍能从新增预训练数据中获益,表明触觉模型具备继续扩展的空间。蚂蚁灵波 CEO 朱兴认为,通用大模型可强化任务理解与推理,具身基础模型则负责物理感知和闭环操作,双方将形成协同。公司计划继续推动视觉、深度、触觉和温度等物理模态在统一模型中对齐,并坚持开源与商业化并行发展。

具身智能触觉模型机器人灵巧手

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文