把触觉信号转成标准化 Token,是当前具身智能的关键突破,蚂蚁灵波开源的 LingBot-Touch 触觉基础模型,解决了长期以来不同触觉传感器数据不互通、手感无法迁移的痛点,机器人终于拿到一套通用触觉表征,不再是换一款灵巧手就要重新训练触觉策略。过去触觉最大难题是异构:压阻、视触觉、磁触觉传感器输出格式、触点排布完全不一样,属于不同 “方言”,直接把原始读数喂给动作模型,不仅没法复用,甚至会干扰视觉信号,让任务成功率反向下跌;而 LingBot-Touch 的思路是分传感器独立编码入口,映射到统一指尖坐标空间,输出通用触觉 Token,把压力、滑移、接触位置、形变、时序变化打包成模型能读懂的统一特征,视觉、触觉、语言动作模型可以共用这套触觉语义。模型基于近 5000 小时真实触觉数据预训练,支持 Sharpa Wave、XHand 等不同灵巧手,兼容 π0.5、LingBot-VLA 等多种动作策略,真机 26 项精细操作任务验证,接入后成功率明显提升,代表触觉正式和视觉一样,进入 Token 化、基础模型预训练的范式。
一、原始触觉输入 vs 触觉 Token 方案对比
| 方案 | 数据特点 | 跨硬件迁移 | 对动作模型影响 | 适用场景 |
|---|---|---|---|---|
| 直接喂原始触觉信号 | 传感器原始阵列、图像,格式不统一 | 几乎无法迁移 | 容易引入噪声,部分任务成功率下降 | 单一固定硬件、定制化小任务 |
| 触觉 Token 统一表征(LingBot-Touch) | 标准化向量 Token,语义对齐受力、滑移、接触区域 | 跨传感器、跨灵巧手迁移 | 提供稳定接触特征,提升精细操作成功率 | 拉链、翻书、抓握、插拔、柔性物体操作 |
二、LingBot-Touch 核心架构流程
- 异构编码器分流:按磁触觉、视触觉、压阻式三类传感器分开编码,适配各自原始信号。
- 坐标归一化:把不同触点布局映射到统一的标准指尖空间,消除硬件形态差异。
- 共享主干模型:学习时序接触特征,提取压力、滑移、形变、接触位置信息。
- 输出通用触觉 Token:生成固定语义的表征序列,可直接接入 VLA、Diffusion Policy 等动作模型。
- 下游微调:在目标灵巧手、目标任务上少量微调,快速适配新硬件。
三、真机测试关键数据
- 测试硬件:Sharpa Wave(视触觉)、XHand(磁触觉)两款灵巧手
- 测试策略:LingBot-VLA、π0.5 等 4 种主流动作模型
- 测试任务:26 项接触型精细操作,拉拉链、翻书、交接物体、分牌、浇花等
- 典型结果:Sharpa Wave 上 LingBot-VLA 任务成功率由 45.60% 提升至 72.51%;直接输入原始触觉时,部分任务(如拉拉链)成功率反而从 39% 跌到 15%
四、触觉 Token 化带来的价值
- 打通数据孤岛:不同传感器、遥操作手套、真机采集的触觉数据可以混合训练,经验互通。
- 降低灵巧手开发成本:新硬件不用从零采集海量触觉数据,直接接入预训练触觉编码器。
- 补齐视觉盲区:视觉看不到物体内部受力、打滑、软硬形变,触觉 Token 提供接触闭环反馈。
- 多模态对齐:视觉 Token、触觉 Token、语言 Token 可以在同一个 VLA 模型里对齐,更贴近人 “看 + 摸” 的感知方式。
- 开源可组合:LingBot-Touch 可以单独抽出来作为编码器,搭配第三方动作模型,不绑定整套机器人栈。
五、当前局限
- 目前以指尖局部触觉为主,全身电子皮肤、大面积触觉的统一表征还在拓展。
- 极端材质、透明柔性物体、高滑表面的泛化能力仍有提升空间。
- 依赖触觉传感器硬件本身质量,传感器噪声大时,Token 表征也会受影响。
- 侧重精细操作,高速碰撞、大力量交互场景还需要额外力控模块配合。
【常见问题】
问题 1:Token 卷到触觉了!机器人终于有了通用手感,直接把原始触觉数据给模型为什么反而变差?
回答 1:Token 卷到触觉了!机器人终于有了通用手感,不同传感器原始信号格式差异巨大,原始读数里混杂噪声,动作模型无法理解不同硬件的触点布局,相当于输入无效干扰信息,挤压视觉特征,所以部分任务成功率下跌。
问题 2:Token 卷到触觉了!机器人终于有了通用手感,LingBot-Touch 的触觉 Token 到底编码了哪些信息?
回答 2:Token 卷到触觉了!机器人终于有了通用手感,触觉 Token 封装了接触位置、压力大小、滑移、物体形变、接触时序变化这些物理交互信息,把异构触觉信号翻译成统一语义。
问题 3:Token 卷到触觉了!机器人终于有了通用手感,这套触觉基础模型支持哪些灵巧手和动作模型?
回答 3:Token 卷到触觉了!机器人终于有了通用手感,支持 Sharpa Wave、XHand 等灵巧手,兼容 LingBot-VLA、π0.5、Diffusion Policy 等主流动作策略,并且已经开源。
问题 4:Token 卷到触觉了!机器人终于有了通用手感,触觉 Token 和视觉 Token 有什么异同?
回答 4:Token 卷到触觉了!机器人终于有了通用手感,二者都是把感知信号转为模型可识别的向量序列;视觉 Token 表达空间图像,触觉 Token 表达接触受力、滑移这类物理交互信息,用于精细抓握闭环控制。
【参考资料】
[2026-11-10](Token 卷到触觉了!机器人终于有了通用手感)量子位
[2026-11-10](蚂蚁灵波开源触觉基础模型 LingBot-Touch)智东西
[2026-11-10](通用大脑能力再提升,蚂蚁灵波发布 LingBot-Touch 触觉基础模型)中国青年网
[2026-11-10](让机器人 “手感” 跨硬件、跨模型、跨任务复用)新闻晨报
[2026-07-15](FTP-1:跨传感器通用触觉基础策略)虎嗅网
【免责声明】
本文基于 LingBot-Touch 公开发布信息、真机实验数据整理,仅作为具身智能技术科普;任务成功率为实验室真机测试结果,受传感器精度、物体材质、初始位姿影响;开源模型实际落地前需要针对业务场景做微调与安全测试,不构成机器人项目选型承诺。
