RW-RL-Dataset缺了什么?工业触觉数据的标准化之路

📅 2026/7/10 14:56:50
RW-RL-Dataset缺了什么?工业触觉数据的标准化之路
均普智能开源的1000小时真实机器人数据集是工业具身智能的重要里程碑但工业精细操作还需要一个关键维度触觉。一、RW-RL-Dataset工业数据的破局之作2026年6月均普智能联合上海交通大学MINT实验室开源了RW-RL-Dataset——全球首个面向真实机器人强化学习的大规模数据集。数据规模1000小时真实机器人数据4类机器人系列、9个场景域、30任务模板覆盖抓取、插接、放置、拧紧四大核心技能核心突破首次完整记录机器人执行中的成功、失败与恢复全过程包含多视角视频、机器人状态、完整Reward信号和RL训练标签可直接加载至主流强化学习框架这是工业具身智能数据的重要里程碑。过去机器人只能模仿成功现在可以学习如何从失败中恢复。二、但工业精细操作还缺一个关键维度看完RW-RL-Dataset的技术报告我们发现一个有趣的现象数据集中记录了机器人的成功、失败与恢复但没有记录机器人感受到了什么。具体来说数据集有视觉多视角视频看到物体在哪里数据集有状态关节角度、末端位姿知道机械臂在哪数据集有奖励RL training labels知道任务完成度但缺少触觉机械臂抓到物体时接触力有多大放置物体时底部是否平稳接触拧紧螺丝时是否检测到滑移这些问题的答案不在视觉里而在触觉信号中。工业场景的典型例子插接任务视觉可以看到孔在哪里但轴是否真正插入是否卡住需要多大的力这些信息在接触瞬间才能感知视觉有延迟和遮挡放置任务视觉可以估计物体高度但底部是否真正接触接触是否均匀放置精度依赖触觉反馈不是视觉抓取任务视觉可以定位物体但抓取力度是否合适是否滑移过松会掉过紧会损坏需要触觉闭环三、触觉数据的困境不是没有是没法用工业场景并非没有触觉数据。问题在于传感器碎片化不同机器人用不同的触觉传感器每个传感器的数据格式、维度、语义都不同A厂的6维力/力矩数据B厂的阵列式压力数据C厂的滑移检测数据无法互通无法复用标注标准缺失视觉标注有COCO、ImageNet等标准触觉标注没有统一标准什么是接触什么是滑移什么是稳定抓取每个项目自己定义无法对比数据孤岛企业A采集的触觉数据企业B用不了因为传感器不同、标注方式不同、语义定义不同数据无法跨组织、跨场景复用四、TLabel触觉数据的标注标准我们开发了TLabel——一个跨传感器的触觉数据标注schema。核心思想触觉信号需要标准化描述就像视觉图像需要标准化标注一样。TLabel定义了22维触觉特征覆盖触觉信号的完整语义表格特征类别 维度 描述强度特征 1-5 接触强度、形变程度、接触面积等空间梯度 6-9 力场在空间的分布和变化压力/应力 10-12 法向力、压力分布、应力场剪切场 13 切向力的大小和方向力语义 14-18 摩擦锥、力变化、滑移事件等时序特征 19-22 帧间差分、动态变化趋势关键特性跨传感器通用不管你是6维力/力矩传感器、阵列式压力传感器、还是光学触觉传感器TLabel都能将其数据映射到统一的22维特征空间一次标注多传感器复用语义标准化定义了接触、“滑移”、稳定抓取等语义的标准计算方式不同项目、不同团队可以用同一套语言交流可扩展22维是基础特征可以按场景扩展比如工业装配可以增加插接力、卡扣检测等特征保持核心标准化的同时支持场景定制五、Case Study如何用TLabel标注RW-RL-Dataset假设我们要为RW-RL-Dataset补充触觉维度流程如下Step 1数据接入从RW-RL-Dataset提取机器人状态序列如果有触觉传感器数据直接导入如果没有可以用动力学模型估计接触力近似Step 2特征计算对每个时间步计算TLabel的22维特征比如接触强度 力传感器读数 / 最大量程滑移事件 剪切力变化率 阈值稳定抓取 力方差 阈值 且 接触时间 阈值Step 3语义标注基于22维特征标注高层语义比如0-1s接近阶段接触强度01-2s接触阶段接触强度0滑移事件02-3s稳定阶段滑移事件0力方差阈值Step 4数据增强将TLabel标注作为额外维度添加到RW-RL-Dataset原始数据视觉 状态 奖励增强后视觉 状态 触觉特征 奖励Step 5训练验证用增强后的数据训练RL策略对比基线原始RW-RL-Dataset无触觉实验TLabel增强版有触觉预期精细操作任务插接、放置的成功率提升六、展望触觉数据标准化的未来RW-RL-Dataset是工业具身智能数据的重要一步但只是开始。下一步将触觉维度纳入开源数据集建立跨组织的触觉数据共享标准让机器人不仅能看到和做到还能感受到TLabel的使命提供触觉数据的标准化语言让触觉数据像视觉数据一样可复用、可比较、可共享从每个项目自己定义触觉到全行业用同一套标准附录TLabel技术细节GitHub: https://github.com/liesliy/tlabel文档: https://tlabel.readthedocs.io/版本: v0.14.02026-07-06发布22维特征详细定义详见 TLabel v0.7 RFC: 单位与语义标准化关于作者我们是TouchLabel AI团队专注于触觉数据标准化和具身智能数据服务。核心产品TLabel跨传感器触觉数据标注schema触觉数据标注服务为您的机器人数据添加触觉维度联系我们邮箱luoxitouchlabelai.cnGitHubhttps://github.com/liesliy