从视觉到触觉灵巧机器人操作视觉技术在机器人学习领域取得了长足的进步。然而当涉及到物理接触时例如插入银行卡、转动钥匙或操作可变形物体摄像头就显得力不从心了。现有的视觉学习阵列VLA模型难以理解接触点发生的情况。人类会通过触觉反馈不断调整抓握姿势而主要依赖视觉的机器人则很难做到这一点。由加州大学伯克利分校、英伟达和斯坦福大学的研究人员共同开发的T-Rex系统通过将视觉、语言和触觉感知整合到一个统一的学习框架中有效应对了这一挑战。T-Rex结合了大规模的人类预训练和基于触觉的中期训练使机器人能够对物理接触做出反应而不仅仅依赖视觉观察。在12项涉及大量接触的操作任务中该框架取得了所有评估方法中最高的平均成功率比最强的基线方法高出30%以上。为互动性强的任务构建高质量演示T-Rex 的核心是一个时长100小时的触觉同步远程操作数据集涵盖200多种日常物品和22种运动基元用于训练和评估12项真实世界操作任务的策略。构建如此大规模的数据集需要一个远程操作平台该平台能够在每次演示中同步手部运动、触觉感知、机器人控制和视觉观察。T-Rex 数据采集平台结合了双臂Dexmate Vega-1机器人、Sharpa Wave灵巧手、多视角RGB摄像头和指尖触觉传感器。操作人员佩戴MANUS手套以捕捉精确的手指运动并佩戴 VIVE Tracker 以捕捉手腕姿态。记录的运动数据被重新定向到机器人从而实现自然的双手远程操作同时将视觉观察、触觉测量、机器人状态、机器人动作和自然语言指令同步到一个统一的多模态训练数据集中。基于接触的机器人学习依赖于能够忠实捕捉人类如何操作物体的演示数据。在T-Rex数据采集流程中MANUS手套提供指尖级别的运动捕捉用于将人类手部动作传递给机器人从而支持采集高质量的演示数据以用于后续的机器人学习。推进多模态机器人学习T-Rex研究表明将大规模的人类预训练与触觉反馈的机器人训练相结合可以提高数据效率和泛化能力。这种能力建立在多模态演示的基础上这些演示能够精确捕捉人类运动、触觉交互和机器人执行之间的关系。T-Rex项目展示了基础模型如何通过将触觉信息融入机器人学习而超越视觉的局限。在 T-Rex 项目中MANUS数据手套提供远程操作过程中使用的手部动作捕捉功能支持由领先的机器人研究机构开发的用于推进触觉反应式灵巧操作的研究工作流程。关于搜维尔科技我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展使其处于技术前沿甚至更前沿。在这个频道上我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus数据手套总部签署代理合作协议成为其在中国大陆地区一级官方代理商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务欢迎垂询。