Franka Research 3是面向机器人学习、人机协作领域的七轴力控科研机械臂常以双臂组合形式搭建实验平台适配各类共享空间人机交互采集任务。在HABITHuman-Aware Behavior and Interaction Training数据集中研究团队选用两台Franka Research 3FR3机械臂作为核心执行平台并配以Robotiq平行夹爪完成实验测试。FR3数据集应用FR3双臂系统支持HABIT人机交互数据采集HABIT数据集聚焦有人共存场景下机器人行为训练整套数据采集流程均依托FR3双臂遥操作系统完成累计产出10563段交互片段、164小时操作数据。VR遥操作控制链路 操作人员借助Meta Quest 3手柄远程控制FR3双臂动作指令同步记录关节空间、笛卡尔空间、夹爪状态三类动作数据。采集遵循响应式交互准则操作员仅在观测到对方动作后再执行对应操作避免提前预判动作保证FR3记录的轨迹全部由人类视觉信号触发提升数据可学习性。图2任务工作流及其子任务序列的典型示例。每一行左侧展示工作流结构右侧呈现对应执行阶段下机器人视角与人类视角画面。三类人机交互任务落地协作型人机共同完成单一目标如餐盘递送、货架除尘FR3需要同步配合人类抬举、传递物品记录时空协同动作并行工作型人机独立处理各自任务、共享工作台如垃圾分类、纸盒打包FR3训练主动避让、主动回缩等安全行为指令引导型人类通过手势指引FR3完成放置动作如甜甜圈摆放、食品收纳FR3学习视觉手势解码。数据多样性优化设计采集过程中通过调整人类服饰、物体摆放顺序、操作人员身形降低FR3训练模型过拟合风险针对引导类任务人为设置不同手势等待时长迫使FR3专注识别手势视觉信号而非单纯依赖文本指令。基于FR3平台开展模型对照实验研究选取π₀.5、GR00T N1.6两种主流视觉语言动作模型以FR3双臂操作任务为基准设置两组对照数据集完成验证。对照组实验设计基准组无人类场景仅操控FR3机械臂独立完成相同任务工作台无人类参与实验组HABIT数据集FR3与人类同步交互。两组保持FR3硬件、训练步数、批次大小完全统一仅改变是否存在人类交互信号。实验评估指标依托FR3执行效果从三个维度评判策略优劣物体操作完成度、任务时序流程合规性、人机无碰撞安全指标。统计碰撞、时序错乱、手势识别失败三类典型错误对比两组数据训练后的故障发生率。实验结论使用HABIT人机交互数据微调后的模型在FR3执行并行、协作任务时成功率明显提升。无人类数据训练的策略易出现碰撞、动作时序错位而基于FR3采集的人机同步数据可让模型自主生成避让、动作同步、手势跟随等适配人类环境的行为。同时以HABIT预训练后的模型在全新FR3人机任务上微调效率更高仅需少量样本即可达到理想效果。结论HABIT数据集以Franka Research 3机械臂为执行终端通过多相机感知、工作流约束和行为引导设计构建了包含协作、共工、监督三类角色的大规模人机交互演示库。实验显示在有人类共现的数据上微调可使得机械臂在避让、手势跟随和同步配合等方面表现出与无人类数据不同的行为模式并在少量下游任务演示下实现更快的适应。该数据集为研究共融环境中机械臂的社会化行为提供了一类参考资源。原论文https://arxiv.org/pdf/2606.31682