26年6月来自加拿大蒙特利尔大学和不列颠哥伦比亚大学UBC的论文“Task Robustness via Re-Labelling Vision-Action Robot Data”。近年来随着机器人学习模型规模的扩大涌现出了一批能够执行多种操作任务并泛化至新场景的出色策略。然而这些策略在遵循指令方面仍面临挑战这很可能是因为现有的机器人数据集在语言表达和动作序列的多样性上较为有限。本文提出 TREADTask Robustness via RE-Labelling Vision-Action Robot Data即通过重标注视觉-动作机器人数据实现任务鲁棒性框架。这是一个可扩展的框架利用大型视觉-语言模型VLM中蕴含的可迁移知识在无需额外数据采集的情况下增强现有的机器人数据集。其方法通过三个阶段利用预训练的 VLM首先根据原始指令标签和初始场景生成语义子任务其次基于这些子任务对演示视频进行分割最后生成包含物体属性的多样化指令从而有效地将较长的演示分解为“语言-动作”对。此外通过引入语言表达各异的目标文本来增强数据进而提升系统的鲁棒性。在 LIBERO 上的评估结果表明使用增强后的数据集训练出的策略在面对全新的、未见过的任务和目标时表现更佳。机器人学习研究的最新趋势表明数据规模和多样性对于学习更稳健、能力更强的机器人操作策略至关重要 [4, 18, 5]。尽管机器人学界通过协作努力在扩大数据集规模方面取得了进展但这些数据集在文本和轨迹模态方面仍表现出多样性不足的问题 [26, 16, 30]。这种局限性导致当前模型在可靠遵循基于文本的指令时表现不佳 [28, 17, 22]。数据集模态不平衡的问题之所以持续存在是因为大规模收集多样化的真实世界专家演示面临挑战即便只是获取规模适中的数据集往往也需要动用多台机器人并进行数月的操作 [7, 16, 11]。然而这些基于视觉的操作演示在时长和复杂度上都在增加每条轨迹往往包含多个潜在子目标。虽然可以通过人工审查数千个演示视频并聘请标注人员来处理但这无法满足现代机器人学习系统日益增长的需求。这就引出了一个问题如何才能以可扩展的方式系统性地增强现有机器人数据集从而提升语言-动作的多样性大规模视觉-语言模型VLM的最新进展 [1, 2, 10] 为解决机器人数据集中的语言-动作多样性挑战提供了一种有前景的新途径。利用 VLM 进行机器人数据增强具有两大优势。首先借助互联网规模的预训练VLM 能够零样本生成与上下文相符且与演示视频中物理场景紧密关联的语言标签。其次这些模型能够有效推理视频中的时间序列 [1, 2, 36, 10]从而将演示过程分割为具有实际意义的子任务。这种能力使得将现有演示分解为更细粒度的“语言-动作”片段成为可能从而在无需额外数据采集的情况下有效提升了训练数据的多样性。受大规模预训练 VLM 强大能力的启发提出 TREADTask Robustness via RE-Labelling Vision-Action Robot Data框架即通过重标注视觉-动作机器人数据来增强任务稳健性用于增强机器人数据集。图1所示的TREAD采用迭代的三阶段流程其中模型在前一阶段的输出会被反馈作为下一阶段的输入首先预训练的视觉语言模型VLM分析原始指令标签和初始场景生成一系列语义子任务描述这些描述共同构成实现原始目标的完整过程。随后VLM处理演示视频以对轨迹进行时间上的分割从而识别出演示中哪些片段对应于各个子任务描述。最后基于子任务的初始场景和语义子任务描述VLM针对这些子任务生成包含物体属性和空间关系的多样化指令。这种时间与语义的对齐方式使得离线数据集中的每一段原始演示都能被转化为多个受语言指令引导的子演示。TREAD 的设计旨在分三个阶段对机器人数据进行分割与拼接(1) 利用视觉-语言模型VLM处理轨迹基于语义和运动特性进行分割以识别关键的子目标转换点(2) 为新的子轨迹标注子目标并利用语言多样性扩充原始数据集(3) 在所得数据集上训练视觉-语言-动作模型以提升鲁棒性。TREAD 的伪代码见算法 1。本文致力于利用数据增强技术来提升所学策略的泛化性能。具体而言所探讨的问题是如何在无需采集新数据的情况下利用现有的演示数据生成额外的轨迹-指令对τ, l来扩充数据集 D1 轨迹分解尽管框架不依赖于特定的视觉-语言模型VLM但在本工作中用了 Gemini Pro 2.5 [10]。Gemini 是一种多模态模型能够接收图像、视频和文本作为输入并输出文本。针对完成长程任务 l_n 的轨迹 τ_n首先推导出语义子任务随后识别出轨迹中对应于这些子任务的片段。仅要求 VLM 进行一次性one-shot视频分割效果并不理想而向模型提供子任务信息则能显著提升视频分割的质量。通过图 2 所示的两次 VLM 推理调用来实现这一过程。首先基于高层任务 l_n 以及用于提供定位与上下文信息的轨迹首帧 on_1提示 VLM 生成一个由子任务动作标签组成的规划 [l ̃1_n,l ̃2_n,…,l ̃z_n_n]。其中z_n 表示 VLM 判定完成场景中任务 l_n 所需的子任务数量。例如对于“将碗放入顶层抽屉”这一任务所需的子任务动作数量取决于顶层抽屉当前是关闭还是开启状态算法应能识别出这一点并生成三个子任务而非两个。随后将轨迹视频输入模型并提示其检索出先前确定的各子任务发生的起始与结束时间点。由此建立一种将带标签轨迹 (τ , l) 分解为有序带标签子轨迹集合 [(τ ̃^1 , l ̃^1 ), (τ ̃^2 , l ̃^2 ), …, (τ ̃^z , l ̃^z )] 的流程其中 τ ̃ ⊂ τ 表示子轨迹。最后可以处理数据集 D 以构建一个新的分解数据集 D ̃_A。在实际操作中将包含 82 个独特“场景-指令”任务的数据集分解为 146 个子任务。2 指令多样性与数据增强近期研究指出指令遵循能力是当前 VLA视觉-语言-动作模型的薄弱环节 [17, 28, 22]并将这一难题归因于模型相比语言目标而言更多地关注视觉输入。尽管上述研究从算法层面解决了这一问题但增加文本多样性有助于提升模型对语言的鲁棒性。许多机器人数据集的语言多样性相当有限这可能导致策略对指令的具体措辞过于敏感。利用生成的子轨迹sub-trajectories来增强数据集 D。为了实现语言多样性采用以下文本增强方法基于视觉关联Grounded的文本多样性。可以利用视觉-语言模型VLM生成与视觉内容相符的指令改写paraphrases从而增强语言多样性。对于每一条子轨迹 (τ̃_i, l̃_i)向 VLM 输入原始指令 l̃_i 和轨迹 τ̃_i 的首帧图像要求其生成 k 种保留任务语义的替代指令。如图 2 所示将图像纳入上下文使得模型能够结合空间关系和可感知的物体特征从而实现超越简单同义词替换的、更精准的目标多样化表达。例如针对指令“拿起蓝色咖啡杯”VLM 可能会生成诸如“抓住那个小咖啡杯”基于物体属性或“取回笔记本电脑旁边的咖啡杯”基于空间关系等替代指令。这种语言增强方法应用于已分解的数据集 D̃_A并将生成的数据集记为 D̃_H。3. 训练视觉-语言-动作模型通过在增强后的数据上训练视觉-语言-动作操作策略来评估数据集增强的质量。利用 TREAD 生成的数据集对两种通用机器人策略进行微调Octo具体为 Octo-Small 1.5[27] 和 π0-FAST [28]。 Octo 是一种基于扩散diffusion-based的策略在 Open-X 数据集 [26] 上进行训练而 π0-FAST 则利用了预训练的 VLM 主干网络 PaliGemma [3]该网络在 π0 [5] 的跨具身机器人数据混合集上训练并采用 FAST token化方案对动作进行离散化处理。为了确定数据集的加权比例使微调后的模型在原始完整轨迹 (D) 和重标注子轨迹 (D̃_A/D̃_H) 上均能达到最佳性能针对多种混合比例进行消融研究。评估 1:2、1:1.5 和 1:1.1 的比例 (D:D̃_A/D̃_H)。最终比例是利用 Re-Mix [12] 选定的。对于报告的所有实验针对每种数据混合组合均采用表现最佳的加权比例。对于所有数据混合组合在不同模型间采用统一的微调参数。对 Octo 进行 50,000 步的微调批次大小batch size设为 256采用线性预热linear warmup后接余弦衰减cosine decay[23] 的策略峰值学习率为 3 × 10⁻⁴。对于 π0-FAST以 32 的批次大小batch size进行 30,000 步的完整微调采用相同的“预热余弦衰减”cosine decay with warmup调度策略但峰值学习率设定为 2.5 × 10⁻⁵。根据测试表现在所有数据集消融实验中分别选取 Octo 在第 30,000 步和 π0-FAST 在第 15,000 步的检查点checkpoint进行评估。实验设置在实验中通过消融研究利用以下数据组合来评估轨迹分解trajectory decomposition和指令多样性instruction diversity对策略性能的影响未经增强的微调版 Octo/π0-FAST原始微调在 LIBERO-100 轨迹数据集 D 的未修改子集上微调 Octo/π0-FAST。这是主要基准对照组预期其在分布内in-distribution的任务-指令对上表现良好但在面对新场景或指令文本变体时在遵循语言指令方面可能会遇到困难。结合轨迹分解的微调版 Octo/π0-FASTTREAD不含多样化标签在未修改的数据集 D 及其分解版本 D̃_A的混合数据上微调 Octo/π0-FAST。该消融实验旨在单独考察轨迹分解的效果通过利用训练期间见过的子任务组合即使面对全新的任务-环境组合该策略也有望在新环境中执行任务。结合轨迹分解与标签多样性的微调版 Octo/π0-FASTTREAD在未修改的数据集 D 及其经过语言丰富化处理的分解版本 D̃_H 的混合数据上微调 Octo/π0-FAST。这是该方法完整实现版本预期通过将多样化的文本指令纳入分布范围能够同时应对新环境和文本变体。LIBERO。LIBERO 基准测试 [20] 包含四个任务套件旨在考察物体类型、物体空间布局、任务目标或上述三者组合方面的分布偏移distribution shifts。在实验中重点关注 LIBERO-100 任务集该任务集包含 100 个任务涵盖了多样的物体交互和灵活的技能且每个任务均包含 50 条由人类远程操作生成的演示数据。在 LIBERO-100 中任务由场景与指令的组合来定义这意味着在不同场景下执行相同指令会被视为不同的任务。值得注意的是用的是完整的 LIBERO-100 任务集而非近期研究 [18, 28] 中所采用的较小子集。这一规模更大的基准测试提供了一个更具挑战性的评估环境不仅降低了过拟合的风险还能更严格地检验我们方法在提升动作与语言泛化能力方面的成效。受限于计算资源为每个任务标注 5 条演示数据并剔除所有在 STUDY_SCENE研究场景下执行的任务最终共计获得 570 条轨迹。图 3 展示一条已标注轨迹的示例。为了评估研究问题在 LIBERO 框架内定义两组新任务