一、研究问题与动机核心问题原始3D资产如CAD模型仅包含几何和外观信息缺乏机器人操作所需的语义、交互和物理知识。这导致仿真数据生成面临巨大瓶颈——不是缺少资产而是无法自动将这些“被动”资产转化为带有可执行操作标签的“主动”资产。四大挑战语义层面C1标注必须编码人类交互先验使生成的轨迹自然、安全且易于成功。几何与物理基础C2交互意图必须锚定在具体资产的几何和运动学特性上。多样性C3标注应保留多种有效解决方案而非坍缩为单一规范动作。可扩展性C4流程必须自动化无需人工设计且能覆盖大量资产、类别和交互。二、现有方法的不足方法类型代表工作主要局限人工标注RoboTwist, InternData成本高、劳动密集、难以扩展、多样性有限强化学习RLRoboGen, MobileManiBench需要奖励工程、复杂训练、大量计算且行为可能与人类先验不一致现有自动标注DexGraspNet, GAPartNet通常仅针对单一技能如抓取缺乏统一的多技能、多本体支持三、核心贡献AnnotateAnything3.1 总体定位AnnotateAnything是一个通用的自动标注框架能将原始3D资产转换为带有结构化、多样化且可执行操作标签的、可直接用于机器人学习的资产。3.2 两大核心流程流程一视觉-语言标注流程注入人类先验层级资产级房间级语言标注三层次描述语义短语→功能句子→部件感知段落布局摘要→家具与区域描述→密集场景上下文视觉标注语义关键点VLM选择 部件分割P3-SAM/X-Part多高度占用地图平面图墙壁结构关键设计房间级场景中每个物体先独立以物体为中心标注再通过实例标识转换回全局坐标系实现跨层级一致性。流程二基于物理的动作标注流程接地与验证该流程将视觉-语言先验转化为可执行动作包含五个阶段text候选目标生成 → 轨迹生成 → 轨迹优化 → 物理验证 → 物理感知增强统一动作模式将标注组织为分层候选库核心数据结构为支持的技能覆盖类别具体技能抓取类平行夹爪抓取、灵巧手抓取、双臂抓取、双臂灵巧抓取操作类关节运动开/关/推/拉/旋转、插入、悬挂可变形类服装折叠、抖动、铺展移动类导航目标生成、接近姿态生成支持的本体平行夹爪、灵巧手、双臂系统、移动操作器、人形机器人四、关键技术亮点4.1 物理验证策略采用双层验证体系验证方式适用技能验证内容浮动末端执行器验证大多数物体级技能抓取、插入等接触、碰撞、稳定性不绑定特定机器人手臂完整操作器验证服装折叠、缠绕物体检索等IK可行性、手臂自碰撞、服装-手臂缠绕鲁棒性测试对抓取候选施加8个随机重力方向1.5倍重力和扰动拒绝仅能在一个理想条件下成功的“脆弱”候选。4.2 多样性保持机制候选库架构每个锚点-技能对存储多个候选不同姿态、接近方向、接触配置物理感知增强局部扰动 对称性感知增强如绕瓶子对称轴旋转抓取跨技能、跨本体覆盖18种原子技能多种机器人形态4.3 大规模并行化基于CUDA加速的优化与验证cuRobo-v2异步并行仿真环境支持异构资产、任务、本体同时处理最终产出处理17,005个资产生成1亿个经过物理验证的动作标注五、下游应用AnnotateAnything的标注可被转换为多种监督信号下游任务数据来源用途大规模仿真数据采集可执行动作标注作为原子技能接口训练机器人策略可操作区域与关键点检测视觉关键点 物理验证动作标签以机器人为中心的感知训练机器人推理VQA执行过程中的基础标签选中物体、IK解、接近侧等执行级问答监督3D VLM指令微调仿真密集基础标签 语言标注3D空间推理与场景理解六、实验结论评估维度主要结果标注覆盖率17,005个资产1亿物理验证标注每资产-技能对平均2,315候选→538保留23.2%保留率视觉-语言标注质量完整流程人类评分90.9显著优于直接VLM69.6和无3D精细化78.5物理动作标注质量宏观通过率40.6%执行成功率91.9%标注吞吐量198个/分钟数据采集效率基于标注库86.0%数据成功率165轨迹/小时1.17次尝试/成功轨迹真实世界迁移零样本迁移至真实任务抓取18/20抽屉开启16/20长期任务12/20消融实验关键发现仅几何采样成功率58.4%人类评分61.5仅视觉-语言成功率67.5%人类评分70.2无物理验证标注通过率仅27.0%但标注量虚高执行成功率仅63.2%完整流程成功率91.9%人类评分85.6七、局限性与未来方向局限性说明VLM依赖性语言标注质量受上游VLM和渲染可见性影响可变形物体对高度可变形资产、小尺寸部件处理能力弱于刚性物体仿真依赖碰撞几何、关节元数据、接触保真度影响标注质量技能覆盖尚未覆盖所有操作家族和所有真实部署约束计算成本仍需大量GPU资源A6000 RTX 4090集群AnnotateAnything是一个将“死”的3D模型转化为“活”的机器人操作数据的自动化工厂——它通过VLM注入人类交互常识通过物理仿真确保动作可执行通过并行化实现规模化最终产出可直接用于训练机器人策略的多样化、多技能、多本体的高质量标注。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示官方项目主页地址在这里如下所示摘要仿真技术能够实现可扩展的机器人数据采集但原始的3D资产仅提供几何信息缺乏指定机器人应在何处以及如何行动所需的语义、交互和物理知识。在本工作中我们提出了AnnotateAnything一个通用的自动标注框架能将被动的3D资产转换为具备结构化、多样化且可执行操作标签的、可直接用于操作任务的资产。AnnotateAnything围绕两个互补的流程构建。首先一个统一的视觉-语言标注流程利用视觉-语言推理来推断物体语义、交互约束和3D基础线索为识别有意义的交互区域提供人类先验指导。其次一个完全自动化且大规模并行的物理标注流程通过候选生成、几何优化和轨迹生成将这些先验信息锚定在每个资产的几何形状和物理约束上。该流程能生成多样化且可执行的动作标签包括抓取姿态、灵巧手接触、关节运动轨迹点、插入方向、悬挂可操作区域和导航目标。利用生成的标注我们进一步构建了一个异步并行仿真数据采集系统该系统覆盖多种物体、任务和机器人本体。实验证明与现有的标注和数据生成流程相比AnnotateAnything在标注效率、数据采集效率和任务成功率方面均表现优越同时还能支持下游任务如可操作区域检测、机器人VQA和视觉指令微调。我们在项目页面上提供了项目材料并计划发布完整代码、标注和基准以促进未来研究。视频、代码、演示资产和标注包含在补充材料中。1 引言训练通用机器人智能体需要跨物体、本体和任务的大规模和多样化机器人数据 [1-12]。仿真技术通过实现自动生成 [13-16] 提供了一种可扩展的替代方案而最近的资产集合和仿真基准为这种数据生成提供了丰富的几何和视觉基础 [17-20]。然而原始的3D资产通常仅编码形状和外观缺乏机器人学习所需的语义、交互和物理知识例如在哪里抓取、哪些部件可以移动、物体如何关节运动、以及何处可以进行插入或悬挂操作是可行的。因此关键瓶颈并非简单地获取更多资产而是将被动的3D几何形状自动转换为具备可执行机器人交互标注的、可直接用于操作任务的资产。为原始3D资产生成操作标注带来了四个关键挑战。在语义层面标注必须编码人类交互先验以便生成的轨迹自然、安全、并且很可能成功自动标注必须融入人类先验推理和交互理解C1[21, 22]。这些先验必须锚定在每个资产的几何形状和运动学特性上因为可行的动作取决于物理属性。抽象的交互意图必须转换为可执行的、资产特定的标签C2[23, 24]。除了正确性标注还应保留跨交互策略的多种有效解决方案多样化的可行标签不应坍缩为单一的规范解C3[25, 26]。在大规模应用时该过程必须覆盖大量资产、类别和交互同时保持几何精度和交互特异性这需要自动化而无需针对每个资产进行手动设计或针对特定任务进行工程化C4。生成满足这些要求的标注仍然困难现有方法通常依赖人工标注来获取语义或物理知识 [27, 26, 28, 29]这成本高昂、劳动密集、难以扩展且多样性有限而基于强化学习RL的替代方案减少了人工标注但需要奖励工程、复杂训练和大量计算并且可能产生与人类先验不一致的行为 [30, 31]。因此我们提出了 AnnotateAnything一个通用的自动标注框架能将3D资产转换为带有可执行标签的、可直接用于操作的资产。AnnotateAnything 提供用于交互级推理的互补语言标注、用于3D理解的视觉标注以及指定可执行操作参数如抓取姿态、关节运动轨迹点和导航轨迹的动作标注。图 1AnnotateAnything概述这是一个统一框架能将原始3D资产转换为适用于四种资产类别的可直接用于操作的标注刚性物体、关节物体、可变形物体和房间级导航场景。为了应对这些挑战AnnotateAnything 将 VLM 驱动的人类先验提取与物理基础标注相结合。它首先利用 VLM 来桥接高层语言推理和视觉基础语言标注提供从物体语义到多粒度的描述而视觉标注则将这些先验翻译为3D基础线索如可操作区域、关键点和部件分割。这些标注共同定位有意义的交互区域并指导下游动作标签的生成从而将人类交互理解注入到自动标注中应对 C1。然后我们通过基于几何的优化和资产特定的物理推理将这些先验锚定在每个资产上。为了保持多样性AnnotateAnything 在多个层级生成标注在每个任务内部它生成具有不同接触点、接近方向、方向和交互配置的可行候选在任务之间它覆盖抓取、灵巧操作、双臂交互、关节运动、折叠、悬挂和移动操作并且跨本体它支持平行夹爪、灵巧手、双臂系统、移动操作器和人形机器人应对 C3[32, 33]。最后AnnotateAnything 通过一个完全并行的物理标注流程实现可扩展性该流程涵盖候选生成、几何优化、标签选择、轨迹生成、物理验证和数据增强无需针对每个资产进行手动设计或针对特定任务进行工程化。借助 CUDA 加速的优化和验证 [34]该流程可跨资产和任务扩展同时保持资产特定的准确性、交互可行性和执行成功率应对 C4。表 1自动数据采集和标注生成方法比较。 ✓明确支持或报告 ⊙部分支持 ×不支持或未报告。基于生成的标注我们建立了一个异步并行数据采集系统以实现高效的数据收集。除了数据收集我们集成的视觉-语言-动作标注进一步支持下游应用包括可操作区域和关键点检测 [35-37]、面向机器人的 VQA 和推理以及用于多模态机器人模型的视觉指令微调。实验表明AnnotateAnything 在标注效率、数据采集效率和任务成功率方面显著优于现有的标注或数据生成流程证明了自动、多样化和资产特定的操作标注的实用价值。总之我们的贡献如下我们提出了 AnnotateAnything一个通用的自动标注框架能将被动的 3D 资产通过结构化、可操作且可执行的标注转换为可直接用于操作的资产。我们设计了一个统一的视觉-语言-动作标注流程集成了语言推理、3D 视觉基础和资产特定的动作标签生成能够在不同物体、任务和机器人本体上实现可执行的操作规范。我们开发了一个完全自动化且大规模并行的物理标注流程涵盖候选生成、轨迹生成与优化、物理验证与增强。我们展示了相较于现有方法在标注效率、数据采集效率和任务成功率方面的优越性以及在多个下游任务中的实用性。2 相关工作用于机器人学习的自动数据采集。自动机器人数据采集主要遵循基于标注的方法 [29, 27, 40] 或基于 RL 的方法 [31, 30, 41-44]。这些方法需要手动任务设计、奖励工程或昂贵的训练而 AnnotateAnything 自动将原始 3D 资产转换为可重用的、技能可消费的标注以实现可扩展的数据采集。用于操作的自动标注。先前的自动标注方法通常专注于特定任务的标签如抓取、接触、可操作区域或轨迹点限制了它们的规模、物体多样性、本体覆盖范围或任务通用性 [25, 38, 41, 42, 45-47, 44]。AnnotateAnything 统一了跨抓取、灵巧/双臂操作、关节运动、插入和悬挂等多样化的、技能可消费的标签更多相关工作在附录 I 中讨论。3 方法AnnotateAnything 接收一个原始 3D 资产从单个物体到整个房间并将其转换为具有分层语言、视觉和动作标注的、可直接用于操作的资产。首先AnnotateAnything 涉及一个视觉-语言标注流程以注入人类交互先验并将其锚定到资产级和场景级标注中第 3.1 节。其次一个基于物理的动作标注流程将这些线索转换为用于刚性、关节、可变形、服装和房间级交互的可执行标注第 3.2 节使用统一动作模式、生成-验证流程和特定于基本操作的实例化。3.1 分层视觉-语言标注流程3.1.1 分层语言标注资产级语言标注。对于每个物体资产我们将多视角 RGB 观测输入 Qwen3-VL [48]以生成三个层次的描述一个语义短语、一个功能性句子和一个部件感知段落。这些标注总结了物体身份、可操作部件和可行的交互作为视觉基础和动作生成的先验信息。图 2分层视觉-语言标注流程。AnnotateAnything 生成资产级语言和视觉标注包括描述、关键点、部件分割和可操作区域并将它们组合成房间级标注。房间级语言标注。给定选定的房间视图和一个标注的俯视占用地图我们查询 Qwen3.5-VL [48] 以生成三个层次的房间描述一个布局摘要、一个家具和区域描述以及密集的场景上下文。它们捕捉物体关系、可导航区域和与任务相关的交互区域补充了资产级标注。3.1.2 分层视觉标注资产级视觉标注。对于每个物体资产我们重建一个融合的 RGB-D 点云并通过 VLM 对 FPS 候选点进行选择来标注语义关键点。我们还通过 Hunyuan3D 风格的原生 3D 分解方法结合 P3-SAM [49] 和 X-Part [50]获得部件掩码从而为基于物理的动作标注提供 3D 锚点和部件区域。房间级视觉标注。对于每个房间级场景我们从模拟的 LiDAR 和射线投射观测构建多高度占用地图并通过过滤掉可移动物体推导出平面图和墙壁结构标注。这些视觉标注为导航、探索和场景级动作标注提供全局几何上下文。跨层级组合与一致性对于每个房间级场景我们隔离物体实例使用以物体为中心的标注独立标注每个资产然后使用场景实例标识将这些标注转换回全局坐标系。得到的表示将每个房间物体与其语义、视觉和动作相关标注关联起来并通过共享标识符与房间级标注和描述对齐。3.2 基于物理的动作标注流程基于物理的动作标注流程将交互先验锚定在机器人本体和物理可行性上将它们转换为结构化、可执行且经过验证的动作标签。它由候选目标生成、轨迹生成、轨迹优化、物理验证和物理感知增强组成生成的、可直接用于操作的资产带有多种标签如抓取姿态、灵巧手接触、关节运动轨迹点、插入方向、悬挂姿态、可变形物体轨迹和导航目标。3.2.1 统一动作标注模式我们的动作模式在保持功能一致性的同时保留了动作多样性。我们不是为每个物体或部件分配一个规范动作而是将标注组织成一个建立在视觉标注之上的分层候选库。给定一个资产 A视觉标注阶段提供基于的交互锚点该模式将动作标注定义为从基础锚点到功能条件可执行候选的一对多映射。由于每个 Bh,sBh,s​ 存储了跨姿态、接触、方向和轨迹的多个验证候选AnnotateAnything 为下游模块提供了多样化的、物理上可行且功能上有意义的标签而不是单一的启发式标注。3.2.2 通用基于物理的动作生成流程候选目标生成。给定一个技能类型 ss我们使用语言和视觉基础来定位技能兼容区域 Cs​对于以物体为中心的技能以及使用导航网格对于房间级导航。例如功能性抓取选择与任务相关的抓取区域关节运动选择把手或可移动部件导航在目标物体周围的导航网格上采样可到达区域。然后我们通过在物体或导航网格上进行 FPS 从 Cs​ 中采样具体目标实例化诸如接触点、关节把手点和交互就绪基座姿态等目标。采样的目标在用于填充候选库之前会通过几何和本体约束进行过滤包括曲率、可见性、碰撞裕度、可达性和可通过性。4 下游任务AnnotateAnything 将被动的3D资产转换为可重用的视觉-语言-动作标注用于机器人学习。如图5所示我们研究两个下游用途使用可执行动作标注进行大规模仿真数据采集以及将相同的标注转换为用于可操作区域和关键点检测、机器人推理 VQA 和 3D VLM 指令微调的监督信号。图 4代表性原子技能** 涵盖桌面、双臂、全身、灵巧和移动操作。4.1 大规模机器人数据采集我们使用生成的动作标注作为可执行接口用于大规模基于仿真的机器人数据采集。尽管该系统并非本文的核心贡献但我们将其包含在内以证明 AnnotateAnything 标注可直接用于下游数据采集流程。原子技能接口。我们构建了一个与我们的标注格式一致的原子技能库其中技能消费动作参数如抓取姿态、目标部件、轨迹点、插入方向、悬挂锚点和导航目标。该库支持桌面操作、双臂操作、全身控制、人形机器人、灵巧手和移动操作并可以将原子技能组合成长期任务。并行推出生成。我们运行异构并行仿真环境每个环境独立采样资产、任务、物体姿态和场景布局。对于每次推出使用异步 cuRobo-v2 规划来实现目标到达和避障 [34, 51]并对姿态、光照、材质、相机和场景配置进行域随机化。轨迹验证。对于每个随机化场景我们从标注库中检索候选求解目标集 IK并选择具有最低规划成本的可行解。我们还会移除在仿真验证中反复失败的动作候选确保保留的标注在各种机器人-物体配置下仍然可执行。4.2 从标注衍生的下游应用图 5AnnotateAnything 支持的下游应用。** 相同的视觉-语言-动作标注可以转换为用于可操作区域和关键点检测、机器人推理 VQA 和 3D VLM 指令微调的监督信号。关键点生成与可操作区域基础。我们重用视觉标注作为关键点监督并使用经过物理验证的动作标注作为可操作区域监督。视觉标签提供 VLM 选择的 3D 功能锚点而动作标签提供可执行线索如抓取方向、关节运动轨迹、服装拾取-放置点和基于导航网格的交互区域。这些标签可以投影到图像或点云上用于以机器人为中心的感知训练。[52-54, 8, 10, 55]机器人推理 VQA。机器人推理 VQA 作为仿真推出的副产品生成。在执行过程中我们记录基础标签如选中的物体、部件锚点、IK 目标集解、接近侧。因为这些标签取决于运行时机器人-物体姿态和从标注库中选择的候选它们提供了无法仅从静态资产中推导的执行级 QA 监督。[56-58]3D VLM 指令微调数据AnnotateAnything 可以被重新用于为 3D VLM 生成轻量级指令微调数据。仿真资产和推出提供密集的基础标签包括 3D 框、投影的 2D 框和部件分割而语言标注和跨层级组合提供物体关系、房间布局和任务上下文。这些信号共同产生用于 3D 空间推理、物体定位和场景级 QA 的基础风格指令-响应对作为下游演示而非完整的 3D VLM 基准。5 实验5.1 实验设置评估范围。我们将 AnnotateAnything 评估为一个自动标注流程用于将异构的原始3D资产转换为用于机器人操作的高质量语言、视觉和动作标注。我们并非将其视为一个数据集发布或一个独立的数据生成系统而是从四个方面评估标注质量规模和转换、视觉-语言和视觉标注质量、基于物理的可执行性以及下游推出的实用性。审核评估套件。所有质量和成功率结果均在一个从更大的异构资产池中采样的审核评估套件上报告。该资产池涵盖多种资产来源和资产类型包括刚性物体、关节物体、可变形或服装资产以及房间级场景。由于我们的目标是标注转换而非策划的资产发布我们在附录中分别报告来源和规模统计数据而通过率、成功率和人类评分则在审核套件上计算。该套件根据有效的资产-技能对进行分层涵盖抓取、灵巧抓取、双臂抓取、双臂灵巧抓取、关节运动、插入、悬挂、可变形操作以及导航或接近目标生成。5.2 异构资产的标注覆盖率我们首先评估来自不同来源的原始资产是否能够转换为可直接用于操作的标注库。如图6所示我们处理了来自9个来源家族的17,005个资产涵盖刚性物体、关节物体、可变形或服装资产以及房间级场景。AnnotateAnything 为18种原子技能生成了1亿个经过物理验证的动作标注如图7所示分组。在审核评估套件上该流程为每个尝试的资产-技能对平均生成2,315个候选其中615个通过物理验证538个保留在最终标注库中对应的物理验证通过率为 26.6%保留候选率为 23.2%。表3报告了宏观平均通过率、就绪率、执行成功率和标注吞吐量。图 6异构资产的标注覆盖率。** 精简覆盖率统计数据(A) 按资产类型和来源家族分组的已处理资产池(B) 按技能家族分组的物理验证结果以及 (C) 候选到标注的转换显示生成的候选如何被过滤为可行的、经过物理验证的和保留的动作标注。5.3 视觉-语言标注质量视觉-语言阶段为物理标注提供语义和空间先验。我们在审核套件的一个手动标注子集上对其进行评估 [59-62]该子集包含语言描述、功能部件、关键点、可操作区域和场景级空间线索的参考标准。我们使用人类评分0-100分制报告为均值 ± 标准误来评估完整的视觉-语言捆绑包并与三个变体进行比较直接 VLM、仅可操作区域 启发式、以及无3D精细化。我们还使用基于统一评估协议从相应标注源 [60, 62, 61] 推导的参考标准计算生成的部件、可操作区域和关键点标注的聚合匹配分数。表 2审核评估套件上的视觉-语言和视觉标注质量。左侧块报告完整视觉-语言标注捆绑包的人类评分均值 ± 标准误。右侧块报告在统一评估协议下生成的部件、可操作区域和关键点标注的聚合匹配分数。表2显示完整流程实现了最佳的捆绑包级质量。直接 VLM 在语义上具有竞争力但在3D基础和可操作性方面较弱仅可操作区域启发式方法改善了可操作区域定位但缺乏可靠的部件和关键点基础移除3D精细化削弱了所有三种视觉标注类型。这些结果表明语言推理和显式3D基础对于为基于物理的动作标注生成可靠的先验都是必需的。5.4 基于物理的动作标注质量物理阶段将基于的视觉-语言先验转换为可执行的动作库。对于每个有效的资产-技能对它生成候选应用几何和本体约束优化姿态或轨迹并在仿真中验证结果。表3报告了跨图7中原子技能的动作标注质量和基于标注的推出收集情况。每个就绪资产-技能对的接受标注数和详细验证标准在附录中提供。完整流程在所有评估技能上都生成了经过验证的标注并实现了最强的宏观级质量。消融实验表明仅几何采样缺乏语义精度仅视觉-语言标注缺乏物理可执行性而移除物理验证会降低执行和推出的可靠性。推出结果进一步表明经过物理验证的标注库在数据成功率和收集效率方面均优于无标注和仅视觉-语言变体。表 3审核评估套件上的基于物理的动作标注质量和基于标注的推出收集。上表完整流程的原子技能结果下表宏观平均基线和消融实验。人类评分为 0-100 分制的均值 ± 标准误。5.5 真实世界实验作为轻量级的真实世界合理性检查我们仅使用带有域随机化的、基于标注的仿真推出训练策略并在代表性真实世界任务上进行零样本评估。表 4从基于标注的仿真推出训练的策略的零样本真实世界迁移。6 结论我们提出了 AnnotateAnything一个用于自动将原始3D资产转换为可直接用于操作的标注的统一框架。通过将 VLM 驱动的人类先验推理与基于物理的优化和可扩展的并行验证相结合AnnotateAnything 能够跨物体、任务和机器人本体生成多样化、可执行且资产特定的标签。