PhysX-Omni面向刚体、可变形体与关节物体的统一仿真就绪物理三维生成方法原文链接https://arxiv.org/pdf/2605.21572项目链接https://physx-omni.github.io/图1借助PhysXVerse的高度多样性PhysX-Omni能够生成涵盖刚体、可变形体与关节物体的精细化通用三维资产产出适用于下游任务的仿真就绪物理资产。摘要仿真就绪的物理三维资产因其在下游任务中的广泛适用性已成为极具前景的研究方向。然而现有大多数三维生成方法要么忽略物理属性要么仅局限于单一种类的资产例如刚体、可变形体或关节物体。为解决上述局限本文提出PhysX-Omni——一套适用于多种资产类型的统一仿真就绪物理三维生成框架。具体而言本文设计了一种适配视觉-语言模型的新型高效几何表示方法该方法无需压缩即可直接编码高分辨率三维结构显著提升了生成性能。此外本文构建了首个通用仿真就绪三维数据集PhysXVerse覆盖丰富的室内外物体类别。为全面、灵活地评估真实场景下的生成能力与理解能力本文进一步提出PhysX-Bench基准测试涵盖几何结构、绝对尺度、材质、功能可供性、运动学、语义描述六大核心属性。基于传统评价指标与PhysX-Bench的大量实验表明PhysX-Omni在生成与理解任务上均表现优异。进一步的验证研究证实了PhysX-Omni在仿真就绪场景生成与机器人策略学习等下游应用中的潜力。本文认为PhysX-Omni将有力推动大量下游应用的发展尤其在具身人工智能与基于物理的仿真领域。官方主页https://physx-omni.github.io/1 引言高质量的仿真就绪sim-ready三维资产因其在游戏设计、机器人、具身人工智能、交互式仿真等下游任务中的广泛应用受到了学界的高度关注。然而现有大多数三维生成方法主要聚焦于实现照片级真实的外观与精细化的几何结构[1–8]。尽管这类方法生成性能优异但生成的三维资产往往缺乏真实世界部署所需的核心物理属性从而限制了其适用性尤其在基于物理的场景中。为弥补这一差距已有多项工作聚焦于生成关节资产[9–13]与可变形资产[14–19]。但这类方法通常仅针对特定资产类型如关节物体或可变形物体建模有限的物理属性子集而忽略了其他关键属性。作为仿真就绪物理三维生成的开创性工作[20, 21]相关方法能够合成更丰富的物理属性但仍受限于大规模、高质量标注三维数据集的稀缺导致生成资产的多样性不足进而限制了其在下游具身人工智能与控制任务中的实际应用价值。此外目前缺乏有效的基准测试来评估真实场景无真值标注下的物理属性极大地限制了有效评价的开展。为应对上述挑战本文提出PhysX-Omni——一套统一的仿真就绪物理三维生成框架支持刚体、可变形体、关节资产等多种物体类型具备广泛的应用潜力如图1所示。具体而言本文提出了一种适配视觉-语言模型VLM的新型几何表示方法无需在训练中引入额外特殊词元即可直接对高分辨率三维结构进行建模。通过显式建模三维结构PhysX-Omni避免了由分割带来的失效模式显著提升了生成性能。同时由于无需额外的解码器精调步骤本框架可兼容现有的基于体素的解码器[1, 6, 22]从而合成高保真外观。为解决数据稀缺问题本文构建了首个通用仿真就绪物理三维数据集PhysXVerse。该数据集包含超过8000个资产覆盖2000余种室内外类别例如直升机、坦克、赛车、摩天大楼、玩具等由PartVerse[23]筛选与整理得到。此外为全面评价仿真就绪三维生成效果本文搭建了首个物理三维生成基准测试PhysX-Bench覆盖几何结构、绝对尺度、材质、功能可供性、运动学、语义描述六大核心属性。通过结合基于物理的仿真与强大的视觉-语言模型PhysX-Bench能够在真实场景中实现鲁棒、真实的评价。基于传统指标与PhysX-Bench的大量实验表明与现有最优方法相比PhysX-Omni在生成质量与泛化能力上均实现了更优的性能。最后为验证资产在标准仿真器与物理引擎中的可部署性本文在通用仿真环境中开展了实验结果表明本文生成的仿真就绪资产可直接应用于存在丰富接触的机器人策略学习任务。本文认为该工作将为三维生成、具身人工智能与机器人领域的未来研究开辟新的方向。综上本文的主要贡献如下提出PhysX-Omni一套适用于多种资产类型的新型统一仿真就绪物理三维生成框架。通过采用全新的定制化几何表示方法本方法可直接对精细化几何结构进行建模显著提升了生成性能与泛化能力。构建首个通用仿真就绪物理三维数据集PhysXVerse覆盖超过2000种室内外类别如卡车、喷气式飞机、花卉等并配备高质量的物理属性标注。提出首个仿真就绪物理三维生成基准测试PhysX-Bench。通过将基于物理的仿真与强大的视觉-语言模型相结合PhysX-Bench提供了一套全面且鲁棒的评价框架可从六大核心维度评估真实场景下的生成方法。在PhysX-Bench与传统基准上的大量评价实验表明PhysX-Omni实现了出色的生成质量与鲁棒的泛化能力。此外本文验证了仿真就绪资产在标准仿真环境中的可部署性为下游具身人工智能与机器人操作应用提供了便利。2 相关工作2.1 以外观为核心的三维生成早期的三维生成研究主要以生成对抗网络GAN为主为该领域奠定了基础[24, 25]。尽管GAN类方法取得了初步成功但在适配更复杂、更多样的数据分布时往往存在训练不稳定、鲁棒性有限的问题。DreamFusion[26]的提出标志着该领域的重要转向其引入了分数蒸馏采样SDS技术利用预训练二维扩散模型的强大先验知识实现三维生成。然而这类基于优化的流程计算成本高昂且易出现雅努斯效应等伪影问题。为解决上述局限近年来的研究越来越倾向于采用前馈架构以提升生成效率与稳定性[1–3, 27–35]。与此同时学界也探索了其他生成范式包括对三维结构进行序列建模的自回归方法[36, 37]。为缓解几何建模中词元序列过长的挑战LLaMA-Mesh[38]采用了简化的网格表示而MeshLLM[4]则引入了分层部件级生成策略以进一步提升生成质量。ShapeLLM-Omni[5]通过VQ-VAE对三维表示进行压缩但代价是需要引入专用词元与专属分词器增加了训练流程的复杂度。相比之下PhysX-Anything[21]探索了利用纯文本表示对仿真就绪物理三维资产进行建模的方法。得益于视觉-语言模型的强大先验知识该方法实现了优异的生成性能与鲁棒性。然而其依赖显式分割阶段的设计引入了性能瓶颈整体生成质量受分割模块的制约。为突破这一限制本文提出了一种新型几何表示方法可直接对高分辨率三维结构进行建模。通过简化整体框架本方法相较基线方法显著提升了生成性能。2.2 物理三维资产生成近年来关节物体生成因其广泛的下游应用受到了越来越多的关注[13, 39–44]。现有关节生成方法大致可分为几类范式。其中主流的一类采用基于检索的策略即通过从预定义源库中检索并组装网格来构建关节资产[9, 11]。这类方法在已知类别中效果显著但本质上受限于数据库的覆盖范围难以泛化到全新的结构。另一类研究采用图结构表示[10, 45]将运动学图与扩散模型相结合实现了结构感知的生成。但这类方法通常仅关注几何结构无法生成高质量带纹理的资产真实感有限。除上述范式外DreamArt[12]等基于优化的方法尝试从视频生成输出中重建关节物体。尽管这类方法灵活性较强但依赖人工标注的部件掩码且在处理含大量可动组件的物体时易出现不稳定的问题。URDF-Anything[46]与URDF-Anything[47]可直接生成URDF表示但其性能高度依赖高质量的点云输入或网格数据且难以生成精细化纹理。近期MonoArt[13]利用三维生成与分割的先验知识推断运动学参数取得了可观的效果。尽管如此上述方法均主要关注单一类型的物理属性缺乏对物理对象的整体建模能力。除关节物体生成外已有多项工作也探索了三维资产变形的建模[16–19, 48]但这类方法同样忽略了其他关键物理属性限制了资产的真实感。为推动三维生成本着物理保真度的方向发展PhysXGen[20]提出了一套统一框架可直接生成具备绝对尺度、密度等核心物理属性的三维资产。沿着这一研究方向PhysX-Anything[21]进一步将该范式拓展至仿真就绪三维资产生成领域。然而该方法仍受限于现有仿真就绪数据集多样性不足的问题且在高效生成高质量、精细化资产方面面临挑战。为解决上述局限本文在统一框架内提出了一种定制化的几何表示方法并构建了首个通用高质量仿真就绪三维数据集。得益于更丰富的数据多样性与高效的几何表示本文提出的PhysX-Omni在生成复杂拓扑结构与精准物理属性方面展现出更强的鲁棒性与更优异的性能。本文认为该方法为利用合成数据推动下游应用发展开辟了极具前景的方向。3 方法本节将介绍PhysX-Omni的核心组成部分包括整体生成范式、新建的PhysXVerse数据集以及首个面向仿真就绪三维资产的基准测试PhysX-Bench。3.1 PhysX-Omni的生成范式PhysX-Omni采用基于视觉-语言模型的生成范式遵循相关研究的思路通过由粗到精、由全局到局部的推理流程生成仿真就绪物理资产。如图2所示给定一张完整或部分遮挡的图像PhysX-Omni首先执行整体理解推断高层全局信息包括物体类别、语义标识、绝对尺度、组件层级结构以及潜在物理属性。全局理解为后续的部件级生成提供了强有力的结构与语义先验有助于维持物体整体与其局部组件之间的一致性。图2给定单张完整或部分遮挡的图像PhysX-Omni首先推断高层全局信息随后采用多轮生成流程生成精细化的部件级几何结构。得益于全局与局部表示之间的内在对齐特性这些输出可直接整合为仿真就绪的物理三维资产。基于推断得到的全局表示PhysX-Omni进一步预测每个独立部件的精细化几何结构与物理属性。全局表示沿用相关研究提出的树状结构且适配视觉-语言模型的形式可有效将物体级与部件级信息组织为层次化表示适配自回归视觉-语言建模流程。在几何表示方面本文提出了一种新型高分辨率结构建模策略能够以紧凑、易于生成的方式直接编码精细化三维几何结构如图3b所示。与严重依赖网格分解或额外分割模块的现有方法不同本文提出的表示方法使PhysX-Omni能够直接对复杂几何结构进行建模同时保留显式的结构信息。因此PhysX-Omni可无缝利用预训练的基于体素的三维解码器生成高质量网格无需额外的网格分割流程从而显著提升了生成质量、鲁棒性与泛化能力尤其适用于具备复杂拓扑与精细结构的物体。图3(a) 三维建模中不同几何表示方法的对比。借助本文提出的几何表示PhysX-Omni可有效捕捉细粒度三维结构并提升运动学精度。(b) PhysX-Omni几何表示的细节示意。为直接对高分辨率三维结构建模本文首先沿Z ZZ轴对部件级体素网格进行切片对得到的每张二维掩码采用经典游程编码RLE将二值图像转换为紧凑的文本表示。为进一步提升压缩效率本文引入模板层的设计使其他层可表示为相对于模板的变体。现有研究已探索了多种适用于视觉-语言建模的紧凑三维表示包括顶点量化[4, 38]、三维VQ-GAN表示[5]以及基于文本的体素索引[21]旨在缩短序列长度、提升生成效率。但这些方法要么依赖额外的特殊词元要么几何保真度有限要么难以以适配生成的方式显式建模高分辨率结构。为在保持与现有视觉-语言模型词元空间兼容性的同时解决上述局限本文提出了一种新型基于文本的几何表示方法无需在语言模型词表中引入任何额外的特殊词元。具体而言受经典二维游程编码RLE的启发本文提出一种基于模板的RLE表示可显式、直接地对高分辨率三维几何结构进行建模。本文首先对仿真就绪资产进行体素化并根据标注的物体结构将其分解为部件级体素。随后将每个部件级体素沿Z ZZ轴切片为一系列二值二维掩码。对每一切片本文采用紧凑的二维RLE形式将占据区域高效编码为文本词元。然而与标准二维RLE不同的是三维结构在相邻切片之间天然存在较强的空间冗余对于平滑或重复的几何区域尤为明显。为利用这一特性本文进一步引入了模板层的概念。本方法无需对每个切片进行独立编码而是允许多个切片共享同一个结构模板仅存储其相对变化量或残差。通过跨层复用结构模式本文提出的基于模板的形式大幅降低了词元冗余度与序列长度同时保留了精细化的几何信息。此外该设计在整个生成过程中维持了显式的几何结构对自回归预测误差具备更强的鲁棒性更适用于高分辨率结构建模。综上与传统二维RLE及现有基于文本的显式表示相比本文提出的基于模板的RLE表示实现了更优的压缩效率与几何保真度。定性结果表明与采用基于文本的体素索引的基线方法相比PhysX-Omni生成的几何结构细节更丰富与物理、运动学属性的对齐效果更好。尤其值得注意的是该表示使模型能够在复杂关节物体中维持结构一致性同时保留细粒度几何结构。3.2 PhysXVerse数据集为缓解数据稀缺的限制本文构建了首个通用仿真就绪物理三维数据集PhysXVerse。为获取高质量的仿真就绪资产本文利用PartVerse[23]提供的经人工验证的分割标注为保证物理属性的可靠性进一步采用人在环路的标注流程。具体而言本文首先对原始数据集进行预处理过滤无效样本并合并不必要的细小或噪声部件以提升结构一致性。随后对每个三维资产渲染多视角图像利用强大的视觉-语言模型生成初步的物理标注包括绝对尺度、功能可供性、材质、功能描述以及运动学信息。这些自动生成的标注随后由人工标注员进行验证与修正以确保物理合理性与标注质量。最终PhysXVerse包含超过8700个高质量仿真就绪三维资产覆盖超过2900个类别涵盖室内家具、无人机、机器人、车辆、大型场景组件等多种物体类型。如图4所示与现有仿真就绪数据集相比PhysXVerse的类别覆盖范围更广物理标注更全面。此外本文通过部件数量分布分析了数据集的结构复杂度部件数量范围为1至65说明PhysXVerse既包含简单的刚体结构也涵盖高度复杂的关节系统。这种类别覆盖与结构复杂度的高度多样性为训练与评估通用仿真就绪物理三维生成模型提供了坚实的基础。图4PhysXVerse的统计信息与分布。与现有仿真就绪物理数据集相比PhysXVerse的类别覆盖范围显著更广包括汽车、建筑、人体模型、玩具、机器人等。部件数量分布呈长尾模式词云进一步体现了语义类别的多样性。3.3 PhysX-Bench的评价维度为保证基准测试的可复现性与鲁棒性本文采用开源视觉-语言模型Qwen3.5-122B-A10B对生成的物理属性进行评价。此外为降低理解复杂三维结构与物理属性的难度本文采用渲染后的图像或视频作为评价输入而非直接输入物理属性。该基准测试从六大核心维度进行评价几何结构评价三维结构与外观、绝对尺度评价物理尺寸、功能可供性评价人机交互先验、语义描述评价语义理解能力、材质评价力学属性、运动学评价运动行为如图5所示。图5PhysX-Bench整体框架。该基准包含六大核心维度可全面评价三维结构、外观、基础物理属性与理解能力。具体而言几何结构维度定义了三项子属性1CLIP得分用于衡量生成结果与条件图像的对齐程度2三维一致性用于评估多视角渲染结果的结构一致性3视觉质量用于评价外观质量。为获取精准的视觉质量评价结果本文设计了包含“很差”到“优秀”五个等级的参考评分表。在语义描述评价中本文在生成的三维物体上渲染部件级掩码利用视觉-语言模型评价掩码区域与条件图像中人工标注的参考描述是否语义匹配以此评估被测生成方法是否能在生成的三维资产中保留并锚定条件图像中的部件级语义。由于功能可供性可能因功能不同存在多种合理结果本文的评价以人类常识为依据同时考虑局部与全局合理性包括典型部件的相对排序合理性、显著错排情况以及预测功能可供性的整体合理性。与人类常识越一致的预测得分越高。在绝对尺度评价中本文将生成物体的最大尺寸与视觉-语言模型估计的真实世界最大尺寸进行对比将对称百分比误差转换为尺度合理性得分。在材质维度本文通过将生成资产渲染为不同类型的仿真视频来评估物理属性主要包括自由落体与落水场景。具体而言自由落体仿真尤其是物体接触地面时的行为可反映杨氏模量、泊松比等属性而落水仿真主要用于评估密度。本文认为通过这种可视化的物理行为评价材质能够形成更直观的评价协议更符合人类的感知与判断习惯。在运动学维度本文遵循以下原则资产的运动越合理、越符合物理规律得分越高。具体而言本文首先将生成资产渲染为运动视频再从条件图像中推断潜在运动。对于可见部件本文定义先验部件运动一致性指标用于评价预测运动与观测组件的预期行为是否一致。对于因条件图像单视角限制而不可见、但在渲染的运动视频中可见的部件本文引入揭示实体合理性指标用于评估其揭示的运动是否符合物理与语义逻辑。最后本文定义全局关节连贯性指标用于衡量完整运动动力学的整体一致性与合理性。最终的运动学得分为先验部件运动一致性、揭示实体合理性与全局关节连贯性得分的加权平均值。4 实验本节将展示基于传统评价指标与本文提出的PhysX-Bench基准的实验结果。此外本文还将报告人类对齐评价结果并开展全面的消融实验分析框架中不同组件的有效性。最后进一步验证PhysX-Omni在下游仿真就绪场景生成与机器人策略学习任务中的应用潜力。4.1 实现细节本文采用阿里云Qwen2.5-VL-7B-Instruct作为视觉-语言模型骨干[49]。模型在64张NVIDIA A100 GPU上训练5个轮次耗时约14天峰值学习率设为2 × 10 − 5 2 \times 10^{-5}2×10−5采用余弦学习率衰减策略预热比例为0.03有效批次大小为128。为支持高分辨率仿真就绪结构与长上下文物理描述的生成本文将最大序列长度设为16384个词元。在解码阶段本文采用TRELLIS[1]将生成的体素表示转换为高质量三维网格。得益于本文的显式几何表示解码器无需额外的网格分割或拓扑精调模块即可直接重建精细化结构从而同时提升了鲁棒性与几何保真度。4.2 数据集在训练阶段本文融合了PhysXNet[20]、PhysX-Mobility[21]与新建的PhysXVerse数据集中的仿真就绪资产构建了包含超过42000个仿真就绪物理三维资产的大规模语料覆盖丰富的室内外类别。该数据集涵盖刚体、关节物体与可变形物体具备丰富的几何结构与物理属性。为提升视角一致性并增强视觉理解的鲁棒性训练过程中为每个物体从不同视角渲染25张图像作为条件输入。这种多视角训练策略使PhysX-Omni能够更好地捕捉视觉外观、几何结构与物理属性之间的对应关系从而在复杂真实物体上具备更强的泛化性能。4.3 传统评价指标在实验中本文同时采用传统几何指标与物理属性指标评价生成的仿真就绪三维资产以全面评估视觉保真度、结构质量与物理正确性。在几何评价方面本文采用峰值信噪比PSNR衡量渲染外观质量采用倒角距离CD与F值F-score评估重建三维几何的精度。为保证鲁棒性并降低视角偏差本文从30个不同视角渲染生成资产与真值资产计算所有渲染视角下的平均评价结果。除几何质量外本文进一步沿用相关研究的协议评价生成的物理属性。具体而言在绝对尺度评价中本文计算预测物体尺度与真值之间的均方误差MSE。在材质、功能可供性与语义描述评价中本文采用基于热力图的PSNR指标衡量预测物理属性分布与对应真值标注之间的相似度。这类指标能够更鲁棒地评价生成资产的语义与物理一致性。在运动学评价中本文计算预测关节参数与真值之间的均方误差参数包括关节轴位置、关节方向、关节类型与运动极限。该评价重点评估生成资产能否准确捕捉下游仿真与机器人交互所需的、符合物理规律的关节行为。通过联合评价几何结构、物理属性与关节特性本文的评价协议可全面衡量仿真就绪物理三维生成的质量。表1在传统指标上与其他方法的定量对比。注倒角距离CD的单位为× 10 − 3 ×10^{-3}×10−3F值FS的单位为× 10 − 2 ×10^{-2}×10−2距离阈值为0.05。结果清晰表明本文方法在几何与物理属性生成方面均具备更优异的生成性能。4.4 基于传统指标的评价本文将PhysX-Omni与近年多种仿真就绪三维生成方法进行对比包括PhysXGen[20]、Articulate-Anything[11]、MonoArt[13]与PhysX-Anything[21]。遵循PhysXGen[20]与MonoArt[13]的评价协议本文在PhysXVerse与PhysX-Mobility数据集上开展实验采用传统几何指标与物理属性评价方法。如表1所示PhysX-Omni在两个数据集的几乎所有评价指标上均取得最优性能验证了本文提出的统一仿真就绪生成框架的有效性。在几何质量方面PhysX-Omni在PSNR、倒角距离与F值上均显著优于以往方法。在PhysXVerse数据集上本文方法的PSNR达到21.52CD为2.95F值为91.28大幅超越此前的最优结果。这些提升表明本文方法能够生成更精准、结构更一致的三维几何且局部细节更丰富。优异的几何性能主要得益于本文定制的基于模板的几何表示。与依赖基于文本的体素索引或额外分割模块的以往方法不同该表示以显式、紧凑的方式直接对高分辨率结构建模。这种设计有效减少了分割带来的伪影提升了相邻几何区域之间的一致性。因此PhysX-Omni生成的物体边界更清晰局部结构更精细关节组件更连贯尤其适用于拓扑复杂、几何细粒度高的物体。除几何生成外PhysX-Omni在物理属性预测上也实现了大幅提升。尤其值得注意的是与以往方法相比本文方法的绝对尺度误差显著降低。在PhysXVerse数据集上绝对尺度误差从PhysXGen的309.31与PhysX-Anything的298.19降至仅2.79。在PhysX-Mobility数据集上也观察到类似的提升误差降至2.78。这些结果表明本文框架对真实世界物体尺寸与物理先验的理解能力显著更强这对于下游仿真与机器人交互任务至关重要。在材质、功能可供性与语义描述评价中PhysX-Omni在两个数据集上同样取得最优性能。在PhysXVerse数据集上与PhysX-Anything相比本文方法将材质得分从15.65提升至27.23功能可供性得分从10.50提升至21.47。在PhysX-Mobility数据集上也呈现出相同的趋势。这些提升表明PhysX-Omni能够更好地捕捉物体的语义功能与物理特性生成更真实、更符合物理规律的仿真就绪资产。值得注意的是运动学评价的提升幅度最为显著。在PhysXVerse数据集上PhysX-Omni的运动学得分为0.9185大幅优于PhysX-Anything0.4191与MonoArt0.3805等以往方法。在PhysX-Mobility数据集上本文方法同样取得了0.8603的优异运动学得分。这些结果验证了本文框架能够准确推断关节结构、关节类型与运动约束从而生成具备物理一致行为的关节资产。总体而言定量结果表明PhysX-Omni在几何生成与物理推理两方面均实现了更优的性能。得益于基于视觉-语言模型的全局-局部框架与本文提出的高分辨率几何表示的结合PhysX-Omni生成的仿真就绪资产视觉保真度更高、物理一致性更强、关节建模更精准。这些结果共同验证了本文提出的统一框架在不同物体类别与物理场景下的优越性、鲁棒性与泛化能力。表2在PhysX-Bench上与其他方法的定量对比。结果验证了本文方法在真实世界图像与复杂合成图像上均具备强大的泛化能力相较所有对比方法实现了显著提升。4.5 基于PhysX-Bench的评价为全面评价不同方法在真实场景中的泛化能力本文进一步在新提出的PhysX-Bench基准上开展评价。基准构建与评价指标的更多细节详见补充材料。如前所述PhysX-Bench中的条件图像既来自真实世界照片也来自三维资产的渲染图像覆盖广泛的常见物体类别与具有挑战性的真实场景案例。与依赖真值标注的传统基准相比PhysX-Bench更侧重无真值的多维度评价涵盖几何结构、绝对尺度、材质、功能可供性、运动学与语义描述。表2中的定量结果有力证明与现有方法相比PhysX-Omni的整体性能更优异。具体而言本文方法在绝大多数物理属性上均取得最优结果包括绝对尺度、材质、功能可供性、运动学与语义描述。其中PhysX-Omni的运动学得分为80.72显著优于PhysX-Anything65.99、PhysXGen69.17、MonoArt68.32与Articulate-Anything71.25。在功能可供性理解与语义描述质量上也观察到类似的提升验证了本文框架强大的物理推理与语义理解能力。得益于显式编码的高分辨率三维结构PhysX-Omni能够更好地建模几何结构、关节特性与物理属性之间的内在关联。与严重依赖基于分割的中间表示的以往方法不同本文框架以统一的方式直接对显式三维结构建模从而显著提升了结构连贯性与关节一致性。这一优势对于复杂的关节物体与可变形物体尤为重要——这类物体的几何细节与运动学属性高度耦合。尽管MonoArt在CLIP相似度、三维一致性、视觉质量等若干几何相关指标上表现略优但这一优势主要源于其完全依赖预训练的TRELLIS几何生成流水线。相应地MonoArt缺乏对部件级运动与物理交互的显式理解因此在建模物理属性与关节行为方面能力有限导致在运动学、功能可供性、绝对尺度等面向仿真的属性上表现明显逊色。相比之下PhysX-Omni在几何与物理推理任务上实现了更均衡、更鲁棒的性能如图7所示。结果表明本文方法不仅保持了出色的几何质量还大幅提升了符合物理规律的仿真就绪资产的生成效果。尤其值得注意的是显式几何表示使模型能够在保留精细结构的同时避免分割带来的歧义与伪影从而实现更连贯的关节运动与更可靠的物理属性。图6定性结果对比。与现有生成方法相比本文提出的PhysX-Omni在生成复杂几何结构与丰富物理属性方面表现优异。为提供更直观的对比本文进一步在图6中可视化了不同方法的生成结果。定性结果显示PhysX-Omni在生成复杂结构与高难度关节物体方面表现出卓越的鲁棒性。与基线方法PhysX-Anything相比本文方法生成的仿真就绪资产质量更高几何结构更精准材质与功能可供性预测更合理关节行为也显著更连贯。此外图8与图9中的更多可视化结果展示了PhysX-Omni生成包含刚体、可变形体与关节物体的多样化仿真就绪场景的能力。通过直接对显式三维结构建模、无需依赖额外分割模块PhysX-Omni有效减少了结构歧义与分割带来的误差进一步验证了本文定制化几何表示与统一仿真就绪生成框架的有效性。图7左PhysX-Omni与其他方法的整体性能对比验证了PhysX-Omni优异的综合表现。右PhysX-Bench的人类对齐验证。实验表明PhysX-Bench在所有维度上的评价结果均与人工标注高度对齐。图8PhysX-Omni的更多定性结果。更多结果进一步验证了本文方法在复杂场景下鲁棒的生成性能。图9生成的可变形物体可视化。该图展示了本文生成的可变形资产在物理仿真的自由落体过程中呈现出的真实变形行为。图10采用不同几何表示的模型可视化结果。该结果有力证明通过引入高效的几何表示PhysX-Omni在生成复杂结构方面相较基线方法实现了更优异的性能。4.6 PhysX-Bench的人类对齐验证为验证PhysX-Bench能否有效反映人类的感知与评价偏好本文进一步研究了PhysX-Bench自动评价结果与人工标注之间的相关性。具体而言遵循以往基准测试的协议本文采用斯皮尔曼等级相关系数衡量自动评价得分与人类偏好得分之间的一致性。斯皮尔曼相关系数越高说明基准评价与人类判断的一致性越强。如图7所示PhysX-Bench在所有主要评价维度上均与人工标注呈现出高度一致的相关性包括几何结构、绝对尺度、功能可供性、运动学、材质与语义描述。其中多项物理属性与人类偏好的等级一致性表现优异例如绝对尺度、功能可供性、材质与语义描述的斯皮尔曼系数均达到ρ 1.0 \rho1.0ρ1.0运动学评价的斯皮尔曼系数同样达到ρ 1.0 \rho1.0ρ1.0且皮尔逊相关系数高达r 0.992 r0.992r0.992。这些结果表明PhysX-Bench给出的排名与人类评价结果高度一致。此外即使对于因视觉外观与结构细节多样性而通常更具挑战性的几何评价PhysX-Bench仍与人类偏好呈现出强相关性ρ 0.8 \rho0.8ρ0.8r 0.803 r0.803r0.803。该结果进一步证明该基准不仅能够鲁棒地评价物理属性还能在复杂真实场景中评估几何质量。总体而言所有评价维度上的强相关性验证了PhysX-Bench的可靠性、鲁棒性与有效性。这些结果表明该基准可作为仿真就绪物理三维生成领域值得信赖的自动评价框架其评价结果与人类感知和判断高度匹配。4.7 消融实验为验证本文定制化几何表示的有效性本文将PhysX-Omni与直接采用基于文本的体素索引建模三维结构的基线方法进行对比。表1与表2中传统指标与PhysX-Bench上的定量结果一致表明本文提出的基于模板的几何表示带来了显著的性能提升。尤其在运动学与绝对尺度上的提升更为明显验证了以紧凑、适配生成的方式显式建模高分辨率结构的有效性。此外图10中的定性对比更直观地展现了该表示方法的优势。基线方法PhysX-Anything依赖基于文本的体素索引与额外的分割流程而PhysX-Omni生成的仿真就绪资产细节更丰富、结构更连贯。如高亮区域所示基线方法常出现结构歧义、局部几何不完整、关节组件不一致等问题在婴儿车、拖拉机等拓扑复杂、结构细粒度高的物体上尤为明显。相比之下通过直接对显式三维几何建模、省去生成过程中的额外分割阶段PhysX-Omni有效减少了分割带来的伪影与误差累积。该设计使本文方法能够更好地保留局部几何连续性与部件级结构一致性从而实现更清晰的细节、更精准的关节结构与更符合物理规律的物体布局。例如在基线方法常失效的高复杂度区域PhysX-Omni能够生成更精准的车轮结构、更清晰的关节连接与更稳定的局部几何。此外对于关节物体与部件交互性强的物体提升效果尤为明显。得益于显式结构表示PhysX-Omni能够更好地捕捉几何结构与运动学之间的内在关联从而同时提升结构推理能力与运动一致性。这些结果共同证明定制化的几何表示显著增强了仿真就绪物理三维生成的鲁棒性、保真度与泛化能力。4.8 应用仿真环境中的机器人策略学习如图11所示本文进一步探究了生成的资产能否有效应用于真实仿真环境与下游机器人任务。为此本文将生成的仿真就绪三维资产直接部署到物理仿真器中用于机器人交互与策略学习。具体而言生成的资产连同其几何结构、物理属性与关节参数一同导入使仿真器无需额外人工处理即可执行基于物理的交互。图11在生成的仿真就绪三维资产上进行机器人操作。结果表明在多种任务中本文生成的仿真就绪资产均具备高度符合物理规律的行为与精准的几何结构为机器人策略学习开辟了新方向。实验结果表明在动态交互过程中生成的资产保持了可靠的几何精度、符合物理规律的材质属性与连贯的关节行为。即使在涉及关节运动与物体接触的高难度操作场景中生成的资产仍能保持结构稳定与物理一致。这些结果说明PhysX-Omni不仅能够生成视觉真实的三维资产还能生成具备物理功能的表示可无缝集成到仿真流水线中服务于下游机器人与具身人工智能应用。此外从真实场景图像自动生成仿真就绪资产的能力显著降低了机器人训练环境中人工构建资产的成本。4.9 应用仿真就绪场景生成此外本文进一步探索了PhysX-Omni在场景级仿真就绪生成中的潜力。具体而言本文首先采用图像深度估计方法[50]结合二维分割方法[51]从输入图像中重建初始三维场景布局。基于估计的深度、分割掩码与场景几何得到环境中物体的粗略摆放位置与空间关系。随后将重建的三维布局与PhysX-Omni生成的仿真就绪资产相结合自动构建符合物理规律的仿真就绪场景如图12所示。图12PhysX-Omni的应用场景。本文探索了PhysX-Omni在仿真就绪场景生成中的潜在应用。得益于本文框架生成的显式几何结构与物理属性插入的资产能够保持尺度一致性。此外由于本框架统一支持刚体、可变形体与关节物体与以往方法相比能够构建更多样、更真实的仿真环境。这些结果表明PhysX-Omni不仅支持高质量的仿真就绪资产生成还为可扩展的场景级仿真构建、具身人工智能训练、机器人策略学习以及未来的基于物理的世界生成应用提供了极具潜力的基础。5 结论本文提出PhysX-Omni——一套统一的仿真就绪物理三维生成框架适用于刚体、可变形体、关节物体等多种资产类型。通过为视觉-语言模型设计定制化的几何表示PhysX-Omni无需引入额外特殊词元也无需依赖分割模块即可直接对精细化三维结构建模从而显著提升了生成质量与鲁棒性。为缓解数据稀缺的限制本文进一步构建了首个通用仿真就绪物理三维数据集PhysXVerse包含超过8700个高质量资产并配备丰富的物理标注。此外为评价真实场景下的仿真就绪三维生成效果本文提出了新型基准测试PhysX-Bench可从几何结构、绝对尺度、功能可供性、材质、运动学、语义描述六大核心维度开展无真值评价。在PhysX-Bench与传统评价指标上的大量实验证明PhysX-Omni具备更优异的性能与更强的泛化能力。进一步的研究验证了该框架在仿真就绪场景生成、机器人策略学习等下游应用中的潜力凸显了将生成资产直接部署到具身人工智能与机器人仿真环境中的可行性。局限性与未来工作尽管PhysX-Omni性能优异但仍存在若干局限。尤其对于高度复杂的结构与细粒度细节几何质量仍有提升空间。由于本框架侧重统一物理理解与仿真就绪生成而非以外观为导向的几何预训练因此在部分侧重外观的几何指标上可能表现稍逊。未来本文计划利用更大规模的三维几何数据集与更强的外观监督在保持物理一致性的同时进一步提升几何保真度。以下内容来源于https://blog.csdn.net/sdlcjx/article/details/161768087技术拆解PhysX-Omni 带来的三点启发第一3D 生成的输出格式正在变得更结构化。过去很多生成系统把三维网格或辐射场作为终点而 PhysX-Omni 所代表的问题设定把物理属性也纳入输出。这意味着未来的 3D 生成模型可能越来越像“资产生成器”不仅生成表面还生成可被引擎使用的对象包。[1]第二物体类别知识与物理知识需要更紧密结合。刚体、形变体和铰接体的物理属性并非独立于语义类别存在柜门、抽屉、布料、工具等类别天然暗示不同结构和运动方式。论文把多类对象统一建模体现出语义、几何和物理之间的耦合关系。[1]第三评估标准会从视觉相似度走向交互可用性。对于仿真就绪对象能否稳定加载、能否正确碰撞、能否按照关节约束运动、能否产生合理形变都是与任务价值直接相关的指标。PhysX-Omni 的论文主题为这一评估方向提供了明确案例。[1]应用展望从资产生成到可交互世界构建基于论文目标PhysX-Omni 所服务的直接方向是可交互三维资产生成。它可以为仿真环境、机器人训练、数字内容创作和合成数据构建提供对象级基础。这里的关键不是简单增加资产数量而是让资产具备可被物理系统使用的结构和属性。[1]在大规模虚拟环境中资产的多样性和可操作性同样重要。仅有静态模型的场景可以用于视觉识别或渲染展示但对于操作学习、任务规划和交互式应用系统需要知道哪些对象可以移动、哪些对象可以变形、哪些对象包含关节。PhysX-Omni 将这三类对象纳入统一生成范式为这种场景构建提供了技术参考。[1]需要强调的是本文不对论文之外的商业化进展或产品落地做延展判断。所有描述都围绕论文提出的问题、方法和展示材料展开应用部分只说明这些技术目标与相关场景之间的直接关系。[1][2]小结仿真就绪是 3D 生成的下一层语义PhysX-Omni 的核心价值在于把 3D 生成的目标从“生成一个可看的对象”推进到“生成一个可进入物理世界的对象”。刚体、形变体和铰接体分别代表了物理交互中的三类重要资产论文尝试用统一框架同时覆盖它们使生成模型能够输出更适合仿真使用的三维对象。[1]从技术路线看论文强调几何、结构、物理属性和仿真可用性的结合从任务意义看它回应了机器人、具身智能和交互式三维内容对物理资产的需求从研究趋势看它提示 3D 生成未来需要更多关注对象在动态环境中的行为而不仅是静态外观。[1]如果把视觉生成看作第一步那么物理就绪可以视作三维生成走向真实交互任务的关键一步。PhysX-Omni 这篇论文提供了一个清晰的统一问题定义也给后续研究留下了继续完善数据、表示、生成质量和仿真评估的空间。[1][2]进一步展开从论文系统看仿真资产生成的工程闭环如果把一件三维资产放进物理引擎系统首先面对的并不是渲染而是对象能否以规范结构被读取。PhysX-Omni 论文围绕 simulation-ready physical 3D assets 展开意味着生成结果需要包含足够明确的物理语义对象属于刚体、形变体还是铰接体几何如何参与碰撞部件之间是否存在运动约束材料和形变相关参数如何服务于动力学求解。这样的目标把生成式 3D 的终点从“图形文件”推进到“可运行资产”。[1]在刚体场景里工程闭环相对清晰生成形状之后需要形成碰撞代理、质量属性和与世界交互的刚体配置。论文把刚体纳入统一框架说明其并非只把刚体作为常规三维重建结果而是把它放在可仿真对象集合中与其他物理类型共享统一任务定义。对于真实场景构建而言这一点很重要因为多数环境资产都需要至少具备稳定碰撞和可移动属性。[1]在形变体场景里闭环更依赖对象内部结构。柔性对象的可用性不只取决于外表面是否逼真还取决于仿真器能否根据材料和结构计算出合理形变。论文标题把 Deformable Objects 明确列入统一生成目标显示系统关注的是可以在物理仿真中出现动态响应的资产而不是只用于展示的软体外观。本文插入的形变对象图像来自论文 PDF用于辅助读者观察论文展示的生成结果。[1][3]铰接体则把三维生成带入运动学结构层面。一个对象是否可操作常常取决于关节是否存在、关节方向是否正确、运动范围是否与几何部件匹配。PhysX-Omni 将 Articulated Objects 纳入统一范式使生成系统必须关注部件、连接和自由度。对于机器人任务这类结构信息直接关系到拉门、开盖、推拉抽屉、操作工具等行为能否在仿真环境中被表达。[1]论文资料中的 PhysXVerse 相关图像和类别词云展示了数据侧的多样性。多样数据对于统一框架非常关键因为模型需要在不同类别、不同物理类型和不同结构复杂度之间建立映射关系。若数据只覆盖单一对象类型系统就很难学习三类物理资产之间的共性和差异而论文把刚体、形变体和铰接体并列组织正是为了支持更广泛的仿真就绪生成任务。[1][3]从研究方法看PhysX-Omni 的意义还在于把“物理属性”变成生成任务的显式组成部分。传统流程中物理属性常由人工后处理补充例如手动标注关节、调整碰撞体、配置质量和材料。论文提出的统一生成思路则把这些要素前移让模型直接面向仿真资产需求。这样可以缩短从生成结果到可交互环境之间的距离也使评估更容易围绕物理可用性展开。[1]