基于EmbodiedScan的具身AI应用探索：从3D场景理解到智能体人机交互
基于EmbodiedScan的具身AI应用探索从3D场景理解到智能体人机交互【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScanEmbodiedScan 是一个面向具身AIEmbodied AI的多模态3D感知数据集与基准专注于从智能体第一人称视角完成3D场景理解。它收录了超过5000次室内扫描、100万张以自我为中心的RGB-D视图和100万条语言提示覆盖760多个物体类别并提供3D目标检测、3D视觉定位与语义占用预测等基准任务。本文将带你从零认识 EmbodiedScan理解它如何打通看见场景—听懂指令—人机交互的完整链路并附上快速上手教程。为什么具身AI需要全新的3D场景理解数据集传统3D感知研究大多采用上帝视角模型从全局鸟瞰输入中完成目标检测或分割输出的也是整张场景级的标签。然而真正的具身智能体如家用机器人、仓储AGV只能拿到第一人称的RGB-D观测流还要把看到的内容转译成语言去响应人类指令。这两者之间存在明显鸿沟。传统3D感知的上帝视角局限输入是完整场景点云而非智能体探索过程中的部分观测输出是检测框或分割掩码缺少与自然语言的对应关系评估停留在看得准不准不关心能不能听懂并执行指令。具身智能体的核心挑战第一人称 多模态具身智能体需要在移动探索中实时构建对环境的理解同时把视觉信息与语言指令对齐。这意味着数据集必须同时具备第一人称RGB-D序列、密集的3D标注、以及覆盖丰富场景的语言提示。这正是 EmbodiedScan 被设计的初衷。EmbodiedScan数据集一组数字看懂它的含金量作为 CVPR 2024 发表的工作EmbodiedScan 的数据规模在同类型数据集中相当突出几个关键数字值得记住指标数值说明场景扫描5k涵盖客厅、厨房、卧室等日常室内场景第一人称RGB-D视图100万模拟智能体真实探索视角语言提示100万用于3D视觉定位与指令跟随3D有向框16万覆盖760物体类别部分与LVIS对齐语义占用标注80类支持密集占用预测任务除了原始扫描项目还同步开源了数据解析、标注与评测工具链。数据组织方式与下载说明可参考data/README.md基础分析可视化流程可以参考embodiedscan/tutorial.ipynb。Embodied Perceptron 基线框架多模态输入的3D感知大脑有了数据还需要一个能吃下多模态输入的模型。EmbodiedScan 配套开源了名为Embodied Perceptron的基线框架它接受任意数量的RGB-D视图序列与文本提示经过稀疏3D编码器、2D图像编码器与文本编码器后通过密集/稀疏解码器完成不同任务的预测。该框架在四个基准任务上均有公开的基线结果可直接用于复现与对比多视角3D目标检测以RGB-D为输入AP0.25 基线约 15.22连续3D目标检测支持任意帧数连续输入AP0.25 基线约 17.83多视角3D视觉定位根据自然语言指令定位目标物体AP0.25 可达 36.78完整版占用预测80类语义占用预测多视角与连续版本 mIoU 分别约 21.28 / 22.92。模型主代码位于embodiedscan/models/其中检测器包括embodiedscan/models/detectors/embodied_det3d.py、embodied_det3d.py与sparse_featfusion_grounder.py等评测逻辑集中在embodiedscan/eval/indoor_eval.py。快速上手教程安装EmbodiedScan只需三步对于新手来说跑通环境是第一步。项目提供了自动安装脚本推荐在 Ubuntu CUDA 环境下操作。第一步克隆仓库并创建环境git clone https://gitcode.com/gh_mirrors/em/EmbodiedScan cd EmbodiedScan conda create -n embodiedscan python3.8 -y conda activate embodiedscan conda install pytorch1.11.0 torchvision0.12.0 torchaudio0.11.0 cudatoolkit11.3 -c pytorch第二步一键安装全部依赖python install.py all安装脚本会自动处理 MinkowskiEngine、PyTorch3D 等较重的依赖耐心等待即可。第三步按指南准备数据数据下载与目录组织方式请查阅data/README.md按说明放置扫描数据与标注文件即可。十分钟体验演示让模型听懂你的语言指令想快速看到效果可以运行项目自带的推理演示。下载示例数据后打开demo/demo.ipynb按步骤执行或直接运行脚本python demo.py /path/to/config /path/to/checkpoint --root-dir /path/to/data --scene scene_name --device cuda:0推理过程中还可以启用EmbodiedScanBaseVisualizer可视化场景预测结果详细用法参见embodiedscan/visualizer/README.md。训练与评测脚本位于tools/train.py与tools/test.py对应任务的配置文件放在configs/目录下例如多视角3D检测的configs/detection/mv-det3d_8xb4_embodiedscan-3d-284class-9dof.py。具身AI应用探索从3D场景理解到智能体人机交互掌握了 EmbodiedScan 之后它能在哪些实际场景中发挥作用这里列举几个典型方向智能家居机器人通过第一人称RGB-D观测理解房间布局用语言指令完成帮我找到茶几上那本书等任务仓储与物流AGV在复杂货架环境中进行连续3D目标检测与定位精准抓取指定商品AR/MR辅助设备将3D场景理解结果叠加到增强现实画面中实现物体级的人机交互指引多模态大模型底座EmbodiedScan 的百万级语言提示为视觉-语言-3D对齐提供了高质量训练语料也是 MMScan 等后续工作的重要基础。从感知到交互的关键一跳3D视觉定位3D视觉定位是连接感知与交互的枢纽任务。EmbodiedScan 的视觉定位基准要求模型根据自然语言描述如找到离柜台最近、离椅子最远且位于烤面包机前的桌子在3D场景中准确定位目标这正是未来人机交互中听懂并执行能力的核心体现。总结与学习建议EmbodiedScan 的价值在于它第一次把第一人称3D感知与自然语言交互放进同一个多模态数据集与基准中为具身AI研究提供了标准化的起点。建议新手按以下路径学习通读论文仓库assets/EmbodiedScan.pdf理解任务定义跑通demo/demo.ipynb直观感受模型能力阅读embodiedscan/datasets/下的数据集代码理解数据流复现四个基准任务再基于基线模型做改进实验。从3D场景理解到智能体人机交互EmbodiedScan 已经为你铺好了第一段路。现在就克隆仓库开始你的具身AI探索之旅吧【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
