EmbodiedScan快速上手10分钟跑通Demo推理并可视化3D检测结果【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan想要体验面向具身智能Embodied AI的多模态3D感知模型却担心环境配置太复杂本文为你带来EmbodiedScan快速上手教程只需10分钟就能在本地跑通官方Demo推理把3D检测结果以彩色3D框的形式可视化出来直观感受CVPR 2024重磅开源项目的魅力。全程只需一行命令新手也能轻松完成。EmbodiedScan是什么面向具身智能的3D感知套件EmbodiedScan是上海AI Lab等机构联合开源的多模态3D感知套件相关论文发表于CVPR 2024与NeurIPS 2024。它同时提供数据集与基线模型两部分5k 室内场景扫描涵盖ScanNet、3RScan、Matterport3D、ARKitScenes四大数据集100万张 ego-centric RGB-D 视图模拟机器人第一人称视角100万条语言提示支撑视觉定位等语言-3D联合任务16万 个带朝向的3D标注框覆盖760 个物体类别80类密集语义占用标注支持占用预测任务其基线框架Embodied Perceptron具身感知器能够同时处理任意数量的RGB-D多视角输入与文本提示统一输出3D检测、占用预测、视觉定位三类结果。项目代码基于 MMDetection3D / MMEngine 构建结构清晰非常适合作为3D感知入门的学习范本。10分钟上手前的环境准备官方推荐环境如下不必完全一致越接近越省心组件版本系统Ubuntu 20.04Python3.8PyTorch1.11.0CUDA11.3 及以上PyTorch3D0.7.2建议准备一张 NVIDIA 显卡显存 8GB 以上即可流畅运行Demo。一键安装步骤快速搭建EmbodiedScan环境第1步克隆仓库并创建conda环境git clone https://gitcode.com/gh_mirrors/em/EmbodiedScan cd EmbodiedScan conda create -n embodiedscan python3.8 -y conda activate embodiedscan conda install pytorch1.11.0 torchvision0.12.0 torchaudio0.11.0 cudatoolkit11.3 -c pytorch第2步一键安装依赖项目贴心地提供了自动化安装脚本install.py它会自动安装 Mink Engine、PyTorch3D 等重量级依赖python install.py all # 安装全部依赖运行可视化 小提示如果只想先跑推理可用python install.py run只装运行依赖需要画图再补装python install.py visual。安装较重的包时终端可能看似卡住属正常现象耐心等待即可。下载Demo数据与预训练模型Demo推理需要一份示例场景数据内含彩色图、深度图、相机位姿和一个预训练权重将下载好的示例数据解压到demo/目录下目录结构如下demo/sample_data/office/ ├── rgb/ # 彩色图像序列 ├── depth/ # 深度图像序列 ├── poses.txt # 相机位姿 ├── axis_align_matrix.txt # 坐标对齐矩阵 └── intrinsic.txt # 相机内参下载多视角3D检测的预训练权重例如mv-3ddet.pthAP0.25 达 15.22或连续3D检测权重cont-3ddet.pthAP0.25 达 17.83保存到ckpt/目录。最快配置方法一行命令跑通Demo推理环境就绪后核心命令只有一条以连续3D检测为例python demo/demo.py configs/detection/cont-det3d_8xb1_embodiedscan-3d-284class-9dof.py \ ckpt/cont-3ddet.pth \ --root-dir demo/sample_data \ --scene office \ --device cuda:0参数说明参数作用config模型配置文件3D检测/占用预测等任务的入口checkpoint预训练权重路径--root-dirDemo数据根目录--scene场景名默认 office--device推理设备cuda:0或cpu命令执行后程序会自动完成数据加载 → 模型前向 → NMS后处理 → 可视化全流程最终弹出两样东西连续3D场景渲染整间办公室以点云形式呈现每个检测到的物体被彩色3D朝向框包裹单视角图像叠加框RGB图像上直接叠加3D检测框投影一眼看清椅子和桌子在哪里。若切换为多视角3D检测模型只需把配置文件换成configs/detection/mv-det3d_8xb4_embodiedscan-3d-284class-9dof.py即可。技术框架Embodied Perceptron如何工作如上图所示Embodied Perceptron 的流程很直观RGB-D 序列经点云与2D图像编码器提取特征与文本特征做视觉-语言融合VL Fusion最后通过 Dense / Sparse 解码器分别输出占用预测、3D检测、视觉定位三类结果。3D特征与文本特征的结合让模型能够理解把杯子放到桌子左边这类语言指令这正是具身智能落地的关键能力。深入理解Demo推理代码做了什么如果你对源码感兴趣核心逻辑集中在两个文件中demo/demo.py完整推理脚本包含init_model()模型初始化、NMS后处理过滤冗余框、EmbodiedScanExplorer场景可视化三大部分demo/demo.ipynb交互式教程按准备数据→构建模型→前向推理→可视化五步拆解适合边看边学其中可视化环节由 embodiedscan/explorer.py 中的EmbodiedScanExplorer负责它内部使用 Open3D 渲染连续场景并支持自定义类别颜色映射见 embodiedscan/visualization/full_color_map.txt。推理时常用的后处理函数nms_filter默认参数为IoU阈值0.15、置信度阈值0.075、每类最多保留10个框避免可视化时框过多影响观感。你也可以直接修改这些阈值得到更干净或更丰富的检测结果。常见问题与避坑指南PyTorch3D 装不上官方推荐 Python 3.8 PyTorch 1.11 CUDA 11.3 组合版本错配是最大元凶显存不足Demo 场景帧数较多可尝试--device cpu速度较慢或换小显存友好的连续检测模型可视化窗口空白检查数据目录是否包含rgb/、depth/、poses.txt等文件缺一不可想要离线保存结果可用 tools/test.py 配合评估脚本 tools/eval_script.py 批量跑评测并保存预测文件。下一步从Demo走向完整训练跑通Demo只是开始EmbodiedScan 还提供了完整的训练与评测链路# 训练多视角3D检测模型 python tools/train.py configs/detection/mv-det3d_8xb4_embodiedscan-3d-284class-9dof.py # 测试并评估 python tools/test.py configs/detection/mv-det3d_8xb4_embodiedscan-3d-284class-9dof.py work_dirs/epoch_12.pth训练配置按任务分门别类存放在 configs/ 目录下包含3D检测9-DoF框、视觉定位、占用预测三大任务语言-3D联合推理的视觉定位模型还支持直接导出结果提交到测试服务器见 tools/submit_results.py。结语从克隆仓库到跑通Demo并可视化3D检测结果EmbodiedScan 的入门链路远比想象中简单——一条命令、一份示例数据、一个预训练权重10分钟即可完成。作为多模态3D感知的代表性开源项目它既是学习具身智能的绝佳教材也是开展3D检测、视觉定位、占用预测研究的坚实起点。现在就动手试试吧把3D检测结果可视化出来你会立刻感受到 3D 感知的乐趣【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考