目录0.硬件配置0.1电气连接0.1.1 设备开机操作0.1.2 电气连接说明0.2 机械臂接线1.软件配置1.1配置机械臂端口1.2配置摄像头序列号2.启动设备2.1启动摄像头2.2启动机械臂3.数据采集4.数据处理4.1数据同步4.2数据转HDF54.3数据转lerobot可选5.数据重播6.训练与推理6.1训练6.2推理7.LeRobot训练与推理7.1训练7.2推理0.硬件配置0.1电气连接0.1.1 设备开机操作先将机械臂水平放置夹爪示教器手动重置为闭合状态。每次上电请先将机械臂恢复到正确位置再上电。如果不在正确位置上电可能导致机械臂零点改变先按下户外电源主开关再按一下220V交流电开关此时工控机和机械臂会正常上电再按下底盘的电源开关屏幕和路由器需要由底盘供电0.1.2 电气连接说明户外电源“电小二”右侧橙色的线是它的充电线从上往下第一个按钮是总电源按钮ac开关是输出220v交流电开关按钮。工控机插在“电小二”上黑色的插头是它的电源适配器插头通过电小二输出的220v交流电供电。机械臂插在“电小二”上白色的插头是它的电源适配器插头通过电小二输出的220v交流电供电。工控机开机密码为: agx路由器WiFi名称aloha 密码123456780.2 机械臂接线出厂时已经接好机械臂的线开机只需按下户外电源AC接口接通电源后,如下图机械臂底座有4处指示灯亮即表示通电成功。如果机械臂底座的灯没有闪烁绿灯则检查机械臂供电。若发生异常情况需要给机械臂断电可以通过按下白色插排的电源按钮1.软件配置1.1配置机械臂端口conda deactivate cd ~/piper_ros python3 setup_can_ports.py1.2配置摄像头序列号conda deactivate cd ~/camera_ros/scripts/ python3 setup_orbbec_serials.py # orbbec2.启动设备2.1启动摄像头conda deactivate cd ~/camera_ros/scripts/ bash start_orbbec_camera.sh # orbbec2.2启动机械臂若用于推理或数据重播请拔出两个主臂的电源插口conda deactivate cd ~/piper_ros bash start_multi_piper.sh3.数据采集conda deactivate ros2 launch data_tools run_data_capture.launch.py datasetDir:/home/agilex/cobot_magic/data episodeIndex:0按回车结束采集其中“/home/agilex/cotbot_magic/data”为数据保存路径必须使用绝对路径“episodeIndex:0”表示采集第0条数据4.数据处理4.1数据同步conda activate data cd ~/data_ros/src/data_tools/scripts python data_sync.py --datasetDir /home/agilex/data4.2数据转HDF5conda activate data cd ~/data_ros/src/data_tools/scripts python data_to_hdf5.py --datasetDir /home/agilex/data4.3数据转lerobot可选conda activate lerobot cd ~/data_ros/src/data_tools/scripts python hdf5_to_lerobot.py --datasetDir /home/agilex/data --targetDir /home/agilex/data_lerobot5.数据重播conda activate data cd ~/data_ros/src/data_tools/scripts python data_publish.py --datasetDir /home/agilex/data/episode0/episode1.hdf56.训练与推理6.1训练conda activate aloha cd ~/aloha/act python aloha_train.py --dataset_dir /home/agilex/data --ckpt_dir /home/agilex/checkpoint_aloha6.2推理conda activate aloha cd ~/aloha/act python aloha_inference-ros2.py --ckpt_dir /home/agilex/checkpoint_aloha7.LeRobot训练与推理7.1训练conda activate lerobot cd ~/lerobot python src/lerobot/scripts/train.py --dataset.repo_iddata --policy.typeact --output_dir/home/agilex/checkpoint_lerobot --job_namedata --policy.devicecuda --wandb.enablefalse --dataset.root/home/agilex/data_lerobot/ --policy.repo_iddata --batch_size 1 --eval.batch_size 17.2推理conda activate lerobot cd ~/lerobot/scripts python lerobot_inference-ros2.py --policy act --pretrained_model_name_or_path ~/checkpoint_lerobot/checkpoints/100000/pretrained_model/