目的:通过对图像或者视频进行目标检测,计算出一个frame的目标box(x,y,w,h)通过box的位置信息和摄相机参数计算出框中像素点对应的3D点云坐标,实现与3D点云的融合;
主要包括以下几个过程:
1、摄像机标定
摄像机标定的目的?
摄像机标定的主要目的是利用摄像机所拍摄到的图像来还原空间中的物体。通过摄像机标定,可以建立摄像机成像的几何模型,这个几何模型就是相机内部参数,从而确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。
摄像机标定的方法?
常用的摄像机标定方法包括张正友标定方法和摄像机自标定方法。张正友标定方法使用平面模板进行标定,而自标定方法则利用本质矩阵和基本矩阵进行标定。
2、读取深度相机参数,采集彩色图像和深度图像
3、计算出彩色点云
4、彩色图像送入yolov8进行目标检测,2D图像检测框区域对应的空间点云,形成3dbox
参考:
深度相机,通过2d检测得到目标坐标系的3d检测框_深度图到相机坐标-CSDN博客
利用Azure Kinect 生成点云(C++)_azure kinect dk获取点云-CSDN博客