1. 项目概述为什么要在Ubuntu下用Matlab做双目标定最近在折腾一个机器人视觉项目核心是要让两个摄像头像人的双眼一样能精确地感知三维空间。这第一步也是最关键的一步就是双目摄像头标定。你可能听说过OpenCV但这次我选择在Ubuntu系统下用Matlab的Computer Vision Toolbox来完成。很多人会问为什么不用更“开源”、更“轻量”的OpenCV原因很实际Matlab的标定工具链集成度极高从棋盘格检测、参数计算到重投影误差分析一套流程下来界面友好、文档清晰特别适合算法验证和快速原型开发。而Ubuntu环境则是很多机器人、自动驾驶领域研发的“标准工位”其稳定的命令行和开发环境与Matlab强大的数值计算和可视化能力结合能让我们更专注于算法本身而不是折腾环境。这个项目就是带你走通这条路。我会假设你有一台安装了Ubuntu比如20.04或22.04 LTS的电脑或虚拟机以及一套双目摄像头硬件两个型号、参数一致的USB摄像头或相机模组。我们将从环境准备开始一步步完成标定板的制作、图像采集、Matlab标定工具箱的使用、参数解读直到最后验证标定结果。过程中你会遇到一些坑比如Matlab在Linux下的权限问题、摄像头驱动兼容性、标定板打印的精度要求等我都会把踩过的坑和填坑的方法详细记录下来。目标很简单让你看完就能自己动手得到一组可靠的双目相机参数为后续的立体匹配和三维重建打下坚实基础。2. 环境准备与工具选型搭建稳定的标定工作流工欲善其事必先利其器。在Ubuntu下用Matlab做视觉标定环境的稳定性直接决定了后续操作的顺畅程度。这里的选择都是基于稳定和高效的综合考量。2.1 Ubuntu系统与Matlab版本选择首先说系统。Ubuntu 20.04 LTS或22.04 LTS是经过长期验证的稳定选择对硬件驱动和Matlab的兼容性最好。不推荐立刻使用最新的非LTS版本你可能会在图形界面、驱动安装上浪费大量时间。我个人的主力环境是Ubuntu 22.04 LTS。其次是Matlab版本。MathWorks官方对Linux的支持一直不错。建议选择R2021a及之后的版本因为这些版本的Computer Vision Toolbox功能更完善对新型摄像头格式的支持也更好。我使用的是R2022b。安装过程需要注意在Linux下安装Matlab通常需要下载离线安装包并通过终端命令行以sudo权限运行安装程序。安装时务必勾选“MATLAB”、“Simulink”和“Computer Vision Toolbox”这三个核心产品。其他工具箱如Image Processing Toolbox也会被依赖安装不用担心。注意安装完成后建议将Matlab的可执行文件路径通常位于/usr/local/MATLAB/R2022b/bin添加到系统的PATH环境变量中。这样你就可以在终端直接输入matlab来启动软件非常方便。编辑~/.bashrc文件在末尾添加一行export PATH/usr/local/MATLAB/R2022b/bin:$PATH然后执行source ~/.bashrc生效。2.2 双目摄像头硬件选型与驱动双目摄像头是整个标定系统的数据源头其稳定性至关重要。市面上常见的有以下几种方案两个独立的USB摄像头这是最灵活、成本最低的方案。你需要确保两个摄像头型号完全一致以减少内部参数差异。推荐使用免驱的UVCUSB Video Class协议摄像头Linux内核原生支持插上即用。品牌如罗技C920/C922很多国产模组也兼容得很好。一体式双目摄像头如Intel RealSense D400系列如D435i、ZED相机等。它们出厂时两个光学中心已严格对齐但仍然需要标定因为镜头的畸变和微小的装配误差依然存在。这类相机通常提供官方的SDK和标定工具但用Matlab通用方法标定同样可行且便于统一算法流程。工业相机组合通过USB3.0或GigE接口连接的两个工业相机精度和同步性最好但成本和复杂度也最高。对于大多数学习和项目原型我推荐方案一。关键点在于同步触发。Matlab的webcam函数或videoinput接口需要Image Acquisition Toolbox可以分别读取两个摄像头但采集是异步的。如果标定时相机或标定板有微小移动就会引入误差。一个实用的土办法是将标定板固定好确保环境光线充足然后用手动控制的方式让Matlab脚本依次但快速地采集左右相机的图像尽量减少中间的时间差。更专业的做法是使用硬件触发线但这需要相机支持且配置复杂。驱动方面对于UVC摄像头Ubuntu通常自动识别。你可以用lsusb命令查看摄像头是否被识别用v4l2-ctl --list-devices命令查看视频设备节点通常是/dev/video0和/dev/video1。确保两个摄像头都能被cheese或guvcview这类图形化工具正常打开。2.3 标定板制作精度是标定成功的基石标定板是标定算法的“尺子”它的精度直接决定了标定参数的精度。Matlab标定工具箱支持棋盘格、圆形网格、不对称圆形网格等多种模式。最经典也最推荐的是棋盘格因为其角点检测算法非常鲁棒。制作要求尺寸棋盘格每个方块的物理尺寸必须精确已知。常用的是30mm或25mm。这个尺寸是你告诉Matlab的“世界坐标”单位务必测量准确。数量棋盘格至少需要8x6内角点数量即内部黑白格子相交的点或更大如9x7。内角点越多提供的约束信息越丰富标定越稳定。平整度必须将棋盘格图案打印在硬质、平整的材料上如亚克力板、铝塑板或高质量的卡纸。贴在软质泡沫板或弯曲的表面是绝对不行的。打印精度最好使用专业的工程绘图仪或高精度打印机。家用打印机可能存在缩放误差。打印出来后务必用游标卡尺实际测量几个格子的尺寸取平均值作为输入参数。实操心得我习惯用PDF格式的棋盘格图确保打印时选择“实际大小”或“100%缩放”。将打印好的图纸用双面胶平整地粘贴在A3大小的雪弗板KT板上效果很好。另外环境光照射下标定板反光会干扰角点检测可以尝试使用哑光覆膜。3. 核心原理与Matlab工具箱解析在动手采集图像之前理解双目标定到底在算什么以及Matlab工具箱背后做了什么能帮助你在结果不理想时快速定位问题。3.1 相机模型与张正友标定法Matlab默认采用的标定算法核心是张正友标定法。它用一个数学模型来描述从三维世界点映射到二维图像像素的过程主要包含两类参数内参描述相机自身的属性与它的位置无关。焦距(fx, fy)以像素为单位。由于制造工艺x和y方向的焦距可能有微小差异。主点(cx, cy)图像光心通常是图像中心的像素坐标。畸变系数[k1, k2, p1, p2, k3]描述镜头引起的径向畸变k1, k2, k3图像边缘弯曲和切向畸变p1, p2镜头与传感器不平行。外参描述相机在三维空间中的位置和姿态。对于单目标定每一张标定板图像都对应一组外参旋转矩阵R和平移向量t表示标定板坐标系到相机坐标系的变换。双目外参对于双目系统我们除了得到左右相机各自的内参和相对于标定板的外参最关键的是得到右相机相对于左相机的位姿即一个旋转矩阵R和一个平移向量T。这个T的模长就是两个相机光心之间的距离称为基线距是后续立体视觉计算深度的基础。标定过程就是让相机从不同角度拍摄多张标定板图片算法通过检测图片中的角点利用这些角点的世界坐标已知和图像坐标检测得到反解出最优的上述参数使得重投影误差计算出的像素点与实际检测到的像素点之间的距离最小。3.2 Matlab标定工具箱工作流解析Matlab的cameraCalibrator和stereoCameraCalibratorApp提供了一个图形化的工作流但其底层是分步执行的角点检测对于每张输入的棋盘格图片工具箱使用自适应阈值和亚像素精度算法寻找角点。detectCheckerboardPoints函数完成此项工作。初始参数估计假设无畸变利用直接线性变换DLT等方法初步估算出内参和外参。非线性优化将畸变系数加入模型利用Levenberg-Marquardt等非线性最小二乘算法对所有参数内参、畸变、所有外参进行联合优化最小化重投影误差。双目参数计算在分别得到左右相机参数后利用左右相机在同一时刻同一组图片对看到的标定板角点计算左右相机之间的旋转R和平移T。标定评估工具箱会输出平均重投影误差单位像素。这是一个核心指标通常要求小于0.5像素好的标定可以做到0.2像素以下。它会直观地显示每张图片的误差帮你找出拍摄有问题的图片。注意事项Matlab在优化时默认会计算切向畸变(p1, p2)和三项径向畸变(k1, k2, k3)。对于普通镜头有时k3项并不必要强行计算可能导致在图像边缘区域畸变校正过度。你可以在设置中选择“2 Coefficients”只计算k1, k2。4. 实操过程从图像采集到参数获取理论清晰后我们进入实战环节。这个过程需要耐心和细致。4.1 图像采集脚本编写与执行自动化采集能保证图像对的一致性。我们编写一个Matlab脚本.m文件来完成。% 双目图像采集脚本 stereo_capture.m clear; clc; % 1. 检测摄像头 camList webcamlist; disp(检测到的摄像头); disp(camList); % 假设第一个是左摄像头第二个是右摄像头 camLeft webcam(1); camRight webcam(2); % 2. 创建保存图像的文件夹 saveDir ./stereo_calib_imgs/; if ~exist(saveDir, dir) mkdir(saveDir); end % 3. 设置采集参数 numPairs 20; % 计划采集20对图像 imgFormat png; % 使用无损的png格式 disp(准备采集请将标定板置于相机视野内...); pause(2); % 给用户准备时间 for i 1:numPairs fprintf(采集第 %d/%d 对图像...\n, i, numPairs); input(调整标定板位置和角度按回车键拍摄一对图像, s); % 快速连续拍摄尽量减少运动 imgLeft snapshot(camLeft); imgRight snapshot(camRight); % 保存图像 leftName fullfile(saveDir, sprintf(left_%02d.%s, i, imgFormat)); rightName fullfile(saveDir, sprintf(right_%02d.%s, i, imgFormat)); imwrite(imgLeft, leftName); imwrite(imgRight, rightName); % 可选实时显示预览 subplot(1,2,1); imshow(imgLeft); title(sprintf(Left %d, i)); subplot(1,2,2); imshow(imgRight); title(sprintf(Right %d, i)); drawnow; end % 4. 清理 clear camLeft camRight; disp(图像采集完成);执行要点运行脚本前先用webcamlist确认摄像头索引顺序确保webcam(1)和webcam(2)对应你想要的左右相机。采集时标定板应覆盖图像的各个区域中心、四个角落、远近、各种倾斜和旋转角度偏航、俯仰、滚转。确保左右相机都能清晰看到完整的棋盘格。总共采集15-25对图像是合理的。太少可能参数不收敛太多会增加计算量且后期筛选麻烦。环境光线要均匀避免标定板上有强烈反光或阴影。4.2 使用Stereo Camera Calibrator App进行标定这是最直观的方式。在Matlab命令窗口输入stereoCameraCalibrator打开立体标定器。加载图像在App界面分别点击“左图像”和“右图像”的“添加图像”按钮选择你刚才采集的左右对应图像组。Matlab会自动配对文件名根据我们脚本的命名规则left_01/right_01它能自动识别。设置参数棋盘格尺寸输入棋盘格方块的物理尺寸单位毫米。例如30。棋盘格网格输入内角点数量。例如如果棋盘格是10x7个方格那么内角点就是9x6。开始标定点击“校准”按钮。Matlab会开始检测角点、计算参数。这个过程可能需要几分钟。分析结果重投影误差图这是最重要的诊断工具。你会看到每对图像的平均误差。重点关注误差突然变大的图片。用鼠标点击误差条可以查看该对图像的角点检测情况。如果某些角点检测错误红圈偏离真实角点可以在右侧勾选该图片然后点击“删除”按钮将其剔除。可视化App可以显示相机和标定板的外参位置、立体矫正后的图像、以及畸变校正效果。多旋转一下3D视图检查标定板姿态是否合理。导出参数当平均误差满意后例如0.3像素点击“导出参数”按钮。这会将标定结果保存到Matlab工作区的一个变量中通常命名为stereoParams。你也可以选择生成一个包含标定步骤的脚本方便以后复用。实操心得第一次标定误差很大怎么办首先检查被删除的图片是否过多。如果超过1/3的图片被删除说明采集质量太差建议重新采集。其次检查标定板物理尺寸是否输入正确。最后尝试在“设置”中调整“径向畸变系数”的个数从3个改为2个试试。4.3 标定结果解读与验证导出的stereoParams是一个结构体包含了所有你需要的信息。% 查看关键参数 stereoParams % 访问具体参数 % 左相机内参矩阵 K_left stereoParams.CameraParameters1.IntrinsicMatrix; % 注意Matlab内参矩阵是转置后的格式即 [fx, 0, 0; s, fy, 0; cx, cy, 1] 的转置。 % 更常用的格式是 [fx, 0, cx; 0, fy, cy; 0, 0, 1]。所以需要转置回来。 % 左相机畸变系数 [k1, k2, p1, p2, k3] dist_left stereoParams.CameraParameters1.RadialDistortion; tangential_left stereoParams.CameraParameters1.TangentialDistortion; % 通常合并为 [k1, k2, p1, p2, k3] % 右相机相对于左相机的旋转矩阵和平移向量 R stereoParams.RotationOfCamera2; T stereoParams.TranslationOfCamera2; % 基线距单位毫米与你输入的标定板尺寸单位一致 baseline norm(T); fprintf(基线距约为%.2f mm\n, baseline); % 平均重投影误差 mean_error mean(stereoParams.ReprojectionErrors(:)); fprintf(平均重投影误差%.3f 像素\n, mean_error);验证标定结果不要只看平均误差一定要做视觉验证。立体矫正验证使用rectifyStereoImages函数对一对新的未参与标定的左右图像进行矫正。[J1, J2] rectifyStereoImages(imgLeft_new, imgRight_new, stereoParams); figure; imshowpair(J1, J2, falsecolor); % 叠加显示检查行对齐 title(立体矫正后图像叠加检查行对齐);理想情况下矫正后的图像对应该达到极线对齐即任意一个物体在左右图像中位于同一水平线上。用imshowpair查看重合的部分显示为紫色错位部分显示为绿色或红色。如果水平线对齐良好说明标定成功。三维重建验证用一个已知尺寸的物体例如另一个不同尺寸的棋盘格利用标定参数和立体匹配算法如disparitySGM计算其视差图并反算出其三维点云。测量点云中已知两点的距离看是否与实际物理尺寸相符。这是最严格的验证。5. 常见问题、排查技巧与深度优化即使按照步骤操作你也可能会遇到各种问题。这里记录了一些典型故障和我的解决方法。5.1 图像采集阶段问题问题1Matlab检测不到摄像头或snapshot报错。排查首先在终端用ls /dev/video*确认设备存在。然后用guvcview或ffplay测试摄像头是否能独立工作。解决可能是权限问题。尝试用sudo启动Matlab不推荐长期使用。更好的方法是将自己的用户加入video组sudo usermod -aG video $USER然后注销并重新登录生效。如果问题依旧可能是Matlab的硬件支持包未安装。在Matlab的“附加功能”中搜索并安装“MATLAB Support Package for USB Webcams”。问题2采集的图像模糊或有锯齿。排查检查摄像头是否自动对焦。对于棋盘格标定需要清晰锐利的角点。解决在脚本中尝试在webcam创建后设置分辨率。camLeft webcam(1); camLeft.Resolution 1280x720;。使用摄像头支持的最高分辨率能提高角点检测的亚像素精度。同时确保光照充足。5.2 标定过程与结果问题问题3角点检测失败大量图片被标记为“未检测到棋盘格”。原因棋盘格未被完整呈现被遮挡、出画面。棋盘格尺寸参数物理尺寸、内角点数输入错误。图像模糊、过曝或反光严重。棋盘格图案本身打印不精确或不平整。解决逐一排查。用imtool打开一张失败的图片手动数一下可见的内角点行列数与设置对比。检查物理尺寸。重新打印并平整粘贴标定板。问题4重投影误差过大1像素。排查步骤剔除坏图在Calibrator App中删除误差最大的几对图片通常误差是其他图片的2倍以上重新标定。误差往往会显著下降。检查畸变模型尝试将径向畸变系数从3个(k1, k2, k3)改为2个(k1, k2)。对于畸变不大的镜头k3可能过拟合。验证物理尺寸这是最常见的错误来源。用游标卡尺精确测量并以米为单位输入例如0.03避免单位混淆。检查图像对同步如果采集时标定板有晃动左右图像不对应误差会很大。确保采集环境稳定。问题5立体矫正后行对齐效果不佳。现象imshowpair显示左右图像在垂直方向有明显错位。原因这通常意味着标定结果特别是两个相机之间的旋转矩阵R不够准确。可能的原因是采集的图像对中标定板的姿态变化范围不够大特别是缺乏绕相机Z轴滚转的旋转。用于标定的图像对数量不足或质量不高。解决重新采集数据刻意让标定板做出各种滚转姿态。确保左右相机同时都能看到清晰、完整的棋盘格。采集更多如30对高质量图像。5.3 高级技巧与参数优化技巧1手动验证角点检测。对于个别角点检测不准的图片Matlab App提供了手动调整功能。在“校准”完成后在“误差”视图中选择某张图片点击“调整角点”按钮可以手动拖动角点位置。修正后点击“重新校准”Matlab会基于修正后的角点重新计算参数。这对于挽救一两张角度很好但检测稍有偏差的图片非常有用。技巧2使用cameraCalibrator分别标定单目。有时双目标定直接效果不好可以退一步先用cameraCalibrator分别对左右相机进行高精度的单目标定得到它们各自的内参和畸变系数。然后在stereoCameraCalibrator中选择“导入单目参数”再加载左右图像对来计算双目标定。这种方法相当于给了算法一个更好的初始值常用于对精度要求极高的场合。技巧3标定参数的单位与后续使用。记住从stereoParams中得到的平移向量T的单位与你输入给标定器的棋盘格物理尺寸单位一致。如果你输入的是30毫米那么T的单位就是毫米。在后续的立体视觉计算如OpenCV的stereoRectify和reprojectImageTo3D中需要确保使用相同单位的焦距fx, fy和基线距baseline才能计算出正确尺度有真实物理单位的三维点云。整个流程走下来你会发现双目标定是一个系统工程环环相扣。从硬件的稳定、标定板的精度到采集的规范性、软件的熟练使用任何一个环节的疏忽都会在最终的重投影误差上体现出来。最宝贵的经验往往来自于失败后的排查学会阅读误差报告学会分析问题图像学会调整采集策略。当你最终看到矫正后的图像完美行对齐计算出的三维点云与实物尺寸吻合时那种成就感就是对前期所有细致工作的最好回报。这套在UbuntuMatlab环境下的流程因其良好的可重复性和强大的分析工具已经成为我进行视觉传感器标定的标准起点。