1. 从泊车定位到规控感知为什么鱼眼相机是自动驾驶的“近场之眼”如果你正在研究自动驾驶的规控算法或者尝试复现一个泊车定位的demo你可能会发现一个现象在车辆近距离、大广角的感知任务中那些我们熟悉的针孔相机模型Pinhole Camera Model突然“失灵”了。你精心标定的内参在图像边缘区域一个简单的车位角点或者一个近处的障碍物轮廓其重投影误差可能会大到离谱。这不是你的标定出了问题而是你选错了“眼睛”。在自动驾驶尤其是低速、近场场景如自动泊车APA、记忆泊车HPA、狭窄路段通行中鱼眼相机Fisheye Camera才是那个不可或缺的“近场之眼”。为什么是鱼眼核心在于视场角FOV。普通车载前视或环视相机的FOV通常在120度以下而鱼眼相机的FOV轻松可达180度甚至超过190度。这意味着一颗安装在车辆侧面的鱼眼相机可以同时看到侧方、侧后方以及部分车底区域这对于感知紧贴车身的障碍物、精确识别车位线、完成“一把入库”的路径规划至关重要。没有鱼眼提供的超广角视野自动驾驶系统在近场就如同“盲人摸象”规控算法再精妙也缺乏足够的环境输入。然而鱼眼相机带来的超广角视野是以严重的图像畸变为代价的。这种畸变不是简单的“桶形畸变”可以概括的它是一种有规律的、非线性的像素点映射关系。为了描述这种关系并最终将图像上的像素点反算回真实世界中的3D射线这是所有视觉感知、定位、SLAM的基础我们需要一个精确的数学模型——这就是鱼眼相机的投影模型。网络上关于鱼眼模型的讨论很多但往往停留在公式罗列或者与OpenCV的cv::fisheye模块简单绑定。在实际工程中尤其是在处理不同厂商、不同型号的鱼眼相机数据时你会遇到三个绕不开的名字UCMUnified Camera Model、KBKannala-Brandt和DSDouble Sphere。它们不是选择题里的三个并列选项而是各有其历史渊源、适用场景和工程权衡。选错模型你的整个感知流水线可能从源头就引入了系统性误差。本文将从自动驾驶工程师的实战视角出发彻底拆解这三个核心投影模型。我不会只给你干巴巴的公式而是结合我在处理自动驾驶数据集、集成不同相机驱动、调试泊车定位模块时踩过的坑告诉你每个模型到底在描述什么物理过程它的“世界观”是什么它们的参数如何解读又该如何标定在代码中如何从零实现正向投影3D点-2D像素和反向投影2D像素-3D射线面对一个陌生的鱼眼相机你该如何根据其镜头的物理特性快速判断该用哪个模型作为标定和应用的起点我们最终的目标是给你一套可以直接编译、运行并融入你自己项目的C实战代码让你能透彻理解并熟练运用这些模型真正解决近场感知中的实际问题。2. 超越针孔理解鱼眼投影的底层逻辑与三大模型演进在深入具体模型前我们必须建立一个正确的认知鱼眼投影模型不是对针孔模型的“修补”而是一套并行的、描述广角成像的独立体系。针孔模型假设所有光线都通过一个点光心成像平面是平的其映射关系是线性的通过内参矩阵K描述。而鱼眼模型的核心思想是光线在通过镜头组时其指向角入射角与它在传感器上成像的位置像高之间存在一个非线性的函数关系。这个函数就是投影模型的核心。我们可以用一个通用公式来理解r f * θ这里只是一个理想化的线性例子实际模型要复杂得多。 其中θ是入射光线与相机光轴Z轴的夹角r是该光线在归一化成像平面假设成像平面在光心后f1的位置上投影点离原点的距离。不同的鱼眼模型本质上就是定义了不同的函数r f(θ)。现在让我们来看三大主流模型是如何定义这个函数的。2.1 UCM为车载环视而生的“均衡之选”UCM模型全称统一相机模型它有一个非常巧妙的设计它用一个额外的参数α0 ≤ α ≤ 1将透视投影针孔模型和纯球面投影统一在了一个框架里。它的投影函数推导基于一个虚拟的球面。想象一下光线先射向一个以光心为球心的单位球面然后根据参数α将这个球面上的点投影到一个平面上。其归一化平面坐标(x, y)与入射角θ的关系隐含在以下过程中3D点P (X, Y, Z)投影到单位球面P_s P / ||P||。将球面点P_s沿着Z轴方向“下推”到平面P_u (X, Y, Z ξ)然后进行归一化其中ξ是一个与α相关的参数。最终r sqrt(x^2 y^2)与θ的关系并非显式简单函数但可以通过模型参数计算出来。UCM模型的内参通常包括fx, fy, cx, cy, ξ。其中ξ就是那个关键的“统一”参数。当ξ 0时UCM退化为针孔模型当ξ 1时它更接近一种特定的球面投影。为什么UCM在车载环视中流行因为它只有5个参数相比KB的4个畸变参数基础KB模型也是4个内参在保持足够灵活性的同时不容易过拟合。对于大多数车载鱼眼镜头其光学设计本身就在透视和鱼眼之间寻求平衡UCM能提供一个稳定、可靠的拟合效果。OpenCV的fisheye模块在一定程度上就借鉴了UCM的思想虽然它用的是KB模型的一种变体。很多成熟的自动驾驶平台软件架构中环视系统的相机模型默认就是UCM因为它是一个很好的“默认选项”兼顾了精度和鲁棒性。2.2 KB源自学术经典的“细节控”模型KB模型由Kannala和Brandt在2006年提出是计算机视觉领域最早被广泛接受的、参数化的鱼眼相机通用模型。它的思想非常直接用多项式函数来拟合r(θ)这个关系。其投影函数为r(θ) θ k1 * θ^3 k2 * θ^5 k3 * θ^7 k4 * θ^9这是一个奇次多项式只包含θ的奇次项这符合鱼眼成像的对称性物理约束。KB模型的内参包括fx, fy, cx, cy, k1, k2, k3, k4。前四个是大家熟悉的焦距和主点后四个就是畸变系数。这里的k1, k2, k3, k4与针孔模型下的径向畸变系数k1, k2, k3完全不同它们直接作用于角度θ而不是像平面半径r。KB模型的优势与挑战优势在于其强大的拟合能力。高阶多项式理论上可以逼近任何光滑的r(θ)曲线因此对于光学设计非常特殊、畸变模式复杂的镜头KB模型往往能取得最高的标定精度。 挑战也源于此4个畸变参数提供了高度的灵活性但也更容易在标定数据不足或质量不高时产生过拟合导致模型在训练数据覆盖范围外的区域例如图像最边缘行为怪异甚至出现“回环”即r(θ)函数非单调。在实际工程中我们有时会只使用k1, k2甚至k1, k2, k3来获得更稳定的模型。2.3 DS面向SLAM与深度估计的“后起之秀”DS模型即双球模型是近年来在SLAM和深度估计领域备受关注的新模型。它用一个非常简洁的物理假设来描述光线路径光线依次穿过两个虚拟的球面中心。其模型核心在于两个参数ξ和α。ξ描述了第一个球面中心到相机中心的偏移α则与第二个球面的曲率有关。它的数学形式比UCM和KB更复杂一些但其投影和反投影函数都有闭合解无需迭代这在需要频繁进行3D-2D变换的SLAM系统中是一个巨大的计算优势。DS模型的内参通常为fx, fy, cx, cy, ξ, α。DS模型为何在SLAM中受青睐无奇异性DS模型在整个视场角范围内包括大于180度的情况都是良定义的没有数学上的奇异点。而UCM和KB模型在视角接近180度时可能会出现问题。闭合解正反投影计算速度快适合实时系统。良好的性质它在描述大广角镜头时其逆深度1/深度的分布在统计上更有优势这直接有利于基于概率的SLAM和深度滤波器。 对于自动驾驶中结合视觉的定位建图VSLAM尤其是使用广角鱼眼相机进行室内停车场建图DS模型正成为一个强有力的候选。2.4 模型对比与选型指南特性UCMKBDS核心思想统一透视与球面投影多项式拟合角度-半径关系双球面折射物理近似关键参数fx, fy, cx, cy, ξfx, fy, cx, cy, k1, k2, k3, k4fx, fy, cx, cy, ξ, α参数数量58 (常用4-6)6标定难度中等较高易过拟合中等计算效率高反投影需迭代高反投影需迭代非常高正反投影均有闭合解超大FOV支持一般接近180°可能不稳定差边缘易过拟合优秀支持180°典型应用场景车载环视、常规鱼眼感知高精度测量、特殊镜头标定视觉SLAM、深度估计、全景感知工程友好度高广泛支持默认选择中需防过拟合逐渐提高新兴生态在完善实战选型建议如果你在做车载环视APA/HPA优先从UCM模型开始。它的鲁棒性最好与行业常用工具链如某些标定板、SDK兼容性高。在大多数情况下其精度完全足够。如果你需要最高精度的标定例如用于高精地图采集、视觉测量且你的标定数据非常充足、质量极高可以尝试KB模型但务必使用交叉验证并考虑减少畸变参数数量如只用k1, k2, k3以防止过拟合。如果你在做基于鱼眼相机的视觉SLAM、稠密建图或深度学习需要大量、快速的正反投影计算强烈建议评估DS模型。它的数值稳定性和计算效率在长期运行和大场景中优势明显。注意模型选型不是一锤子买卖。最严谨的做法是用同一套高精度的标定数据同时标定UCM、KB不同参数组合、DS模型然后在独立的验证集上评估重投影误差。不仅要看整体误差更要关注误差在图像上的分布特别是边缘区域。3. 从理论到像素三大模型的正向投影代码实现理解了原理下一步就是让代码“算出来”。正向投影3D点 - 2D像素是感知、渲染等任务的基础。我们将用C逐一实现三个模型并解释每一步的几何意义。首先我们定义一个相机内参的基础结构体并假设3D点位于相机坐标系下Z轴向前X轴向右Y轴向下。#include cmath #include vector #include Eigen/Dense // 假设使用Eigen库进行矩阵运算 struct CameraIntrinsics { // 公共内参 double fx, fy; // 焦距 (像素单位) double cx, cy; // 主点坐标 (像素单位) // UCM 特有参数 double xi; // UCM参数 (ξ) // KB 特有参数 std::vectordouble k; // 畸变系数 [k1, k2, k3, k4] // DS 特有参数 double xi_ds; // DS参数 (ξ) double alpha; // DS参数 (α) };3.1 UCM 模型正向投影bool projectUCM(const Eigen::Vector3d P_c, const CameraIntrinsics intr, Eigen::Vector2d pixel) { // P_c: 相机坐标系下的3D点 (X, Y, Z) // 注意Z是深度通常 0 double X P_c.x(); double Y P_c.y(); double Z P_c.z(); // 1. 计算到光心的距离 double d sqrt(X*X Y*Y Z*Z); if (d 1e-12) return false; // 点在光心无法投影 // 2. 投影到单位球面 double Xs X / d; double Ys Y / d; double Zs Z / d; // 3. UCM核心投影公式 double denom Zs intr.xi; if (denom 0) return false; // 点在后半球对于UCM通常无效 double xu Xs / denom; double yu Ys / denom; // 4. 应用内参矩阵得到像素坐标 pixel.x() intr.fx * xu intr.cx; pixel.y() intr.fy * yu intr.cy; return true; }关键点解析denom Zs intr.xi这是UCM模型的核心。当xi0时denom Zs公式退化为针孔模型的归一化平面坐标(X/Z, Y/Z)。xi有效地“扭曲”了投影平面。有效性检查denom 0意味着点位于一个不可见的半球。对于典型的车载鱼眼FOV180°xi通常在0.5~1.5之间这个条件可以过滤掉大部分实际不会成像的点。3.2 KB 模型正向投影bool projectKB(const Eigen::Vector3d P_c, const CameraIntrinsics intr, Eigen::Vector2d pixel) { double X P_c.x(); double Y P_c.y(); double Z P_c.z(); // 1. 计算入射角 theta double r_xy sqrt(X*X Y*Y); double theta atan2(r_xy, Z); // atan2(y, x) 注意参数顺序 if (theta 0) theta M_PI; // 确保theta在[0, pi)范围 // 2. 应用KB多项式畸变模型 double theta2 theta * theta; double theta3 theta2 * theta; double theta5 theta2 * theta3; double theta7 theta5 * theta2; double theta9 theta7 * theta2; double theta_d theta intr.k[0]*theta3 intr.k[1]*theta5 intr.k[2]*theta7 intr.k[3]*theta9; // 3. 计算归一化平面上的投影点 // 注意当r_xy很小时直接除可能不稳定但atan2已处理 double scaling (r_xy 1e-12) ? (theta_d / r_xy) : theta_d; // 处理中心点 double xu X * scaling; double yu Y * scaling; // 4. 应用内参矩阵 pixel.x() intr.fx * xu intr.cx; pixel.y() intr.fy * yu intr.cy; return true; }关键点解析atan2(r_xy, Z)这是计算入射角θ的标准方法。atan2函数能正确处理所有象限并避免除零错误。多项式计算theta_d是畸变后的角度值。KB模型直接对角度进行多项式修正这是它与针孔径向畸变对半径进行多项式修正的本质区别。缩放因子theta_d / r_xy是将角度域的畸变映射回笛卡尔坐标域的关键步骤。当点靠近光轴r_xy接近0时我们使用theta_d作为近似因为此时xu ≈ X * theta_d,yu ≈ Y * theta_d。3.3 DS 模型正向投影bool projectDS(const Eigen::Vector3d P_c, const CameraIntrinsics intr, Eigen::Vector2d pixel) { double X P_c.x(); double Y P_c.y(); double Z P_c.z(); // 1. 计算到第一个球面中心的距离 double d1 sqrt(X*X Y*Y Z*Z); // 2. DS模型核心投影公式 double d2 sqrt(X*X Y*Y (intr.xi_ds * d1 Z) * (intr.xi_ds * d1 Z)); if (d2 1e-12) return false; double denom intr.alpha * d2 (1 - intr.alpha) * (intr.xi_ds * d1 Z); if (denom 0) return false; // 点位于无效区域 double xu X / denom; double yu Y / denom; // 3. 应用内参矩阵 pixel.x() intr.fx * xu intr.cx; pixel.y() intr.fy * yu intr.cy; return true; }关键点解析d2的计算intr.xi_ds * d1 Z体现了“双球”中第一个球面中心的偏移效应。denom的计算intr.alpha作为权重混合了两种投影方式。当alpha0时模型退化为一种类似UCM的形式当alpha1时则是另一种形式。这个参数提供了灵活性。闭合解整个计算过程都是基本的算术运算和开方没有迭代速度极快。4. 从像素到射线反向投影的迭代与闭合解反向投影2D像素 - 3D射线方向是感知任务中更关键的一步。我们知道了图像上的一个点需要反推它来自世界中的哪条射线即归一化相机坐标系下的方向向量[x, y, z]其中z通常设为1或满足单位长度。4.1 UCM 与 KB 模型的反投影需要迭代求解对于UCM和KB模型其反向投影函数没有简单的闭合解通常采用牛顿迭代法或近似公式求解。这里以KB模型为例展示迭代求解过程bool unprojectKB(const Eigen::Vector2d pixel, const CameraIntrinsics intr, Eigen::Vector3d ray_dir) { // 1. 去内参得到归一化平面坐标 (xu, yu) double xu (pixel.x() - intr.cx) / intr.fx; double yu (pixel.y() - intr.cy) / intr.fy; double ru sqrt(xu*xu yu*yu); // 2. 初始猜测假设没有畸变 (theta_d ru) double theta_d ru; double theta theta_d; // 初始值 // 3. 牛顿迭代法求解 theta (已知 theta_d, 求 theta) // 方程theta_d theta k1*theta^3 k2*theta^5 k3*theta^7 k4*theta^9 // 令 f(theta) theta k1*theta^3 ... - theta_d 0 const int max_iter 10; const double eps 1e-12; for (int i 0; i max_iter; i) { double theta2 theta * theta; double theta3 theta2 * theta; double theta5 theta2 * theta3; double theta7 theta5 * theta2; double theta9 theta7 * theta2; double f theta intr.k[0]*theta3 intr.k[1]*theta5 intr.k[2]*theta7 intr.k[3]*theta9 - theta_d; // 导数 f(theta) 1 3*k1*theta^2 5*k2*theta^4 7*k3*theta^6 9*k4*theta^8 double f_prime 1 3*intr.k[0]*theta2 5*intr.k[1]*theta2*theta2 7*intr.k[2]*theta3*theta2 9*intr.k[3]*theta4*theta2; if (fabs(f_prime) eps) break; double delta f / f_prime; theta - delta; if (fabs(delta) eps) break; // 收敛 } // 4. 由 theta 和 (xu, yu) 的方向计算射线方向 if (ru 1e-12) { double scaling tan(theta) / ru; // 注意这里用 tan(theta)因为 r f * tan(theta) 对于针孔但KB是 r f * theta_d。 // 更精确的关系在归一化平面ru theta_d (因为焦距f1被归一化了)。 // 所以实际的映射是 (x, y) (X, Y) * (theta_d / r_xy) 反推时射线方向应为 (x, y, 1) 归一化不。 // 正确的反投影已知 xu, yu 和求得的 theta射线方向应为 // ray_dir [sin(theta) * (xu/ru), sin(theta) * (yu/ru), cos(theta)] double sin_theta sin(theta); double cos_theta cos(theta); ray_dir.x() sin_theta * (xu / ru); ray_dir.y() sin_theta * (yu / ru); ray_dir.z() cos_theta; } else { // 图像中心点光线沿光轴 ray_dir Eigen::Vector3d(0, 0, 1); } // 可选将射线方向归一化为单位向量 ray_dir.normalize(); return true; }关键点解析牛顿迭代这是求解非线性方程的经典方法。我们需要根据正向投影的多项式构造方程f(theta)0并迭代求解。初始值theta theta_d是一个很好的起点因为畸变通常不会改变角度的数量级。方向计算求得theta后射线方向在球坐标下是(sinθ * cosφ, sinθ * sinφ, cosθ)其中φ是方位角由(xu, yu)决定(cosφ, sinφ) (xu/ru, yu/ru)。UCM的反投影思路类似也需要迭代求解一个关于ξ和Zs的方程。代码结构相似但核心方程不同。4.2 DS 模型的反投影闭合解的优雅DS模型的反投影有闭合解这是其巨大优势。bool unprojectDS(const Eigen::Vector2d pixel, const CameraIntrinsics intr, Eigen::Vector3d ray_dir) { // 1. 去内参 double xu (pixel.x() - intr.cx) / intr.fx; double yu (pixel.y() - intr.cy) / intr.fy; double ru2 xu*xu yu*yu; // 2. 计算中间变量 double xi intr.xi_ds; double alpha intr.alpha; if (alpha 0.5) { // 对于较大的alpha需要检查有效性这里简化处理 double temp 1 - (2*alpha - 1) * ru2; if (temp 0) return false; // 点位于模型无效区域 } // 3. DS反投影闭合解 double denom xi*xi * ru2 1; double sqrt_denom sqrt(denom); double mz (alpha * sqrt_denom (1 - alpha)) / (alpha * denom (1 - alpha) * sqrt_denom); double mz2 mz * mz; if (mz2 1.0) return false; // 数值错误 double k (mz * xi sqrt(mz2 (1 - xi*xi) * ru2)) / (mz2 ru2); // 4. 计算射线方向 ray_dir.x() k * xu; ray_dir.y() k * yu; ray_dir.z() k * mz - xi; // 5. 归一化 ray_dir.normalize(); return true; }关键点解析闭合解整个计算过程依然是纯代数运算没有任何循环迭代。这在需要每秒处理数十万甚至上百万个像素点的SLAM或者深度估计网络中能节省可观的计算资源。有效性检查DS模型虽然支持大FOV但在参数alpha较大时对于图像上某些ru很大的点极端边缘模型可能无解。代码中的if (temp 0)和if (mz2 1.0)就是针对这些边界条件的保护。5. 工程实战标定、验证与集成中的避坑指南掌握了原理和代码不等于能在项目里用好。下面是我在多个自动驾驶项目中总结的实战经验。5.1 如何获取准确的模型参数标定实战标定的本质是求解一个最优化问题找到一组模型参数使得一组已知的3D点标定板角点投影到图像上的位置与它们实际被检测到的像素位置之间的误差最小。工具选择Kalibr学术界和工业界最强大的标定工具之一原生支持UCM、KB、DS等多种相机模型。适合严谨的、多传感器相机-IMU联合标定。OpenCVcv::fisheye命名空间下的函数主要基于KB模型的一种变体。对于快速原型验证或与现有OpenCV流水线集成很方便但灵活性和模型选择不如Kalibr。MATLAB Camera Calibrator对于不熟悉命令行工具的同学MATLAB的图形化界面非常友好它使用的是KB模型。厂商SDK一些相机厂商如Lucid、FLIR会提供自己的标定工具和模型参数。务必弄清楚他们用的是哪种模型否则参数无法直接使用。标定数据采集要点全覆盖标定板需要出现在图像的各个位置特别是四个角落和边缘区域。鱼眼相机的畸变在边缘最显著缺少边缘数据标定结果在中心可能很准但一到边缘就“飘”了。多姿态标定板要有各种倾斜、旋转的角度以激发模型所有参数的敏感性。高精度检测标定板角点的亚像素检测精度直接影响结果。确保图像清晰、光照均匀、标定板平整。温度稳定相机开机运行一段时间后再标定避免冷启动导致的镜头焦距微小变化。5.2 标定结果验证别只看重投影误差均值标定工具通常会输出一个“平均重投影误差”比如0.1像素。这个数字很好但远远不够。你必须做的验证绘制误差向量图将每个角点的重投影误差画成一个箭头从预测点到检测点。观察箭头分布。理想的分布应该是随机的、大小均匀的。如果出现明显的规律性图案如所有箭头都指向中心或呈放射状说明模型选择不当或标定数据有问题。分区域统计误差将图像划分为中心圈、中间环、外圈。分别计算各区域的平均误差。外圈误差显著大于中心圈是正常现象但如果大一个数量级如中心0.1像素边缘2像素就需要警惕。交叉验证留出一部分标定板图片不参与优化仅用于最终测试。这能有效防止过拟合。实战投影测试找一些已知尺寸的物体如地砖、车道线用标定好的模型进行反投影和三角测量计算实际尺寸是否吻合。这是最终的“试金石”。5.3 模型集成到自动驾驶软件栈当你拿到标定好的参数准备写入你的感知模块配置文件时要注意参数顺序与单位确认你的代码读取参数的顺序是否与标定工具输出的一致。焦距fx, fy是像素单位主点cx, cy也是像素单位。xi,alpha是无量纲数k1, k2, k3, k4的单位是弧度^(-n)。坐标系一致性标定工具如Kalibr定义的相机坐标系X右Y下Z前可能与你的自动驾驶软件框架如ROS是X前Y左Z上Apollo是X右Y前Z上不同。必须进行转换忽略这一点会导致所有感知结果方向错误。通常需要做一个旋转矩阵的变换。性能考量在资源受限的嵌入式平台上频繁调用反投影的迭代计算如KB模型可能是瓶颈。如果确实需要可以考虑预计算查找表LUT为图像中的每个像素或每个网格预计算其对应的3D射线方向运行时直接查表。这牺牲内存换取速度。模型简化对于你的特定镜头可能用2个KB参数就足够了或者UCM模型已足够精确。简化模型能提升速度。拥抱DS模型如果平台支持切换到DS模型能从算法层面解决性能问题。5.4 一个常见的坑鱼眼图像去畸变很多新手会问“我标定了鱼眼相机怎么得到去畸变的图像” 这里有一个重要概念鱼眼相机的“去畸变”通常不是指变成针孔相机的透视图因为那会损失大量FOV。常见的做法是投影到另一个模型比如等距圆柱投影Equirectangular用于全景拼接或者鸟瞰图Bird‘s-Eye-View用于泊车。这个过程需要你定义目标图像的每个像素(u_dst, v_dst)在世界中的几何意义例如在BEV中它对应地面上的一个点(X, Y, Z0)。将这个3D点用你标定好的鱼眼模型正向投影得到源鱼眼图像上的像素坐标(u_src, v_src)。通过图像插值将(u_src, v_src)处的像素值填到(u_dst, v_dst)。核心公式是反着用的去畸变映射 鱼眼模型的正向投影。OpenCV的cv::fisheye::initUndistortRectifyMap函数内部就是在为你计算这样一个映射表mapx, mapy。你需要理解它背后对应的目标投影模型是什么默认是针孔但可以通过传入新的相机矩阵来改变。6. 案例串联从模型选择到泊车定位应用让我们用一个简化版的自动驾驶泊车定位例子把上面的知识串起来。假设我们要利用车身四周的四个鱼眼相机通过特征点匹配来实现车辆在停车场的高精度定位。步骤一相机选型与标定我们选择了FOV为190度的车载鱼眼相机。考虑到需要与现有的环视感知模块共享模型且对边缘畸变拟合的鲁棒性要求高我们选择UCM模型作为起点。使用Kalibr工具采集了涵盖整个图像范围、多姿态的标定板数据。标定后平均重投影误差为0.15像素误差向量图显示随机分布边缘区域误差在0.3像素左右可以接受。步骤二特征提取与模型集成在定位算法中我们需要将当前图像提取的ORB特征点反投影成归一化射线。我们在代码中集成了unprojectUCM函数迭代法实现。为了提高实时性我们对640x480的图像以40像素为步长预计算了一个16x12网格的射线方向查找表。对于落在线上的特征点其射线方向通过双线性插值从LUT中快速获取。步骤三坐标转换与融合从相机驱动拿到一帧图像同时拿到车身CAN信号提供的轮速里程计粗略位姿。对于图像中提取的每个特征点通过LUT插值得到在该相机坐标系下的单位射线向量v_cam。根据相机与车体IMU中心的标定外参T_cam_to_body将v_cam转换到车体坐标系v_body R_cb * v_cam。结合轮速里程计给出的车体位姿T_body_to_world将该射线转换到世界坐标系停车场地图坐标系v_world R_bw * v_body。同时车体位置t_bw给出了射线起点。现在我们得到了世界坐标系下的一条3D射线起点方向。步骤四数据关联与优化我们将当前帧所有特征点产生的3D射线与事先建好的停车场特征点地图也是一些3D点进行关联匹配。通过求解一个PnPPerspective-n-Point问题或者更鲁棒的构建一个包含轮速计约束的图优化问题来优化车辆的最优位姿。在这个过程中鱼眼投影模型的准确性直接决定了射线v_cam的方向准确性。如果模型有偏差或者反投影函数有bug那么射线方向就是错的后续所有的坐标转换和优化都是“垃圾进垃圾出”定位必然失败。我曾遇到一个bug是在反投影迭代中初始值设置不当导致在图像最边缘的像素迭代不收敛射线方向出现野值导致定位在这些区域频繁跳变。最后通过增加迭代次数上限和添加鲁棒的收敛判断解决了。步骤五模型验证与迭代在真实停车场测试时我们发现车辆在靠近某些特定颜色的墙面时定位误差会增大。我们怀疑是相机镜头存在轻微的色差导致特征点定位在波长不同的光下略有偏移。但这属于镜头硬件物理限制。从软件层面我们重新审视了标定数据补充了更多在类似墙面颜色环境下的标定板图像重新标定后问题得到缓解。这也说明了标定数据的环境代表性至关重要。通过这个案例你可以看到一个准确的鱼眼相机投影模型是整个视觉定位链条的基石。它不是一个可以设置完就忘记的配置文件而是需要你深入理解、精心标定、并持续验证的核心模块。