1. 问题定义给定一份高精度地图或环境模型给定相机不限于单目双目多目针孔或者鱼眼输出相对于这份地图的高精度的相机的pose在这个过程中其他传感器信息是可选的 (optional)NVIDIA DRIVE Labshfnet2. 高精地图高精定位感知的关系高精地图、高精定位和感知三者相辅相成。假如具备高精地图和感知结果就可为定位提供先验信息artisense_visual_slam假如具备高精地图和定位结果就可把地图元素投影到车体坐标系中为感知提供先验信息atlatec假如具备定位和感知结果就可把感知元素反向投影回地图坐标系将感知元素与地图已有元素进行比对更新或者构建新的地图kitti vector mapping3. 行业现状3.1. NVIDIA在国内和高德四维宽凳合作在国外和tomtomherezenrin等合作。DRIVE LOCALIZATION (https://www.bilibili.com/video/BV1cp4y1e7NM), localization within the world robustly and accuratly。3.2. MobileyeLocalization in the road book (REM)上图分别是 road book 投影到图像空间上和投影到google earth的结果个人觉得mobileye一方面是一家自动驾驶公司随着rem系统不断发展可能也是一家全球地理数据资产管理公司3.3. BaiduDA4AD: End-to-End Deep Attention-based Visual Localization for Autonomous Driving, ECCV 20203.4. NIO 蔚来高精地图加持下定位精度20cmhttps://www.bilibili.com/video/BV1Bf4y1D7Lx3.5. Momenta4. 相关论文4.1. Coarse-to-fine Semantic Localization with HD Map for Autonomous Driving in Structural Scenes4.2. Monocular Vehicle Self-localization method based on Compact Semantic MapInput单目相机 地图Output6DOF pose总体流程图如下4.3. Monocular Localization with Vector HD Map(MLVHM): A Low Cost Method for Commerial IVs (2020)提出了一种耦合单目相机和轻量级矢量地图的定位方法建立地图特征和图像检测出的相对稳定的语义特征之间的关联从而进行相机的位姿估计同时为了增加约束让轨迹更加鲁棒平滑引入了两帧之间的视觉里程计的约束最终达到了约24cm的定位的rmse精度。众所周知GNSS-RTK 高质量的IMU 多线束激光雷达在室内外都可以交付高精度的定位结果然后由于成本的原因无法大规模商业化使用。然后作者团队也希望能够只需要一个单目相机 hdmap来完成这件事情尽管hdmap本身是需要昂贵的传感器来构建当然也有公司采用众包技术使用消费级传感器就可以进行地图的构建与更新但是地图一旦构建起来的边际成本接近于0通过云端分发分发的车辆越多其分摊的构建成本也越低自动驾驶中使用的地图形式也五花八门如下图有激光定位需要使用的包含环境原始几何信息的激光点云图也有如特征点法视觉slam中建立的特征点地图也有对环境进行拓扑表达的类似于右图中的矢量地图这些地图都可以完成定位任务考虑到地图大小简洁的要求矢量地图可能是一个更合适的选择并且在这篇文章中被使用当然同样一份矢量地图国际上存在大量的格式标准如opendrive, apollo, nds等。如下展示了两种不同形式的地图由于在室外环境中光照变化视角变化遮挡等会频繁发生所以选择从环境特征中选择一些相对这些条件更加鲁棒的特征是必要的借助于CNN对图像极强的表达能力我们可以获得这些稳定的语义特征所在的像素或者描述而矢量地图中存储的也是这些不变的相对稳定的东西所以问题很自然的简化为数据关联问题。文章所提出的方法的整体流程如下与前作不同的是同时解算帧间vo利用了传统视觉特征orb并在滑窗中引入帧间的约束来提升鲁棒性。在影像处理模块通过分割提取关键像素并将其拟合成 point feature (sign) 和line feature (lane and pole)同时为了进行帧间vo的计算会进行orb特征的提取在基于地图的定位模块会进行初始pose估计利用初始pose通过随机采样的方式确定最优的匹配然后根据匹配关系就可以进行pose的优化求解最后为了确保定位输出的鲁棒增加了滑窗的位姿优化。数据关联的过程确定地图上的特征和图像上的特征的对应关系先生成可能的对应关系集合从集合中随机采样三条同语义的线特征的对应关系来进行相机pose的计算根据计算出的相机的pose投影地图元素如果和图像feature距离低于设定的阈值则认为是inlier然后会计算估计出的pose和初始pose的距离如果满足阈值则对应关系会加入假设集合最终选择inlier数最多的一组对应关系作为最终的对应关系实现细节图像特征提取层面用修改版的pspnet来对图像进行分割然后根据置信度概率选择特定的像素用区域生长的方法划分为不同的区域线特征进行最小二乘拟合从sign区域拟合点特征从图像域上得到这些特征分别的位置描述compact map的使用所使用的地图是opendrive格式sign使用的是质心点pole使用的是两个端点lane用0.2m进行采样散点然后每两个散点构成拟合成一条线来进行使用优化与初始化系统初始化也是使用了低成本的GNSS的测量值作为初值优化就是标准的LM算法4.4. HDMI_LOC: Exploiting High Definition Map Image for Precise Localization vai Bitwise Particle Filter (IROS 2020)文章提出了一种方法结合双目相机和hdmap来进行6dof的位姿估计将地图转换为8bit的影像代表使得query image可以和地图进行bitwise operation位运算来进行匹配使用粒子滤波框架来进行pose优化估计11km的测试条件横纵向误差约为0.3m运行速度为10hz整个定位过程可以分为4步图像处理步骤从双目图像中得到语义分割图和视差图所以这个方法比较慢将hdmap转化为8 bit image利用粒子滤波估计4dof三个平移 yawpose通过当前影像的patch和地图影像因为这两个东西都是8bit影像所以可以进行位与操作来快速计算通过优化额外计算roll和pitch来估计完整的6自由度pose整体流程图如下4.5. From Coarse to Fine: Robust Hierarchical Localization at Large Scale (CVPR 2019)视觉定位是指在大尺度场景下已知环境地图给定任意一张图片计算出该图片对应的位姿。在视觉定位领域基本上有两种主要的方向一种是所谓的 End-to-end 方法代表作是 PoseNet这类方法直接用图片和 pose 真值作为监督学习对于给定的同一场景的图片可以回归出 6dof 的真值。这种方法优点是数据库很小一个网络可以覆盖一个很大的场景而且虽然需要 Pose 真值但并不需要显式的空间三维重建。但是缺点也很明显这类方法无非是简单地通过学习建立起了图像和pose之间的映射关系本质上就是一个图像相似度匹配的过程因此不可能回归出精确地真值以及获得对于未学习场景的迁移能力。目前比较流行的方法是由粗到细两步定位。先通过图像检索的方式找到最接近的关键帧再与该关键帧匹配局部特征。由于关键帧位姿已知所以通过PnP等方法可以估计出当前帧位姿。两步定位可以避免从所有关键帧中直接匹配带来的时间复杂度同时避免了将整个环境地图加载进内存带来的空间复杂度。文章主要提出了一种由粗到精的hierarchical的定位网络hfnet对输入的query image会通过一个单一的CNN同时预测影像的局部特征和全局特征来进行6自由度的精确定位采用的这样一种coarse to fine的定位范式先通过一个全局的retrieval获取候选帧然后和候选的位置做局部特征匹配来进行定位。类似于人类定位的模式一样作者希望利用这样一种coarse to fine的定位范同时又希望能够结合深度学习在图像特征检测和描述领域的一些进展这些学习到的detector 和descriptor提高了对环境变化的鲁棒性。为了达到上面的目的并且最大的提升效率提出了HF-NET (hierarchical feature network)同时估计局部和全局特征并且最大化的共享计算。通过多任务蒸馏的方式进行网络的训练。类似于人类定位的模式一样作者希望利用这样一种coarse to fine的定位范式同时又希望能够结合深度学习在图像特征检测和描述领域的一些进展这些学习到的detector 和descriptor提高了对环境变化的鲁棒性。为了达到上面的目的并且最大的提升效率提出了HF-NET (hierarchical feature network)同时估计局部和全局特征并且最大化的共享计算。通过多任务蒸馏的方式进行网络的训练。离线模式下根据db image利用网络提取局部特征和全局特征局部特征传入到sfm三维重建框架进行环境模型构建全局特征构建参考图像索引db然后在线运行的时候对query image 做相同的特征提取操作根据全局描述子利用NN搜索得到候选帧建立候选帧共视的地图点和query图像特征点的对应关系利用ransac pnp框架求解pose。