1. 还有什么挑战性的匹配场景关键点检测与描述是许多三维计算机视觉任务的核心包括运动恢复结构 (SfM)、视觉定位和同步定位与建图 (SLAM)。这些任务依赖于可靠的关键点和描述符来建立准确的匹配关系这对下游算法理解空间关系至关重要——这一需求广泛存在于机器人、增强现实等领域。然而在实际应用中这些系统面临视角剧烈变化、光照差异和尺度变化等挑战。传统方法如SIFT、SURF和ORB等基于规则的特征检测与描述方法在这些挑战下往往表现不佳。近年来基于深度学习的方法通过数据驱动的方式提取更具鲁棒性和判别性的描述符取得了显著进展。然而这些方法通常依赖常规卷积运算来编码图像忽略了几何不变性和长距离感知能力而这些特性对于复杂条件下的鲁棒描述至关重要。后续研究通过估计关键点的尺度和方向来部分解决几何不变性问题而ALIKED和ASLFeat等进一步采用可变形卷积来建模任意几何变换。然而这些方法仍局限于局部窗口内的变换建模无法学习依赖长距离关系的视觉线索如消失线。本文接好的RDD[1] 聚焦于解决现有方法尚未有效应对的挑战性场景——在大基线相机运动、显著光照变化和尺度差异的图像中提取可靠且判别性强的关键点和描述符。这是一种新颖的双分支架构分别用于关键点检测和描述符提取。具体而言我们设计了两个专用网络分支一个全卷积网络用于高精度关键点检测另一个基于Transformer的架构用于提取描述符。我们发现卷积神经网络擅长检测亚像素级关键点而基于Transformer的结构则能通过自注意力机制有效学习全局上下文和几何不变性。然而标准自注意力机制会计算图像中所有空间位置的关联导致计算开销巨大并可能降低描述符的判别性。为此我们采用可变形注意力机制进行关键点描述使网络能够选择性关注关键位置大幅降低计算复杂度同时保持学习几何不变性和全局上下文的能力。项目链接https://xtcpete.github.io/rddRDD的双分支架构使关键点检测和描述符学习能够独立优化。实验表明这种设计能加速收敛并提升整体性能。总体而言RDD在复杂图像条件下表现出色支持稀疏和半稠密匹配从而提升了三维视觉应用如 SfM 和相机位姿估计的准确性和稳定性。我们的方法在标准基准测试如MegaDepth-1500、HPatches和Aachen-Day-Night上均优于当前最先进的方法。然而现有基准测试未能充分涵盖上述挑战性场景。为此我们收集并构建了两个新的基准数据集MegaDepth-View专注于大视角和尺度变化的图像对和空对地数据集提供多样化的空对地跨视角图像以进一步验证方法的鲁棒性并为研究社区提供新的评估标准。2. 具体方法我们的方法通过独立的描述子分支和关键点分支分别提取描述子和关键点如图2所示。对于输入图像描述子分支首先使用ResNet-50记为提取多尺度特征图然后通过可变形Transformer编码器记为估计描述子图其中k4是图像块大小。匹配概率图随后通过分类头从D中估计得到。关键点分支通过轻量级 CNN记为和分类头估计得分图然后使用可微分关键点检测 (DKD) 检测亚像素级关键点。检测到的关键点用于从D中采样对应的描述子。2.1. 预备知识2.1.1. 可微分关键点检测给定得分图 SDKD 通过部分可微分操作检测亚像素级关键点位置。首先通过局部非极大值抑制 (NMS) 在窗口内得到局部最大得分图。然后通过阈值处理从中提取像素级关键点。DKD随后从 S 中选择以为中心的窗口内的所有得分并通过以下步骤估计亚像素级偏移使用softmax对 s(i, j) 进行归一化其中是温度参数。s(i, j) 表示局部窗口内成为关键点的概率。因此关键点在局部窗口内的期望位置可通过积分回归计算最终估计的亚像素级关键点为2.1.2. 可变形注意力给定特征图可变形注意力为查询索引 q 及其特征向量选择一小部分采样关键点。可变形注意力特征计算如下其中其中 m 索引注意力头k 索引采样关键点K 是采样关键点总数。W 和是可学习权重。和分别表示第 m 个注意力头中第 k 个采样点的偏移和注意力权重采样点通过线性层预测。可变形注意力自然扩展到多尺度特征图使网络能够有效适应不同尺度的特征。类似于单尺度情况多尺度可变形注意力特征计算如下其中这里是归一化坐标函数将其重新缩放到第 l 级输入特征图的尺度。2.2. 网络架构2.2.1. 描述子分支描述子分支提取稠密特征图和匹配概率图 M后者建模特征向量可匹配的概率。使用ResNet-50作为CNN骨干网络提取4个尺度的特征图分辨率分别为原图的 1/4, 1/8, 1/16, 1/32。通过在最后一个特征图上应用CNN额外包含一个 1/64 尺度的特征图。这些特征经过位置编码后输入到利用多尺度可变形注意力使网络能够动态关注多个尺度上的相关空间位置。我们使用4个编码层每层8个注意力头每个头采样8个点。2.2.2. 关键点分支关键点分支专注于检测精确关键点不受描述子估计的影响。提取4个不同分辨率的特征图分辨率分别为原图的 1/1, 1/2, 1/8, 1/32特征维度为32。这些特征随后上采样到原图分辨率并拼接生成尺寸为的特征图。然后用于估计得分图DKD应用于得分图以执行非极大值抑制并检测亚像素级关键点。2.3. 特征匹配本节描述如何为给定图像对和获取稀疏匹配和稠密匹配。我们的网络在单次前向传播中输出稀疏关键点、描述子图和匹配概率图。我们将双线性上采样到和的原分辨率并使用从中采样描述子。2.3.1. 稀疏匹配使用双softmax算子建立描述子之间的对应关系。首先计算得分矩阵 S其中是温度参数。然后对 S 的两个维度分别应用softmax得到软互最近邻 (MNN) 匹配的概率。匹配概率矩阵 P 计算如下基于置信度矩阵 P我们选择置信度高于阈值 (0.01) 的匹配并进一步强制执行互最近邻标准以过滤可能的异常匹配。2.3.2. 半稠密匹配我们提出了一种新颖的稠密匹配模块可生成准确且几何一致的稠密匹配。给定图像和我们的方法通过仅根据匹配概率分数选择前 K 个粗略关键点来控制内存和计算开销。然后我们使用类似于稀疏匹配的方法式8获取粗略匹配。这些匹配本质上是粗略的需要进一步优化以获得亚像素级精度因为 M 的分辨率仅为原图的 1/4。与现有方法不同我们提出了一种简单、高效且准确的半稠密特征匹配模块。利用稀疏匹配得到的我们使用八点法估计基础矩阵 F该矩阵关联和之间的对应点。我们保持不变并通过求解满足 F 定义的极线约束的偏移来优化。具体步骤如下将转换为齐次坐标。计算中的极线 L其中每条线由系数 a, b, c 表示。通过求解线性方程计算中每个点的偏移以强制执行极线约束。偏移计算如下:其中 (x, y) 是的像素坐标。我们过滤掉偏移大于块大小 (4) 的点因为它们可能超出匹配块范围可能是异常值。最终通过得到优化后的稠密匹配。2.4. 实现细节我们使用MegaDepth数据集和自建的空对地数据集的伪地面真值对应关系训练RDD。对于每个图像对定义匹配像素其中前两列是中的像素坐标后两列是通过扭曲函数得到的中的坐标。我们分别训练描述子分支和关键点分支。2.4.1. 训练描述子分支为了监督局部特征描述子我们应用焦点损失以关注困难样本并减少易分类匹配的影响。给定描述子图和我们基于地面真值匹配采样描述子集和。第 i 行和表示和中对应点的描述子。使用这些描述子计算概率矩阵 P。我们的监督目标仅针对正对应关系即 P 的对角元素。通过强制接近 1计算焦点损失为了监督匹配概率图我们计算二元交叉熵损失然后替换式12中的为得到匹配概率损失描述子分支的总损失为。2.4.2. 训练关键点分支描述子分支收敛后我们冻结其权重仅监督关键点分支以检测准确且可重复的关键点。我们应用重投影损失、可靠性损失和分散峰值损失来训练可重复且可靠的关键点。给定检测到的关键点和我们使用获取扭曲关键点并找到距离小于 5 像素的最近关键点作为匹配关键点。重投影损失对称定义为可靠性损失定义为:其中分散峰值损失定义为:其中 d(i, j) 表示 [i, j] 与之间的距离。关键点分支的总损失为。我们使用窗口大小 N 5 的DKD检测前 500 个关键点并从非显著位置随机采样 500 个关键点。3. 实验效果4. 总结一下RDD是一种基于可变形Transformer的鲁棒特征检测与描述框架在稀疏图像匹配中表现卓越并对几何变换和复杂条件展现出强大的适应性。通过利用可变形注意力机制RDD高效地提取几何不变特征相比传统方法显著提升了准确性和适应性。RDD的局限性在于训练时缺乏显式的数据增强且依赖稀疏匹配的置信度先验这可能导致半稠密匹配的失败。未来通过引入数据增强和改进基于视觉特征的优化模块可能进一步提升性能。RDD标志着关键点检测与描述领域的重要进展为跨视角场景建模和视觉定位等具有挑战性的三维视觉任务开辟了新的可能性。参考文献RDD: Robust Feature Detector and Descriptor using Deformable Transformer