1. 研究背景与问题关键点检测是计算机视觉的基础任务用于定位图像中物体的语义关键点如人体关节点、动物眼睛、家具角点等。现有局限传统模型多为“专家模型”只在特定类别如人体、动物上表现良好无法泛化到任意物体如“鱼”vs“沙发”。核心问题能否构建一个通用的关键点检测GKD模型能通过视觉示例或文本描述来检测任意物体的关键点2. 主要贡献三点贡献说明1. 大规模数据集 MegaKPT统一了29个现有数据集构建了包含130万实例、1587个类别、740种关键点类型的大型数据集覆盖人体、动物、昆虫、家具、车辆、服装、医学影像等10大超类别。所有关键点均配有文本描述支持视觉文本多模态训练。2. 通用模型 GKDT基于DINOv3视觉基础模型构建的Transformer架构支持视觉提示给几张带标注的示例图、文本提示输入关键点名称或两者兼用灵活适应不同场景。3. 有效训练策略提出混合模态提示训练训练时随机选择视觉/文本/两者提升泛化和动态重要性采样缓解数据长尾分布提升尾部类别性能。3. 核心技术方法(1) 数据集 MegaKPT规模1,348,228个实例远超前代 UniKPT418k和 MP-10020k。特点统一COCO格式标注纠正错误补充关键点文本包括医学影像的专家描述支持零样本迁移。验证在MegaKPT上训练的模型在手部X光等未见数据上迁移效果显著优于其他数据集表3。(2) 模型 GKDT 架构图3视觉主干全微调的DINOv3提取丰富密集特征。核心创新——核生成KGTransformer将文本提示和视觉提示分别编码为文本关键点原型TKP和视觉关键点原型VKP。通过KG Transformer将这些原型转换为动态卷积核。将卷积核作用于查询图像的特征图生成关键点热图实现非参数化高效检测。多模态融合测试时可融合视觉和文本分支的热图结果获得更稳定输出。(3) 训练策略混合模态提示训练每个训练episode随机从{视觉, 文本, 两者}中选一种提示模式避免训练-测试不一致。动态重要性采样针对数据长尾分布动态判断当前采样的类别是否为“头部”若是则采样后不放回逐渐消耗头部否则放回从而逐步平衡各类别采样概率提升尾部类别性能。4. 实验验证实验设置22个测试集涵盖单对象和多对象场景包括已见和未见类别。指标PCK0.1关键点正确率和AP平均精度。对比方法Vanilla DINOv3、OpenKD、X-Pose、CapeFormer、ViTPose等。主要结果场景结果单对象22个数据集GKDT在视觉/文本/多模态提示下均全面领先17个数据集PCK0.1 90%表4、5。多对象人体姿态结合Grounding DINO检测器COCO上达77.2% AP通用模型SOTA微调后达78.1%表6。多对象动物/车辆在AP-10K、MacaquePose等数据集上大幅优于X-Pose表7。零样本迁移在未见鸟类、动物面部、手部X光上均表现优异最高达99.6%表3、5。消融实验验证了DINOv3主干的优越性、混合模态训练的必要性、动态采样对尾部类别的提升表8、9。5. 结论与意义本文首次将DINOv3应用于通用关键点检测构建了大规模高质量数据集MegaKPT和强大灵活的GKDT模型。单一模型即可处理人体、动物、昆虫、家具、车辆、服装、医学影像等广泛类别的关键点检测实用性强。为通用视觉感知尤其是开放世界关键点理解提供了数据基础、模型架构和训练范式将推动GKD领域的进一步发展。论文通过构建超大规模统一数据集MegaKPT和基于DINOv3的GKDT模型首次实现了一个模型检测任意物体关键点并在22个测试集上展现出强大性能和通用性。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要随着各种预训练视觉与语言模型的出现计算机视觉正从窄领域识别向开放领域识别转变。构建一个更强大且通用的关键点检测GKD模型以支持多样化的任务在该领域变得日益重要。为此我们首先提出了一个大规模的统一关键点数据集称为 MegaKPT。该数据集由来自二十九个现有数据集的超过 130 万个多样化对象实例组成并拥有高质量的、带有关键点文本描述的统一标注。基于 MegaKPT我们开发了 GKDT一个基于 DINOv3 的、简单、灵活且强大的通用关键点检测 Transformer 模型。我们的 GKDT 支持视觉提示、文本提示或两者兼有。为了增强模型训练我们还提出了一套有用的策略如混合模态提示训练和动态重要性采样。通过在 22 个测试集包含已见或未见对象上的测试我们的单一 GKDT 模型在广泛类别的关键点检测上展现了强大的性能和通用性大多数类别的 PCK0.1 准确率超过 90%为现实世界问题提供了很高的实用价值。1 引言关键点检测是计算机视觉中的一项基础任务旨在定位图像上的一组关键点。与目标检测相比关键点检测提供了更细粒度的部件理解以及关于对象的简洁语义和结构线索这催生了许多引人入胜的应用例如人体和动物姿态估计 [6, 9, 51, 65] 以及机器人技术 [73]。在过去的几十年里关键点检测取得了显著进展从传统的基于图像处理的方法 [13, 29, 37] 发展到基于深度学习的方法 [6, 9, 39, 51, 65]。传统方法如 Moravec 检测器 [37] 及其后继者 Harris 检测器 [13] 和 SIFT [29]是无监督的用于检测低级兴趣点但在定位高级语义关键点方面存在困难。一旦进入深度学习时代这个问题被克服导致了一系列基于卷积神经网络CNN或 Transformer [56] 的成功的关键点检测模型这些模型针对各种特定领域的类别如人体姿态 [6, 51, 65] 和动物姿态模型 [69] 等专家模型。然而这些专家模型受限于闭集检测无法识别不同类型对象上的关键点特别是当对象具有截然不同的解剖结构时例如“鱼”对“沙发”。因此一个有趣的问题出现了如何构建一个强大的、对不同关键点和对象都实用的通用关键点检测GKD模型受人类可以凭借一个或几个视觉示例或仅凭语言描述的先验知识快速识别关键点这一事实的启发最近研究人员探索了比专家模型更通用的基于提示的模型其目标是在给定一个或几个带有关键点标注的支持图像即视觉提示[15, 32, 33, 36, 64]、关键点文本即文本提示[70, 71] 或两者兼有 [30, 34, 66] 的情况下检测查询图像上的关键点从而建立单模态或多模态提示检测。然而大多数模型仍在特定领域或相对较小规模的数据集上训练这限制了领域间的知识迁移能力和模型对未见类别的泛化能力。为解决此问题我们首先提出了一个大规模的统一关键点数据集称为 MegaKPT通过将来自二十九个现有数据集的 130 万个多样化对象实例统一为相同的标注格式。与之前大约有 41.8 万个实例的 UniKPT [66] 数据集相比我们的 MegaKPT 不仅规模更大而且修正了噪声标注补充了准确的关键点文本并提供了清晰的超类别和索引从而构成了一个高质量且易于使用的数据集。图 1 展示了 MegaKPT 的概览。我们首次为医学扫描图像如用于正畸的头影测量图像 [59] 和手部 X 光图像 [18]提供了专家级的关键点文本描述这使得零样本医学地标检测变得容易。为了处理 MegaKPT 的大图像多样性并检测通用关键点我们进一步提出了 GKDT一个基于 DINOv3 [49] 的通用关键点检测 Transformer 模型。自监督预训练视觉基础模型VFMDINOv3 [49] 的出现可以作为我们视觉主干的良好权重初始化以提取语义丰富的密集特征用于关键点定位。受 ViTPose [65] 的启发我们在 GKDT 内提出了一个核生成KGTransformer将文本和视觉关键点表示转换为卷积核。之后这些卷积核将被注入检测头以执行高效的非参数检测。此外为了有效训练我们的模型我们提出了一套有用的策略包括i) 混合模态提示训练以增强训练和测试之间提示模式的一致性ii) 一种新颖的动态重要性采样从数据采样的角度缓解数据不平衡问题在提升尾部类别分数的同时保持头部类别的分数。我们的贡献体现在三个方面我们精心构建了一个大规模、多样化的关键点数据集 MegaKPT以支持通用关键点检测GKD的研究。我们的 GKDT 模型在架构设计上简洁在大规模模型训练上有效并在跨不同对象类别的关键点检测上展现出强大的通用性和性能。我们提出了一套对 GKDT 模型训练有效的策略。据我们所知这项工作是首次尝试将基于 DINOv3 的模型应用于通用关键点检测。2 相关工作关键点检测已经从传统的兴趣点方法 [13, 29] 迅速发展到现代基于深度学习的方法包括深度角点检测 [72]、半监督 [16, 38, 58] 和全监督方法 [6, 9, 10, 39, 51, 53, 65]。总的来说深度关键点定位方法可以分为两大类i) 直接坐标回归 [7, 54] 和 ii) 带坐标解码的基于热图的回归 [51, 65]。与现有为识别特定身体部位而设计的模型如自上而下 [51, 65] 或自下而上 [6, 9] 的人体或动物姿态估计器不同我们的 GKDT 模型是为通用关键点检测GKD设计的可以处理更多样的关键点和对象克服了闭集检测的局限性。通用关键点检测是多模态通用视觉的一个进步旨在统一各种对象类别上的关键点检测任务。为此检测模型必须非常灵活和通用。受小样本学习 [48, 50, 52] 的启发一系列工作 [32, 33, 36] 探索了视觉提示的关键点检测其目标是在给定视觉提示的情况下指导模型快速识别已见或未见对象上的新关键点或基础关键点。沿着这一研究方向Chen 等人 [8] 提出了一种新的弱样本设置通过弱标签数据将关键性和对应性迁移到新对象。与依赖视觉提示不同得益于桥接视觉和语言的预训练视觉-语言模型如 CLIP [43]基于文本提示的关键点检测 [70, 71] 被提出。与视觉提示检测相比文本提示检测更加方便和可重配置节省了甚至标记一个示例的工作量。为了拥抱多模态提示一些多模态模型被提出来同时支持图像和文本提示。Lu 等人 [34] 提出了 OpenKD 模型但该模型在小数据集上训练导致通用性有限在大型数据集上性能较低。Yang 等人 [66] 提出了一个端到端的 X-Pose 模型该模型同时预测目标边界框和关键点。然而一个模型可能难以很好地回归两个任务并且关键点检测的性能受限于其自身的目标检测器。与 X-Pose 不同我们的 GKDT 专注于单个对象上的关键点理解并且可以与更高级的目标检测器结合以更高的性能处理多对象场景。基础模型代表了一类在大型数据集上预训练的广泛模型包括视觉基础模型VFMs如 DINOv3 [49]、大型语言模型LLMs和视觉-语言模型VLMs如 CLIP [43]。使用迁移学习技术 [31, 35, 62] 以高效的方式将这些模型适应下游任务在计算机视觉中变得流行 [17, 28, 70, 71]。遵循这一趋势我们积极探索自监督的 DINOv3 用于通用关键点检测。3 MegaKPT: 一个大规模高质量的 GKD 数据集提升统一关键点数据集的能力和多样性对于通用关键点检测GKD至关重要。先前的主要数据集包括 MP-100 [64] 和 UniKPT [66]。然而MP-100 每个对象类别大约有 200 个标注实例这使得难以训练一个对实际问题鲁棒的 GKD 模型。UniKPT 通过整合 13 个现有数据集扩展了 MP-100但其标注存在重复的类别名称、嘈杂的索引、不清晰的超类别划分并且某些数据集只覆盖了部分实例。这些因素阻碍了研究人员方便地将其用于模型训练。为了解决这些问题并推动统一关键点数据集的发展我们从头开始重新统一每个数据集构建了一个新的大规模高质量的 MegaKPT。其统计数据如表 1 所示。表 1MegaKPT 的统计数据。每个数据源均已注明。提出的 MegaKPT 总共包含超过 130 万个对象实例涵盖十个超类别其分布如图 2 所示。每个关键点都有文本标注。在去重后MegaKPT 累计包含 740 种独特的关键点类型和 1587 个对象类别涵盖人体和动物姿态、面部和肢体、昆虫、家具、车辆、服装和医学扫描。如表 2 所示MegaKPT 极大地超越了之前的 MP-100 和 UniKPT。我们注意到 MegaKPT 具有三个特点i) 大规模的数据量ii) 大的对象尺度变化小至“醋蝇”和“蝗虫”大至“老虎”和“大象”iii) 大的领域差异类别范围从自然场景如昆虫和鸟类到家庭场景如家具和服装。这些特点将很好地支持 GKD 研究以及对新类别的零样本或少样本迁移。表 2统一数据集的统计数据。MP-100UniKPTMegaKPT引用[64][66]-类别数1001,2371,587关键点数-338740图像数20,000226,547935,343实例数20,000418,4871,348,228图 2我们统一数据集中十个超类别的实例分布。MegaKPT 需要付出大量努力来手动将标注统一为相同的 COCO 格式 [27]纠正模糊的关键点位置和文本并为那些类别补充缺失的关键点文本。此外我们关注关键点的对称性和相对空间方向并从对象自我中心视角标注这些关键点文本以确保唯一性。我们还使用 LLM [1] 来标准化对象或关键点名称例如将 steinbucksteenbok 标准化为 steinbuck steenbok将 l_eye 标准化为 left eye为关键点文本提供了一个良好的语料库。有趣的是我们首次为头影测量图像 [59] 和手部 X 光图像 [18] 提供了专家级的关键点文本这将有益于零样本医学地标检测图 1。请注意所有文本标注都是手动提供并经过质量检查的。为了探索数据集的优势我们保留了整个手部 X 光图像集用于测试同时在 MP-100、UniKPT 和 MegaKPT 上分别训练相同的 GKDT 模型。所有训练集都不包含手部 X 光图像但包含日常生活中的真实手部图像。表 3 显示在我们的 MegaKPT 数据集上训练的模型在视觉即 1-shot、文本即 0-shot或两者兼有的提示下均取得了最高的迁移结果验证了 MegaKPT 的先进性。表 3在给定视觉、文本和多模态提示即两者兼有的情况下对未见手部 X 光图像 [18] 的泛化能力。PCK0.1 (视觉)PCK0.1 (文本)PCK0.1 (两者)MP-10097.5633.0596.14UniKPT86.7889.8790.38MegaKPT99.2899.6299.604 通用关键点检测 Transformer遵循先前的工作 [34, 66]通用关键点检测GKD可以以情景episodic方式进行训练和评估每个情景包含一个支持集和一个查询集。查询集由待检测的图像组成而支持集提供提示。当使用视觉提示K 张带有标记关键点的支持图像时该任务称为视觉提示关键点检测即 K-shot 检测。当仅给出文本提示关键点的语言描述时该任务称为文本提示关键点检测即零样本检测。我们的 GKDT 模型的整体架构如图 3 所示。可以看出我们的 GKDT 是一个基于提示的模型其输出的关键点热图数量与给定的输入提示相对应。因此该模型在处理具有不同关键点数量和解剖结构的对象例如“老虎”、“鸟”和“沙发”等方面具有很大的灵活性。图 3我们的 GKDT 模型用于通用关键点检测的流程示意图。我们的模型接受文本提示、视觉提示或两者兼有以检测查询图像上相应的关键点。我们的 GKDT 使用全微调的 DINOv3 视觉 Transformer 作为视觉主干以提取语义丰富的图像特征并使用一个核生成KGTransformer 将文本和视觉关键点原型即 TKP 和 VKP转换为卷积核以进行高效的非参数检测。4.1 动机检测各种关键点的通用性令人着迷。然而问题是如何从提示中提取有代表性的关键点原型以有效地指导模型检测查询图像中的关键点从而在多样化对象上实现强大性能。一方面随着视觉基础模型VFMDINOv3 [49] 的出现选择它作为视觉主干来提取语义密集的图像特征以增强关键点表示是更可取的。由于 DINOv3 已经在大型图像上进行了自监督预训练其权重可以为模型学习提供良好的初始化。另一方面我们观察到人体姿态专家模型 ViTPose [65] 即使在 MAE 预训练的 ViT Fv​ [14] 之上添加一个简单的检测头也能在 COCO 基准 [27] 上取得最先进的结果如式 (1) 所示4.2 GKDT 模型如图 3 所示我们的 GKDT 主要包括四个步骤i) 图像/文本特征提取和适应ii) 关键点原型构建iii) 核生成以及 iv) 高效的非参数检测。4.3 模型训练策略为了有效训练我们的模型我们提出了一套策略如下所示混合模态提示训练在现实场景中应用模型时用户可能会根据自己的偏好执行视觉、文本或两者兼有的提示。如果在训练期间只采用一种提示模式例如只用两者兼有的模式将不可避免地导致训练和测试之间的提示不一致。为了模拟真实的提示行为我们从提示采样的角度提出了混合模态提示训练其中每个训练情景从集合 {视觉文本两者兼有}默认设置中随机选择一种模式然后相应地掩码关键点指示器 IvIv 和 ItIt。我们还研究了诸如 {视觉文本} 和 {两者兼有} 等提示集并根据经验发现默认设置给出了最佳的整体分数。动态重要性采样图 2 显示我们的 MegaKPT 呈现长尾现象头部类别占据主导数量的实例而尾部类别则占少数。这种数据不平衡广泛存在对通用模型训练构成了挑战。解决此问题的常用方法是进行数据平衡。然而这会丢失许多用于训练的宝贵数据样本并削弱模型能力。一个自然的问题是我们是否可以直接在这种不平衡的数据集上训练模型既能保持对头部类别的强大性能又能提高对尾部类别的分数。5 实验5.1 实验设置数据集划分为了公平比较我们遵循 MegaKPT 中那些具有官方训练、验证和测试集划分的数据集的原始划分例如 COCO [27] 和 Human-Art [21]。否则我们进行如下划分遵循先前工作 [34]AwA 姿态数据集 [2] 被划分为 25 个物种用于训练其余 10 个不相交的物种用于测试鸟类数据集 CUB [57] 和 NABird [55] 分别被划分为 100、50、50 和 333、111、111 用于训练、验证和测试。AP-10K [69] 使用 42 个动物物种进行训练其余 12 个物种进行测试。动物面部数据集 AnimalWeb [22] 被划分为 250 个类别作为已见类别其余 100 个作为未见类别用于测试。为了测试模型泛化能力整个 Animal pose 数据集 [5] 和 Hand X-ray [18] 被保留用于测试。完整的划分见补充材料的 §B。请注意CUB、NABird、AnimalWeb 和 Hand X-ray 的测试集对于训练数据是未见的。我们用 (Δ) 标记它们以作区分。此外Animal pose、AwA 和 AP-10K 的测试集用 (Δ) 标记因为它们可能是广义未见类别可能与训练数据有重叠。训练集被组合用于 GKD 模型训练。指标使用正确关键点百分比PCK[32] 和平均精度AP[27]例如用于 COCO 和 Human-Art进行严格评估。对比方法对比方法包括能够执行通用关键点检测GKD的方法如免训练的 vanilla DINOv3 [49]、OpenKD [34] 和 X-Pose [66]以及基于视觉提示的方法 CapeFormer [47] 和专门用于人体姿态估计的最先进模型 ViTPose-H [65]。对于 OpenKD 和 CapeFormer我们采用其源代码在 MegaKPT 上进行公平训练和测试。X-Pose 没有训练代码并且发布的模型中也没有视觉分支因此我们仅在文本提示检测方面与其进行比较。使用不同的 DINOv3 视觉主干例如 DINOv3-S/B/L/H我们的 GKDT 相应地有变体 GKDT-S/B/L/H。我们使用 GKDT-L 作为我们的默认模型即 GKDT。实现细节输入到 GKDT 模型的图像大小为 384×384。我们的 KG 模块 K 使用两个 Transformer 块文本适应模块 At​ 使用一个。生成的核大小 s 在 1×1 和 3×3 时表现良好。我们所有的 GKDT 模型都使用 16 个 H800 GPU 训练 20 个 epoch。5.2 单对象场景下的通用关键点检测我们首先在 22 个测试集表 4 和表 5上对通用关键点检测进行了大量实验其中每个输入图像都有一个通过 GT 边界框裁剪的单个对象。测试了 1000 个情景每个情景有 10 张查询图像。我们使用 PCK0.1 作为统一指标方便对所有测试集进行评估。对于 COCO 和 HumanArt我们还在第 5.3 节中报告了 AP [27] 分数。表 4 显示我们的 GKDT 模型在视觉、文本或两者兼有的提示下在 13 个数据集上始终取得最佳分数并优于 vanilla DINOv3、OpenKD 和 X-Pose涵盖了动物、昆虫和人体姿态等超类别。此外我们在表 5 中评估了另外 9 个数据集涵盖人体和动物面部及手部、家具、车辆、服装和医学图像。同样我们的 GKDT 使用单一模型展示了强大的结果。尽管一些测试集是未见的 (Δ) 或广义未见 (△)我们的模型仍表现出良好的泛化能力。例如我们的 GKDT 在多模态提示即“两者兼有”下在定位未见鸟类上的地标时CUB 达到 98.48%NABird 达到 96.86%在未见动物面部 AnimalWeb 上达到 86.24%在手部 X 光图像上达到 99.60%。我们推测医学图像在结构化场景中捕获因此比复杂日常场景中的真实手部姿态更容易这可能是手部 X 光图像取得惊人分数的原因。总的来说在多模态提示下22 个数据集中的 17 个准确率超过 90%表明我们的 GKDT 模型在广泛的类别中具有很强的通用性和实际应用价值。图 4 展示了一些可视化结果。表 4单对象场景下在十三个数据集上的通用关键点检测。报告了 PCK0.1 分数。测试集是未见的 (Δ) 和广义未见 (Δ) 均已标记。符号 \表示通过官方发布模型复现的结果表 5单对象场景下在另外九个数据集上的通用关键点检测。图 4使用我们的 GKDT 模型进行视觉和文本提示关键点检测的可视化。预测中的白色阴影表示 PCK0.1这意味着预测的关键点即圆圈如果落在这个区域内则是正确的。GT 标记为倾斜的十字。5.3 多对象场景下的通用关键点检测我们的 GKDT 模型专注于单个对象的关键点检测。然而它也可以通过两阶段自上而下的方法应用于多对象场景该方法首先通过目标检测器定位对象边界框然后检测每个框的关键点。与端到端方法相比两阶段方法可以与更高级的目标检测器结合以实现高质量的检测。多人体姿态估计结果首先我们在 COCO [27] 和 HumanArt [21] 验证集上以零样本检测方式评估我们的 GKDT 模型。通过与开放集目标检测器 Grounding DINO [28]G-DINO结合我们的 GKDT 和 GKDT-H 在 COCO 上分别达到 75.0% 和 77.2%表 6a在通用模型中树立了最先进的结果。在 COCO 目标检测中Faster RCNN、G-DINO 和 GT 的 AP 分别为 56.4%、65.4% 和 100.0%。通过使用更好的边界框我们的 GKDT 取得了更高的结果。微调后我们的 GKDT-H 进一步提高了分数78.1% vs. 77.2%。在 HumanArt 中我们的 GKDT 和 GKDT-H 与 G-DINO 结合分别获得 70.0% 和 71.3% 的分数而与 GT 框结合则分别达到 78.1% 和 79.9%显示出显著的提升空间。G-DINO 在 HumanArt 上表现中等。在使用与 X-Pose 相同的框后我们的 GKDT 与 X-Pose 相比提高了结果73.4% vs. 70.7%。表 6COCO 和 Human-Art 验证集上的多人体姿态估计。通用模型使用文本提示。G-DINO: Grounding DINO [28]\*: 通过官方发布模型复现的结果†: 在 COCOHumanArt 上微调1. param: 可学习参数。图 5通过 GKDT 在多对象场景中进行通用关键点检测的可视化。动物和车辆结果我们在更多多对象数据集上使用不同阈值的 PCK 进行评估。阈值越低定位精度要求越严格。表 7 显示我们的 GKDT 模型表现相当出色特别是在 AP-10K 和 TopviewMouse5K 上大幅优于 X-Pose。请注意所有结果都是通过单一模型实现的。图 5 展示了将我们的 GKDT 应用于多对象场景的示例。5.4 消融研究预训练 VFM 研究除了 DINOv3我们还研究了使用其他预训练的 VFM 作为视觉主干如 CLIP [4] 和 MAE ViTs [14]。DINOv3 和 MAE ViTs 都是自监督的而 CLIP 是由语言弱监督的。图 6a 显示 DINOv3 模型给出了最佳的 GKD 性能且 DINOv3-L 的性能与 DINOv3-H 接近。混合模态提示训练图 6b 显示如果仅在训练期间使用提示集 {两者兼有}则单模态提示测试无论是视觉还是文本都是次优的。如果使用 {视觉文本}则两者兼有的提示测试性能下降。从集合 {视觉文本两者兼有} 中采样产生最佳的一致性和结果。数据量与多模态提示DINOv3 自监督学习的视觉知识和先验使得向 GKD 的强迁移成为可能。图 6c 显示即使在头影测量数据集中仅使用 10% 的训练数据我们的 GKDT 也能获得超过 90% 的准确率。此外在现实世界的测试中人们可能不知道哪种提示是最优的。使用多模态提示即“两者兼有”的优势在于可以降低选择弱模态提示的风险并相对于最强的模态提示无论是视觉还是文本保持性能。在使用多模态提示的评估中表 4 和表 5 显示在 22 个任务中有 21 个任务相对于最强的模态提示的下降幅度小于 2%其中 18 个任务的下降幅度小于 1%。图 6预训练 VFM (a)、混合模态提示训练 (b) 和训练数据量 (c) 的研究。在 (a) 和 (b) 中测试了 Animal pose 数据集。使用 PCK0.1。模型组件研究表 8a 显示如果不微调视觉主干 Fv​ 和不使用 KG Transformer κ结果最差。在微调 Fv​ 后分数大幅提升。在微调和不微调 Fv​ 的两种情况下KG Transformer 都能提高分数并减少失败。κ 中的自注意力SA学习视觉和文本关键点表示之间的关系并聚合上下文而 κκ 中的交叉注意力CA从查询图像特征中聚合上下文。为了理解它们的作用我们对它们进行了消融。表 8b 显示 SA 和 CA 都有积极影响但 SA 占主导地位。有趣的是分数的提升主要体现在视觉提示上这表明强的模态提示在这种情况下是文本提示可以提升弱的模态提示。动态重要性采样表 9a 显示我们的动态重要性采样在尾部类别上显著提升了模型性能同时保持了头部类别的分数在多模态提示下OpenKD 在 HInt 和 Cephalometric 数据集上分别提升了 3.92% 和 6.36%而我们的 GKDT 分别提升了 1.03% 和 0.40%。我们注意到GKDT 带来的收益小于 OpenKD。我们推测原因是 GKDT 模型更强因此改进空间更小难度也更大。表 9数据采样策略和跨超类别迁移的研究。(a) 均匀采样、重要性采样和我们的动态重要性采样的比较。(b) 人体姿态HP和动物姿态AP超类别之间的迁移。S源域T目标域。报告了在“两者兼有”提示下的 PCK0.1 分数。跨超类别迁移表 9b 显示我们的 GKDT 模型从人体很好地迁移到猕猴因为它们具有相似的结构92.82% vs. 81.03%并且与 AP-10K 中的四足动物相比正如预期的那样差距较小。6 结论我们将统一关键点数据集提升到了一个新的水平提出了 MegaKPT 以支持通用关键点检测的研究。此外我们开发的基于 DINOv3 的通用关键点检测模型 GKDT在大多数单对象和多对象场景下无论是视觉、文本还是多模态提示都取得了最先进的结果这得益于一套有效的模型训练策略。我们相信我们的工作将为 GKD 研究铺平道路并在现实世界的应用中提供巨大的实用性。