大家读完觉得有帮助记得关注和点赞摘要多目标追踪MOT在以短视频序列为主的基准数据集上已取得强劲性能。然而这些数据集并未充分评估长期身份保持能力即目标必须在长时间内被一致追踪。我们引入WaspMOT一个旨在通过受控生态实验中赤眼蜂Trichogrammawasps的长时间追踪来解决这一差距的基准数据集。该数据集包含10个序列每个序列约12,000帧25 FPS下超过8分钟具有密集的MOTChallenge格式标注和用于隔离关联性能的先知检测结果。与现有基准不同WaspMOT形成了一个闭集追踪场景其中所有个体在整个序列中始终存在要求在数千帧中保持一致的身份分配尽管存在突然跳跃、遮挡和高度相似的外观。我们通过评估五种基于检测的追踪方法包括ByteTrack、BoT-SORT、C-BIoU、OC-SORT和McByte在统一协议下建立了一个基准。结果表明所有方法都存在显著的轨迹碎片化问题突显了即使使用完美检测结果长期身份保持仍然困难。一个简单的空间轨迹拼接基线持续提升了性能表明仍有很大的提升空间。WaspMOT为研究长期关联提供了一个新的基准并揭示了当前追踪方法在常规数据集上无法观察到的局限性。该基准将在项目仓库公开发布GitHub - tstanczyk95/WaspMOT: [AVSS 2026] WaspMOT: A Benchmark for Long-Term Multi-Object Tracking of Trichogramma Wasps · GitHub。I 引言多目标追踪MOT是计算机视觉中的一个基本问题应用于视频监控、自动驾驶、机器人和体育分析等领域。其目标是检测目标并随时间保持一致的标识。最近的进展由以人为中心的场景的基准数据集推动包括行人追踪[19, 9]、体育追踪[8, 7]和人体运动分析[25]。这些数据集使得能够处理遮挡、外观变化和适度运动的鲁棒追踪算法成为可能。然而现有的MOT基准以短视频序列为主通常持续几十秒轨迹仅跨越视频的一小部分。因此追踪器主要在短期关联而非长期身份保持上被评估。这限制了研究身份必须在长时间内保持一致性的场景的能力。在生态和生物监测中这种长期身份一致性对于分析个体行为和相互作用至关重要。为填补这一空白我们引入了WaspMOT一个为实验室控制实验中赤眼蜂长期多目标追踪而设计的数据集。每个序列包含约12,000帧25 FPS下超过8分钟所有个体在整个视频中始终存在形成了一个闭集追踪场景。这种设置使得能够评估跨越数千帧的全长度轨迹的身份保持这是现有MOT基准未覆盖的领域。图1 实验区域内个体的视频样本帧。图像像素尺寸以黑色标示实际区域尺寸以红色标示。追踪赤眼蜂带来了独特的挑战。个体经常执行突然的跳跃事件导致大的位移和从检测中暂时消失。由于相互作用和三维区域结构黄蜂在地板和天花板表面均可移动遮挡会发生。此外个体表现出高度相似的视觉外观使得基于外观的关联变得困难。这些因素导致即使有完美的检测结果轨迹碎片化也频繁发生。为聚焦于身份关联WaspMOT提供了从MOTChallenge格式[19]的标注真值派生的先知检测结果。这隔离了追踪性能与检测错误并使得能够对长期关联进行受控评估。我们通过评估五种基于检测的追踪方法建立了一个基准ByteTrack [30]、BoT-SORT [1]、C-BIoU [29]、OC-SORT [3]和McByte [24]。这些方法在统一协议下使用提供的检测结果进行评估使得能够对其关联能力进行一致比较。我们的结果表明所有被评估的追踪器在此设置下都遭受显著的轨迹碎片化突显了长期身份保持的困难。为进一步分析可恢复的错误我们包含了一个简单的空间轨迹拼接基线该基线基于位置和时间一致性重新连接碎片化的轨迹。该基线持续提升了性能表明仍有很大的提升空间并激励了更先进的长期追踪方法的开发。本文的贡献如下• 我们引入了WaspMOT一个用于长期身份保持的基准数据集具有闭集追踪场景下的全长度轨迹。• 我们提供了一个使用先知检测结果来隔离身份关联性能的评估协议。• 我们对五种追踪算法进行了基准测试表明即使有完美的检测结果长期身份保持仍然具有挑战性。• 我们包含了一个简单的空间拼接基线展示了可恢复的碎片化并激励了未来的研究。• 我们将公开发布数据集和代码以支持长期追踪和生态监测领域的未来工作。II 相关工作II-A 多目标追踪数据集MOT研究主要由行人和以人为中心的基准数据集驱动。MOTChallenge数据集包括MOT17和MOT20 [19, 9]提供了具有遮挡和密集交互的拥挤城市场景但序列通常仅持续短时间。特定领域的数据集如DanceTrack [25]、SportsMOT [8]和SoccerNet-Tracking [7]将评估扩展到人体运动和体育场景引入了快速运动、交互和相机动态等挑战。尽管影响深远现有的MOT数据集主要由持续几十秒的短视频序列组成。如表I所示它们的平均时长大约在25到100秒之间而WaspMOT序列超过480秒。时间持续时间的显著增加使得能够评估长期身份保持这是使用常规数据集难以评估的。追踪在生态学背景下也已被探索。BEE24数据集[4]提供了一个昆虫追踪基准但轨迹通常仅覆盖每个序列的有限部分。相比之下WaspMOT提供了一个闭集追踪场景所有个体在整个视频中始终存在使得能够评估全长度轨迹。II-B 基于检测的追踪方法基于检测的追踪是主导的MOT范式其中检测结果在帧间关联以保持身份。大多数方法依赖于使用卡尔曼滤波[14]的运动预测与基于边界框重叠的空间关联相结合。近期方法主要在如何增强这种基本公式上有所不同。基于IoU的方法如ByteTrack [30]强调使用检测置信度和空间重叠进行鲁棒关联。扩展如BoT-SORT [1]纳入外观特征以补充运动线索而OC-SORT [3]侧重于通过以观测为中心的更新改进运动建模。其他方法包括C-BIoU [29]改进空间匹配策略以更好地处理快速运动。McByte [24]通过纳入时间传播的分割掩码[6, 15]进一步扩展了这一范式以提高几何一致性并解决模糊关联。当检测结果外部提供时这些方法无需额外检测器训练即可操作使得能够评估纯关联性能。然而尽管有这些改进大多数方法依赖于运动连续性假设并且在突然运动或暂时消失时表现不佳导致轨迹碎片化。WaspMOT等长持续时间数据集比常规基准更清晰地暴露了这些局限性。II-C 基于外观的关联基于外观的方法旨在通过学习目标随时间和视点的判别性表示来改进身份关联[31, 26, 16, 5]。深度模型通常使用训练有身份分类和度量学习目标如三元组损失[22]的卷积神经网络来产生特征嵌入[12, 32]。这些嵌入在现代追踪流程中被广泛用于补充基于运动的关联[28, 10, 1]。然而它们的有效性取决于独特视觉特征的可用性。在昆虫追踪等场景中个体小且视觉相似基于外观的线索固有地受限。这使得身份关联特别具有挑战性并突显了对强调在此类条件下长期一致性的基准的需求。III WaspMOT数据集WaspMOT数据集由实验室记录的赤眼蜂视频组成以标准MOTChallenge格式标注并提供先知检测结果以隔离追踪性能。WaspMOT被设计为长期身份保持的基准其中序列时长和全长度轨迹是主要焦点而非大规模数据集大小或检测器训练。III-A 实验设置与数据采集实验在实验室条件下进行赤眼蜂维持在气候室中并在一个3.5厘米×2厘米的封闭实验区域内记录包含寄主卵如图1所示。我们考虑两个物种和三个品系Ostriniae工业品系和Brassicae工业和实验室饲养品系具有不同的行为如移动和跳跃。雌性个体因其在寄主卵寄生中的作用[23, 27]而成为主要关注对象。对于每个实验寄主卵被手动放置在区域中心的5×5网格中以实现个体移动和相互作用的受控观察[11, 21]。录制以25 FPS的固定俯视相机进行每个持续约8分钟每个视频至少产生12,000帧。相机焦点设置在区域地面根据黄蜂在三维区域中的位置产生清晰和模糊观察的混合。每个视频的分辨率为3840×2160像素。表I WaspMOT与现有多目标追踪数据集的比较。与由短视频组成的常规基准不同WaspMOT绿色高亮包含显著更长的视频具有密集标注和跨越整个序列持续时间的轨迹。这使得能够评估长期身份保持这是使用现有数据集无法可靠评估的。-表示该信息在来源中未指定。数据集MOT17MOT20DanceTrackSportsMOTSoccerNetBEE24WaspMOT (ours)# 视频1481002402013610FPS27 (平均)252025252525平均帧数/视频802.501676.251,058.55626.581121.26654.1712,033.00总帧数11,23513,410105,855150,379225,37523,550120,330平均秒数/视频99.2166.8852.9225.0644.8526.17481.30总秒数1,3895355,2926,0159,0159424,813平均框数/视频20,909.50206,505-6789.5418,137.62-256,952.70总框数292,7331,652,040-1,629,4903,645,661-2,569,527平均轨迹/视频95.864329.914.1724.92126.6421.40总轨迹1,3423,4569903,4015,0094,559214全视频长轨迹✕✕✕✕✕✕✓III-B 数据集组成与标注WaspMOT包含10个完整标注的视频序列每个物种5个序列。标注真值以标准MOTChallenge格式[19]的边界框提供总计120,330个标注帧和2,569,527个标注目标实例。每个序列平均包含21.4个从15到28不等个体这些个体在整个视频时长中始终存在形成具有全长度轨迹的闭集追踪场景。与常规追踪数据集[19, 9, 25, 8]不同WaspMOT提供直接从标注真值边界框派生的先知检测结果不包含身份标签。这使得能够独立于检测错误进行追踪性能的聚焦评估如[7]中所述。评估使用TrackEval [13]工具包进行确保与标准MOT评估协议的兼容性。WaspMOT与现有MOT追踪数据集之间的统计比较见表I。WaspMOT序列比现有数据集中的序列长约一个数量级平均每个视频超过480秒。这使得能够评估跨数千帧的身份保持这是常规基准未捕获的领域。图2 每个视频的遮挡和跳跃事件数量。原始视频名称位于每个柱下方。图3 每个视频的同时发生跳跃事件数量。原始视频名称位于每个柱下方。III-C 追踪挑战追踪赤眼蜂带来了几个独特挑战使WaspMOT区别于常规MOT数据集。首先个体频繁执行突然的跳跃事件导致大的瞬时位置变化和从检测中暂时消失。当追踪器依赖运动连续性假设时这些事件会产生轨迹碎片化。跳跃事件的分布如图2所示包括多个个体同时跳跃的情况图3增加了关联模糊性。其次由于个体之间和实验区域结构的相互作用遮挡会发生。因为黄蜂可以在区域地面和天花板移动即使使用静态相机设置完全视觉遮挡也是可能的。这些遮挡可能导致暂时身份丢失和错误重新分配。图2说明了每个序列的遮挡事件分布。第三个体表现出高度相似的视觉外观限制了基于外观的区分效果。结合其小尺寸和快速运动这使得可靠的身份关联特别具有挑战性。最后序列的长持续时间要求追踪器在数千帧上保持身份一致性。与常规数据集中轨迹仅跨越序列一小部分不同WaspMOT要求全长度轨迹重建以实现准确追踪。这些特征使WaspMOT成为评估长期追踪性能和身份保持的一个具有挑战性的基准。WaspMOT并非旨在取代具有更广泛场景多样性的MOT大规模数据集。相反它通过针对一个独特且未被充分探索的评估领域——长持续时间、闭集、全长度轨迹追踪——来补充它们。在这个领域中主要挑战不是场景多样性或检测器鲁棒性而是在数千帧中保持身份一致性。IV 基准协议IV-A 先知检测设置为从检测错误中隔离身份关联性能我们使用直接从标注真值边界框派生的先知检测结果不包含身份标签。此设置确保了完美的检测精度并允许评估完全聚焦于追踪组件。所有追踪结果均以MOTChallenge [19]格式生成并使用TrackEval [13]工具包进行评估。此设计遵循了关联为主要关注因素场景下的先前实践并使得能够对长期身份保持进行受控评估。IV-B 被评估的追踪算法我们对代表不同关联策略的五种基于检测的追踪方法进行基准测试。ByteTrack [30] 使用基于卡尔曼滤波器[14]的运动预测和以交并比IoU度量的空间重叠来关联检测结果。BoT-SORT [1] 通过在外观特征与运动和空间线索一起纳入来扩展此方法。外观嵌入按照原始工作中描述的过程进行训练并适应WaspMOT。C-BIoU [29] 引入了一种增强的基于IoU的匹配策略使用扩大的边界框旨在提高快速移动主体环境中的鲁棒性。OC-SORT [3] 通过强调以观测为中心的更新来改进运动建模这增强了非线性运动下的鲁棒性。McByte [24] 纳入时间传播的分割掩码[6, 15]以在关联期间提供额外的几何约束。所有方法均使用先知检测结果和默认参数应用无需额外调整。此设置使得算法间能够进行一致比较并将评估聚焦于其固有的关联能力。IV-C 空间轨迹拼接基线为分析可恢复的身份碎片化我们包含了一个作为后处理应用的简单空间轨迹拼接基线。每个轨迹由其时空端点表示。候选关联通过基于空间邻近性和时间一致性链接一个轨迹的末端与另一个轨迹的开端来形成。当存在多个候选者时使用匈牙利算法[17]在一对一匹配约束下进行全局分配。此基线不引入新的建模组件但用于量化使用简单空间线索可以从碎片化轨迹中恢复多少性能。它为评估更先进长期追踪方法的潜力提供了一个参考点。V 结果与分析V-A 评估指标我们报告三个标准MOT指标HOTA [18]、IDF1 [20]和MOTA [2]。HOTA通过结合检测和关联质量捕获整体追踪性能IDF1衡量身份一致性MOTA反映检测精度和追踪错误。值越高表示性能越好。V-B 定量结果表II展示了所有评估方法在有和没有空间轨迹拼接情况下的追踪性能。所有追踪器都表现出显著的身份碎片化反映在尽管使用了先知检测结果IDF1分数仍然相对较低。这证实了即使消除检测错误长期身份保持仍然具有挑战性。应用空间拼接在所有方法中持续改善了性能。例如ByteTrack提升了3.8 HOTA和8.8 IDF1而McByte提升了2.7 HOTA和7.2 IDF1。对于BoT-SORT、C-BIoU和OC-SORT也观察到类似的增益。这些结果表明身份碎片化的很大一部分可以使用简单的空间一致性来恢复。表II 被评估方法的追踪性能在空间轨迹拼接之前和之后。相对于基线的改进显示在括号中。方法HOTA ↑IDF1 ↑MOTA ↑ByteTrack [30]49.347.274.4ByteTrack 拼接53.1 (3.8)56.0 (8.8)74.4 (0.0)BoT-SORT [1]47.945.474.4BoT-SORT 拼接51.7 (3.8)54.4 (9.0)74.5 (0.1)C-BIoU [29]51.350.574.4C-BIoU 拼接53.8 (2.5)57.1 (6.6)74.5 (0.1)OC-SORT [3]50.546.874.5OC-SORT 拼接54.5 (4.0)55.5 (8.7)74.5 (0.0)McByte [24]60.651.199.7McByte 拼接63.3 (2.7)58.3 (7.2)99.8 (0.1)图4 一只赤眼蜂执行突然跳跃的示例。暂时消失导致轨迹碎片化随后被空间轨迹拼接恢复。由于使用先知检测结果MOTA在各配置中基本保持稳定表明性能差异主要由身份关联而非检测质量驱动。值得注意的是McByte实现了接近完美的MOTA这可归因于其使用时间传播的分割掩码有助于解决如重叠等模糊情况。相比之下IDF1显示了所有算法最大的改进证实了长期身份一致性从轨迹重建中受益最多。在所有方法中McByte [24] 实现了最强的整体性能表明掩码传播提供的额外空间约束是有益的。然而即使是表现最好的方法也未能完全解决身份碎片化突显了长期追踪的困难。方法的相对排序进一步揭示了基于外观的线索在此设置中并未提供明显优势尽管纳入了学习到的嵌入BoT-SORT并未优于如ByteTrack等更简单的基于运动的方法。这表明对于小型、视觉相似的目标外观特征难以有效利用。总体而言这些结果强调了运动、几何和长期推理在WaspMOT中的互补作用。V-C 定性分析图4说明了由突然跳跃事件引起的典型故障案例其中个体暂时消失且其轨迹被碎片化。空间拼接成功重新连接了轨迹证明此类错误并非由于身份模糊而是由于局部关联机制的局限性。总体而言这些结果表明当前的基于检测的追踪方法难以在长时间内保持身份一致性。使用简单空间拼接获得的一致改进表明仍有很大的提升空间激励了专门为长期身份保持设计的方法的开发。VI 结论我们引入了WaspMOT一个旨在评估生态监测场景中长期身份保持的多目标追踪基准数据集。该数据集由完全标注的长持续时间序列组成并提供先知检测结果使得能够对全长度轨迹上的身份关联进行受控评估。通过对五种基于检测的追踪方法的基准测试我们表明即使在没有检测错误的情况下当前方法在长时间内保持一致身份方面也存在困难。使用简单空间拼接基线获得的一致改进表明轨迹碎片化的很大一部分是可恢复的但也突显了现有关联策略的局限性。WaspMOT暴露了现代追踪器的一个故障模式这是常规短持续时间基准无法捕获的并为长期身份保持的未来研究奠定了基础。数据集和代码将在接收后公开发布以支持长期追踪和生态监测应用的进一步发展。