1. 研究背景与核心发现新加坡国立大学的研究团队在2026年发表了一项颠覆性研究揭示了当前最先进AI视觉模型在基础物体追踪能力上的重大缺陷。这项研究直指人工智能发展中的一个关键盲点我们引以为傲的深度学习模型在人类婴儿都能轻松完成的找球游戏任务上表现糟糕。研究团队选择了三个主流商业模型进行测试谷歌Gemini-3-Pro、阿里Qwen系列和字节跳动Doubao。这些模型都采用了最前沿的Transformer架构参数量级达到千亿级别在日常图像识别任务中表现出色。然而当面对看似简单的杯子移动追踪测试时它们的准确率仅为33%左右——与随机猜测无异。关键发现当前AI模型在动态视觉追踪任务上的表现远低于2岁人类儿童的水平。这种能力差距不是源于计算资源的不足而是模型架构的固有局限。2. 测试方法创新VET-Bench平台2.1 现有测试的缺陷分析研究团队首先系统性地审查了现有的视频理解测试数据集发现普遍存在三类作弊通道视觉线索泄露部分测试视频中杯子采用透明材质或不同花纹使模型可以通过静态特征而非运动追踪来定位球体答案直接暴露约15%的测试视频在结尾处会短暂展示球体位置运动模式单一大多数测试只包含简单的左右交换缺乏复杂轨迹变化这些缺陷使得模型可以通过走捷径获得高分而无需真正掌握物体追踪能力。2.2 VET-Bench的设计原则研究团队开发的VET-Bench平台遵循三个核心设计原则视觉一致性所有杯子采用完全相同的外观设计材质、颜色、纹理运动复杂性包含线性移动、曲线轨迹、变速运动等多种移动模式完全遮挡球体在移动过程中始终保持完全不可见状态测试平台包含1000个独特测试案例每个案例包含3-5次杯子位置交换移动速度在0.5-2m/s之间变化。这种设计确保模型必须通过持续追踪才能准确定位球体。3. 模型失败原因深度解析3.1 架构性局限当前主流视觉模型基于Transformer架构其核心问题在于时序处理能力薄弱自注意力机制擅长捕捉全局关系但对连续帧间的细微变化不敏感记忆保持时间短标准Transformer的上下文窗口通常限制在32-64帧难以维持长时间的位置记忆空间-时间解耦多数模型单独处理空间和时间维度缺乏真正的时空联合建模3.2 典型错误模式研究观察到三种系统性错误位置猜测偏差模型倾向于预测最后移动的杯子概率42%对中间位置的预测准确率最低仅19%运动幻觉# 典型错误推理示例 if cup_moved_left_to_right: ball_position right_cup # 忽略实际移动轨迹细节丢失模型能识别杯子在移动准确率92%但无法描述具体移动方向和距离准确率28%4. 突破性解决方案SGCoT框架4.1 核心设计思想时空定位思维链(SGCoT)的创新点在于显式位置记录强制模型在每个时间步输出物体的精确坐标轨迹完整性检查引入运动连续性约束排除物理不可能的解多粒度注意力同时处理局部运动细节和全局场景上下文4.2 技术实现细节以Molmo2模型为基础研究团队进行了三项关键修改坐标预测头class CoordinateHead(nn.Module): def __init__(self, dim): super().__init__() self.regressor nn.Sequential( nn.Linear(dim, 128), nn.GELU(), nn.Linear(128, 2) # 输出(x,y)坐标 ) def forward(self, x): return self.regressor(x)轨迹优化模块应用Kalman滤波平滑预测轨迹设置速度阈值排除异常移动联合训练策略第一阶段纯坐标预测MSE损失第二阶段坐标分类联合训练混合损失4.3 性能提升分析SGCoT方法带来了质的飞跃指标基线模型SGCoT提升幅度定位准确率33.2%90.7%173%轨迹误差(pixel)48.66.2-87%推理时间(ms)12014521%值得注意的是性能提升主要来自复杂场景多物体、遮挡情况在简单场景中优势相对较小。5. 行业影响与未来方向5.1 实际应用启示这项研究对多个AI应用领域具有重要警示自动驾驶现有系统可能高估了其对行人轨迹的预测能力建议增加动态物体追踪专项测试工业检测传送带上的缺陷品追踪需要重新评估静态检测准确率不能直接推广到动态场景医疗影像器官运动分析工具可能存在系统性偏差需要开发专门的动态评估协议5.2 未来研究方向基于研究发现建议重点关注架构创新开发具有显式记忆单元的视觉模型探索脉冲神经网络在时序处理中的潜力训练范式设计专门的动态视觉预训练任务开发时空一致性自监督信号评估体系建立分年龄段的AI能力对标标准开发涵盖基础认知能力的综合测试集6. 实操建议与经验分享6.1 模型选型建议对于需要动态视觉能力的应用场景优先考虑具有显式时空建模能力的架构如SGCoT支持长序列输入的模型上下文窗口≥128帧谨慎使用纯基于静态图像预训练的模型缺乏坐标回归能力的分类模型6.2 测试方案设计设计可靠的动态视觉测试时必须包含完全相同的干扰物体随机运动轨迹和速度全程遮挡条件建议指标- 位置准确率5%误差为正确 - 轨迹连贯性得分基于物理约束 - 时间一致性预测结果不应频繁跳动6.3 常见陷阱规避我们在复现实验时总结出以下经验数据准备避免使用游戏引擎生成的过于干净的数据应包含合理的运动模糊和光学畸变模型训练初始学习率不宜超过5e-5需要至少1M以上的训练样本结果评估人工检查至少5%的失败案例注意模型是否在猜模式而非真正追踪这项研究揭示了一个关键认知AI系统的能力评估需要回归基础认知任务。我们在追求复杂功能的同时更应关注模型是否具备了人类婴儿般的基礎视觉理解能力。SGCoT框架的成功表明通过合理的架构设计和训练方法AI完全可以掌握这种基础但关键的认知技能。