来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一个新的诊断性基准MemoBench。世界模型真的拥有记忆吗如果你正把一杯水倒进玻璃瓶然后扭头看了一眼窗外再转回来瓶子里的水位应该已经发生变化。这是任何一个三岁孩子都具备的常识东西不在眼前不代表它消失了更不代表它会停止变化。心理学把这种能力叫做「物体恒存object permanence」是人类最早建立起来的认知能力之一。但对今天最先进的视频生成模型来说这个任务却不简单。过去一年里「世界模型」成为视频生成领域最热的关键词之一。从 Sora 到国产的多款视频大模型厂商们争相强调自己的产品不只是「生成好看的画面」而是在「模拟真实世界的运行规律」。其中世界模型是否具备类似人类「物体恒存」的认知能力正成为衡量建模水平的核心标尺当物体暂时离开视野、并在遮挡期间持续发生物理变化时模型能否记住它的身份、推演它的状态并在它重新出现时准确还原长期以来业界评测始终未能精准检验这一能力绝大多数基准只考核物体持续可见时的帧间一致性少数涉及遮挡的测试也多针对静态场景物体消失期间环境没有任何变化无法验证模型对动态世界的记忆与推演能力。针对这个问题来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一个新的诊断性基准MemoBench。这是首个面向动态环境的「消失-重现」世界建模评测基准并已被计算机视觉顶会 ECCV 2026 接收。其一作 Haoyu Chen 为哈佛大学计算科学与工程专业一年级硕士生师从哈佛大学计算机科学助理教授 Yilun Du。论文标题MemoBench: Benchmarking World Modeling in Dynamically Changing Environments论文地址https://arxiv.org/abs/2606.27537项目主页https://memobench-team.github.io/代码https://github.com/MemoBench-Team/MemoBench数据集https://huggingface.co/datasets/tonyc54/MemoBench该基准以 360 段高质量真值视频为基础搭配自动化指标与语义化 VQA 评估体系系统测试了 10 个主流世界生成模型清晰揭示了当前技术在记忆一致性上的核心短板没有一个的「物体重现得分」超过 0.6满分 1。也就是说没有一个模型能稳定地让消失的物体「记得住、认得出、变得对」。这个结果也让研究团队给出了一个非常直接的核心判断现有视频生成模型即使能生成视觉上完全连贯的画面也几乎无法在物体重新出现时正确恢复它在「消失期间」本该经历的状态变化。这一结论清晰揭示了「生成画面逼真」与「真正理解世界」之间的显著差距也为下一代世界模型的研发提供了可量化的诊断标尺。「记住」世界世界模型的必答题近年来视频生成技术快速迭代模型已经能够生成高分辨率、时序连贯的动态画面也被越来越多地视作「世界模拟器」为自动驾驶、机器人操纵、具身智能等场景提供环境推演能力。但真实世界的运转不会因视线离开而停止冰块会持续融化、火焰会持续燃烧、行人会持续行走、触碰液体的纸张会被持续浸染……MemoBench 数据集中一个来自真实世界的数据样本一个真正合格的世界模型应当具备类似人类「物体恒存」的认知能力即便物体暂时离开视野也能维持对它的身份、位置与状态的表征并正确推演其在遮挡期间的变化。这恰恰是当前评测体系的核心盲区。现有的视频生成基准大多只考核物体全程可见时的帧间一致性少数涉及遮挡的测试也多针对静态场景物体消失期间环境没有任何变化。因此只需还原原有外观即可通过测试完全无法验证模型对动态世界的记忆与推演能力。我们始终无法确认当物体重新出现在画面中时模型是真的「记住并更新了世界状态」还是仅仅「重新生成了一个看起来合理的画面」MemoBench补齐世界建模评测的新基准核心设计「可见-消失-重现」三段式范式现有的视频生成基准如 VBench、WorldScore 等主要评估视觉质量、物理一致性或相机的运动控制。它们几乎只评估「持续出现在画面中」的物体如果偶尔有物体移出画面现有基准也多是在静态场景下进行评估缺乏对遮挡期间动态变化的考察。为了回答这个问题MemoBench 建立了 Visible–Disappear–Reappear可见-消失-重现可缩写为 V-D-R 的核心评测范式用简洁的三段式结构精准探测模型是否维持了对物体的持久状态表征。每一个测试样本都严格遵循统一的物理逻辑可见Visible目标物体完整呈现在视野内并且正处于持续的物理变化过程中比如可能是正在行走的人物、正在融化的冰块、正在倾倒的粉末。模型可以观察到物体的初始状态与变化趋势。消失Disappear相机通过平移、转头、U 型转弯等运动完全移开视线目标物体彻底离开视野。在此期间物理过程不会停止会按照自然规律持续演化。重现Reappear相机转回对应区域目标物体重新进入画面。模型需要准确还原物体更新后的状态包括位置、形态、物理变化进度等与真实演化结果对齐。MemoBench 概述。第 1–2 行展示了一段合成的「可见–消失–重现」序列及其相机轨迹第 3–4 行展示了一段真实世界的状态变化序列粉末倾倒。MemoBench 包含 196 段合成剪辑和 164 段真实世界剪辑通过自动化指标和 LLM 评判的 VQA 进行评估。这个看起来简单的范式考验的是世界模型的核心能力模型不能只是在做逐帧的画面生成而是必须在视野外维护一个持续演化的世界状态。它同时考验视觉记忆、状态更新与动态推演能力是对「真实世界建模水平」的直接检验。数据构建合成场景与真实素材双管齐下基于这一范式MemoBench 构建了合成与真实世界两条并行的数据流水线共包含 360 段 1920×1080 分辨率的高质量 Ground-truth 视频配上完整的几何标注与评测工具合成子集196 段在虚幻引擎 5 中渲染生成覆盖 5 大类环境、14 个子场景包含 U 型转弯、前进移动、头部转动、垂直运动等多种复杂相机轨迹。每段视频都附带逐帧 RGB 图、度量深度图、相机内参与相机位姿能够支撑几何层面的精准评估重点测试大视角变化下的空间记忆能力。合成数据由虚幻引擎 5 渲染的 5 个类别下的 14 个场景真实世界子集164 段在可控室内环境中实拍完成覆盖 7 大类、30 种物理状态变化过程包括溶解、燃烧热变、扩散吸收、化学反应、粘性流动、泡沫演化、力学形变等。这些依赖粘度、弹性、热传导等真实材质属性的过程难以被游戏引擎精准模拟专门用于检验模型对真实物理动态的记忆准确性。真实世界数据在受控室内环境中拍摄涵盖 7 大类别的 30 种物理状态变化过程所有样本都经过人工标注精准标记了物体「完全消失」和「完全重现」两个关键帧用以精确划分可见V、消失D、重现R三个阶段作为后续所有评测指标计算的基础。MemoBench 的数据整编流程怎么打分自动化指标 VQA 双线评测MemoBench 设计了自动化量化指标 VQA 语义评估两套互补的评估方案既看底层像素保真也看高层语义正确避免单一指标的片面性。自动化指标覆盖三大维度所有核心分数均归一化到 0-100 区间考验世界模型的通用视频质量包含视觉质量、运动平滑度、物体身份一致性、3D 几何一致性四项衡量基础生成能力记忆专属指标这是评测的核心。其中物体重现分数ORS通过 SAM-3 文本驱动分割模型检测重现阶段目标物体的存在性与置信度直接衡量模型能否让目标「正确回来」同时包含分阶段的像素级保真度PSNR、SSIM、LPIPS与相机可控性指标可精准定位性能退化的具体环节。提示保真度通过 ImageReward 衡量生成内容与文本提示的匹配程度。VQA 语义评估则聚焦自动化指标难以捕捉的高层语义合理性覆盖四个诊断维度指令遵循是否准确执行提示中的相机运动、物体轨迹与事件顺序物体与背景一致性前后景元素是否存在形态漂移、身份切换、场景突变记忆连续性物体消失期间模型是否维持了它的身份、轨迹与状态是与「消失-重现」范式最直接对应的维度物理合理性运动、重力、光影阴影是否符合物理规律。VQA 评估流程。大语言模型根据提示词和首帧生成 24 个极性平衡的是/否问题每个维度 6 个。问题通过真实标注和失败片段评估进行筛选再由人工审核验证。最终问题库应用于每个生成的视频从而得出四个诊断维度各自的通过率。为了保证评估的可靠性所有问题都经过真值过滤、失败案例过滤与人工交叉验证三轮筛选。最终人工与 VLM 判断的整体一致性达 92.9%Cohens κ 系数为 0.85评估结果具备很高的可信度。当前世界模型的真实水平如何研究团队在 MemoBench 上测试了 10 个当前主流的世界生成模型涵盖相机可控图生视频CI2V、显式 3D 视角合成、普通图生视频I2V三类技术路线得到了一系列关键发现清晰呈现了当前世界建模技术的能力边界。MemoBench 给出的核心结论是当前没有任何一个模型能可靠完成「消失-重现」的记忆任务。所有被测模型的物体重现分数ORS均未超过 0.6在真正执行相机轨迹、让物体实际离开画面的模型中「记忆连续性」维度的语义得分最高也只有 55.6 分满分 10057.0 的 LTX-Video 因相机不动存在虚高问题也就是说即便是最强的模型针对记忆的提问也只能答对一半多一点。在 MemoBench 上对 10 个世界生成模型的自动评估。模型分为 CI2V、基于 3D 和 I2V 三类。↑越高越好↓越低越好。加粗最佳下划线次佳。在 MemoBench 上跨四个语义维度的 VQA 评估。每个维度评分范围为 0–100↑越高越好。模型分为 CI2V、基于 3D 和 I2V 三类。粗体最佳下划线次佳。一旦物体离开画面模型的「记忆」就开始快速退化。重现时的内容要么直接消失要么被随机幻觉替代要么外观还在、状态却完全不对。研究团队把这些失败系统整理成六类物体凭空消失、身份悄悄换人、状态被重置回初始、位置突然跳变、背景被幻觉填充、相机轨迹发生漂移。LingBot-World 的失败分类。这里报告的计数并非互斥因为一个生成的序列可能表现出多种失败类型。其中合成场景里最常见的失败是「背景幻觉」即物体还在但身后的世界已经面目全非真实场景里最常见的则是「身份漂移」即同一个物体消失前后的样子判若两物。这个大盘结论之外评测还揭示了几组值得深入讨论的对照。发现 1「相机不动」会虚高一致性分数传统指标存在盲区最反直觉的发现出现在普通图生视频模型I2V身上。LTX-Video 没有任何相机控制能力但它在运动平滑度、3D 几何一致性、物体身份一致性三项指标上全部排名第一物体重现分数也达到了 0.330。单看数字成绩相当体面但研究团队发现这份「好成绩」的来源非常可疑LTX-Video 几乎不移动相机目标物体从头到尾留在画面里「物体从未消失」自然就「物体从未失忆」。它的高分是用「回避挑战」换来的而非真正的记忆能力。不同模型在冲泡咖啡任务上的生成表现这暴露了一个重要的评测漏洞传统视频质量指标无法区分「在真实视角变化中保持一致」和「靠静止镜头绕开一切挑战」这两种本质不同的情况。MemoBench 专门设计了「相机可控性」和「指令遵循」两个维度来识别这种现象。而在这两项上LTX-Video 的得分排到了最后一档。发现 2能控制相机不代表记得住物体既然静止镜头会「作弊」那支持相机条件控制的模型表现是否就一定更好答案是不一定而且差距相当悬殊。同样接受相机轨迹作为输入五个 CI2V 模型的物体重现分数从 0.266 到 0.582 不等跨度超过一倍。HunyuanWorldPlay 以 0.582 的 ORS 领跑 CI2V 阵营而 HunyuanGameCraft 和 FantasyWorld 的 ORS 只有 0.266 和 0.276后两者的视觉画质评分反而更高。这组数据说明相机能跟着轨迹走和模型脑子里是否维护着「走开之前那个世界的状态」是两件独立的事。镜头控制得再精准也只是「知道该看哪里」不是「记住了那里之前发生了什么」。物体恒存不会作为相机条件生成的副产品自然涌现它必须被显式地纳入训练目标。发现 3几何精确和画面好看往往不可兼得3D 类模型提供了最鲜明的能力分化样本。Stable Virtual Camera 直接以显式相机位姿驱动渲染相机轨迹控制最为精准像素级保真度在所有模型中也最高但它的视觉质量评分偏低画面中容易出现模糊边缘、拼接缝和深度修补错误VQA 语义评分同样靠后。Matrix-Game 2.0 则完全相反画面最锐利、视觉质量最高但相机轨迹经常跑偏同一段轨迹指令它生成的视角和真实路径偏差巨大导致像素保真度和 VQA 得分都落入低位。这两个模型同时站在评测榜单的两个极端共同说明一件事几何准确和画面自然度在当前技术框架下还没有对齐。用画质评分去推断几何精度或者反过来都会得出错误结论。这也是 MemoBench 坚持多维度评测的核心原因用任何单一指标你都只能看见这张地图的一角。发现 4扩大模型不如给它看第一帧论文还披露了一项消融实验结论相当出人意料。研究团队对 Wan2.2 做了两组对照一组把模型参数量从 5B 扩到 14B另一组保持 5B 参数不变但额外提供「可见阶段的第一帧」作为图像条件输入。结果显示加入第一帧条件使 PSNR 提升了约 4.2 dB感知距离LPIPS下降了 0.20而参数扩大近三倍对这两项指标的改善微乎其微。也就是说让模型清楚地「看见」物体的初始状态比单纯堆参数量对记忆任务有用得多。Wan2.2 初始状态条件化与骨干网络容量消融实验结果。基于 50 个片段。「V-frame」指将可见阶段的首帧作为图像条件。这一发现指向了一个重要的设计方向与其追求更大的模型不如在「初始状态如何被编码和保持」这件事上下功夫。十个模型同台竞技四组发现从不同侧面共同指向同一个结论让画面看起来连贯和真正记住世界的状态是两件截然不同的事情。而后者才是世界模型走向真实应用必须跨越的核心门槛。共建世界模型评测标尺MemoBench 揭开的不只是当前技术的短板也是一个长期被忽视的研究方向「动态遮挡下的视觉记忆」第一次有了可量化、可对比、可追踪的评测基础。对于研究者而言这套体系在指出问题的同时也暗示了改进路径持久状态表征的显式建模、以记忆为目标的训练策略、对初始状态感知的强化设计都是接下来值得深耕的方向。目前论文、代码、数据集与公开榜单均已开源研究者可以直接使用评测工具测试自己的模型并将结果提交至排行榜与社区共享进展。榜单地址https://huggingface.co/spaces/tonyc54/MemoBench_Leaderboard从「生成好看的视频」到「维护一个真实的世界」这中间隔着的正是 MemoBench 正在度量的那段距离。它不一定短但现在至少有了刻度。