现有评测难题待解过去一年“世界模型”成视频生成领域热门关键词厂商强调产品要“模拟真实世界的运行规律”世界模型是否具备“物体恒存”认知能力成为衡量建模水平的核心标尺。然而长期以来业界评测未能精准检验这一能力绝大多数基准只考核物体持续可见时的帧间一致性少数涉及遮挡的测试也多针对静态场景无法验证模型对动态世界的记忆与推演能力。MemoBench 应运而生针对上述问题来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出新的诊断性基准 MemoBench这是首个面向动态环境的“消失 - 重现”世界建模评测基准并已被计算机视觉顶会 ECCV 2026 接收。其一作 Haoyu Chen 为哈佛大学计算科学与工程专业一年级硕士生师从哈佛大学计算机科学助理教授 Yilun Du。该基准以 360 段高质量真值视频为基础搭配自动化指标与语义化 VQA 评估体系系统测试了 10 个主流世界生成模型揭示了当前技术在记忆一致性上的核心短板没有一个模型的“物体重现得分”超过 0.6满分 1无法稳定地让消失的物体“记得住、认得出、变得对”。这表明现有视频生成模型即便能生成视觉连贯画面也几乎无法在物体重新出现时正确恢复其在“消失期间”的状态变化揭示了“生成画面逼真”与“真正理解世界”的显著差距为下一代世界模型研发提供了可量化的诊断标尺。核心设计三段式范式考验模型能力MemoBench 建立了 Visible–Disappear–Reappear可见 - 消失 - 重现可缩写为 V - D - R的核心评测范式用三段式结构精准探测模型是否维持了对物体的持久状态表征。每个测试样本遵循统一物理逻辑可见阶段目标物体完整呈现在视野内且处于持续物理变化中模型可观察其初始状态与变化趋势消失阶段相机移开视线目标物体离开视野物理过程按自然规律持续演化重现阶段相机转回目标物体重新进入画面模型需准确还原其更新后的状态。这一范式考验世界模型的核心能力是对“真实世界建模水平”的直接检验。数据构建合成与真实素材并行基于上述范式MemoBench 构建了合成与真实世界两条并行的数据流水线共包含 360 段 1920×1080 分辨率的高质量 Ground - truth 视频配上完整的几何标注与评测工具。合成子集有 196 段在虚幻引擎 5 中渲染生成覆盖多种环境和场景附带多种数据能支撑几何层面精准评估重点测试大视角变化下的空间记忆能力真实世界子集有 164 段在可控室内环境中实拍完成覆盖多种物理状态变化过程用于检验模型对真实物理动态的记忆准确性。所有样本都经过人工标注标记关键帧划分三个阶段作为评测指标计算的基础。双线评测确保评估全面可靠MemoBench 设计了自动化量化指标 VQA 语义评估两套互补的评估方案。自动化指标覆盖通用视频质量、记忆专属指标、提示保真度三大维度所有核心分数均归一化到 0 - 100 区间。VQA 语义评估聚焦高层语义合理性覆盖指令遵循、物体与背景一致性、记忆连续性、物理合理性四个诊断维度。为保证评估可靠性所有问题都经过三轮筛选最终人工与 VLM 判断的整体一致性达 92.9%Cohens κ 系数为 0.85评估结果可信度高。评测结果暴露模型真实水平研究团队在 MemoBench 上测试了 10 个当前主流的世界生成模型得出核心结论当前没有任何一个模型能可靠完成“消失 - 重现”的记忆任务。所有被测模型的物体重现分数ORS均未超过 0.6在真正执行相机轨迹的模型中“记忆连续性”维度的语义得分最高也只有 55.6 分。物体离开画面后模型“记忆”快速退化重现内容存在多种失败情况合成场景常见“背景幻觉”真实场景常见“身份漂移”。对照发现揭示评测与模型问题评测还揭示了几组对照发现。一是“相机不动”会虚高一致性分数传统指标存在盲区如 LTX - Video 靠静止镜头获得高分暴露了传统视频质量指标无法区分不同情况的问题MemoBench 专门设计维度来识别这种现象二是能控制相机不代表记得住物体五个 CI2V 模型的物体重现分数差距悬殊说明相机控制和模型记忆是两件独立的事物体恒存需显式纳入训练目标三是几何精确和画面好看往往不可兼得3D 类模型中Stable Virtual Camera 相机轨迹控制精准但视觉质量评分低Matrix - Game 2.0 画面视觉质量高但相机轨迹跑偏说明当前技术框架下几何准确和画面自然度未对齐四是扩大模型不如给它看第一帧消融实验表明让模型清楚“看见”物体初始状态比单纯堆参数量对记忆任务更有用。评测意义指明研究改进方向MemoBench 揭开了当前技术的短板为“动态遮挡下的视觉记忆”这一长期被忽视的研究方向提供了可量化、可对比、可追踪的评测基础。对于研究者而言它指出问题的同时暗示了改进路径如持久状态表征的显式建模、以记忆为目标的训练策略、对初始状态感知的强化设计等。目前论文、代码、数据集与公开榜单均已开源研究者可使用评测工具测试模型并共享进展。从“生成好看的视频”到“维护一个真实的世界”MemoBench 正在度量这段距离让其有了刻度。