这项由香港科技大学、蚂蚁集团、浙江大学及香港中文大学联合完成的研究以预印本形式于2026年7月2日发布在arXiv平台编号为arXiv:2607.02517。感兴趣的读者可通过该编号查阅完整论文。你有没有遇到过这样的情况看一部电影主角刚走出画面下一秒镜头转回来演员的脸却换了一个人当然正规电影不会犯这种低级错误但如果是AI生成的视频呢这恰恰是当前AI视频生成技术的一块大短板——AI导演往往患有脸盲症一旦某个角色走出画面再回来时就认不出来了。更麻烦的是现有的AI视频系统就像一个只会盯着当前屏幕的监控摄像头——它只处理眼前的画面对于已经离开画面的角色完全无法追踪其后续的运动和变化。于是当摄像头重新转回那个角色时AI给出的结果往往是要么人物静止不动仿佛时间冻结要么容貌大变变成了另一个完全不同的人要么直接凭空消失。这个问题正是这篇论文要正面解决的核心挑战。研究团队将他们的解决方案命名为**WorldDirector**——一个字面意思为世界导演的系统。这个名字起得相当贴切它的目标就是让AI不再只是被动录制画面而是像真正的电影导演一样掌控整个场景中每一个角色的运动轨迹并确保无论镜头转向何处所有角色都保持着完整而连续的生命状态。**一、现有AI视频系统的失忆症从何而来**要理解WorldDirector的突破首先得弄清楚现有系统为何会失忆。把现有的AI视频生成模型想象成一个短期记忆极差的画家。你告诉他画一个走路的女人和一辆静止的跑车他能画出来。但如果女人走出了画面边缘你再问他女人现在走到哪里了他根本答不上来——因为他只记得眼睛能看到的对于已经离开视野的事物他的记忆中就只剩一片空白。现有的AI视频模型基本上都工作在这种模式下它们把角色在哪儿和画面长什么样这两件事混在一起处理。角色的位置信息、运动轨迹、外貌细节全都被压缩进同一套神经网络权重里。这种一锅炖的方式在短片段内还勉强可以应付但一旦角色离开画面超过一段时间这套系统就会丢失关于该角色的一切信息导致再次出现时要么凭空编造一个新的样子要么直接让角色冻结在它最后一次被看见的状态。研究团队把这个核心问题归结为两个必须同时满足的条件第一角色必须有独立运动的意志也就是说即使摄像机没有看着它它也应该按照物理逻辑继续移动第二系统必须保证外貌一致性无论角色消失了多久再次出现时必须是同一张脸、同一身衣服、同样的特征细节。这两个条件缺一不可缺了任何一个都称不上真正的世界模拟。**二、把导演大脑和摄影机彻底分开**WorldDirector最核心的设计思路可以用电影制作的比喻来理解。传统AI视频模型就像一个导演和摄影师合二为一的人——他既要规划剧情走向又要实时操作摄像机拍摄画面结果两件事都做得不够好。WorldDirector则把这两个职责彻底拆开一个大语言模型LLM就是那种能聊天的AI充当导演大脑专门负责规划所有角色的三维运动轨迹另一套视频生成模型充当摄影机专门负责按照导演的指示渲染画面。导演大脑的工作方式是这样的给定一张初始画面系统会识别出画面中所有感兴趣的动态对象——比如一个女人和一辆跑车。然后用户可以用文字描述自己想要的场景剧本比如女人向前走摄像机向右旋转然后跑车开始向前驶去。大语言模型接收到这个描述后会将其翻译成精确的三维坐标轨迹每一帧每个对象应该在三维空间中的哪个位置朝向哪个方向。这些三维轨迹再被投影到二维图像平面上生成每一帧画面中每个对象应该出现的边界框可以理解为一个标注了物体位置和大小的矩形框。这套二维边界框序列就成为视频生成模型的位置指令告诉摄影机这个角色在这帧应该出现在画面的这个区域那个角色在那帧应该出现在那个位置。这种分离的好处是显而易见的。无论摄像机在看哪里导演大脑中存储的三维轨迹都在持续更新记录着每一个角色此刻应该在什么位置。当镜头重新转向某个角色时系统精确知道它此时应该在哪里不会因为没看见就忘记它的存在。**三、给每个角色颁发视觉身份证**知道角色在哪儿是一回事让它看起来还是同一个人又是另一回事。为此研究团队设计了一套叫做外貌绑定Appearance Binding的机制你可以把它理解为给每个角色颁发了一张视觉身份证。具体来说系统会维护一个外貌条件视频。对于画面中的每一个动态对象系统会从之前已经生成或看到的视频帧中找出该对象的历史外貌图像裁剪出来然后精确地放置在当前帧中该对象应该出现的位置上。这样即使角色已经消失了很长时间当它重新出现时系统手里握有的参考图像会清楚地告诉视频生成模型这个位置要出现的角色应该长这个样子。不过这里有一个微妙的问题需要处理。如果系统在每一帧都给角色提供一张完全详细的参考图像那么生成的角色就会像一张照片被强行贴到视频里一样——缺乏自然的动态感走起路来像在滑翔而非真正地迈步。为了解决这个问题研究团队引入了一个叫做时间丢弃机制Temporal Drop Mechanism的设计。这个机制的逻辑是当角色刚进入画面的前16帧系统会密集地提供外貌参考帮助模型迅速锁定该角色的外貌特征之后系统故意开始稀疏化参考频率每隔6帧才提供一次外貌参考其余帧则留给模型自己根据运动轨迹和文字描述来合成动作。这个信息瓶颈设计迫使模型在保持外貌一致的同时也必须根据角色的语义描述比如正在行走来生成真实的肢体动作而不是简单地把参考图像平移过去。**四、串联历史记忆的上下文胶水**WorldDirector采用了一种叫做因果分块生成的架构。把整段视频想象成一串香肠每一节香肠就是一个5秒的视频片段块。系统先生成第一块再生成第二块再生成第三块依次推进。每次生成新的一块时系统都需要参考之前已经生成的内容以保证前后的连贯性。这个参考机制被称为上下文记忆Contextual Memory。具体实现上系统会从之前生成的视频帧中用两套并行的策略挑选出最有价值的10帧作为参考一套策略专门挑选与当前摄像机视角重叠度最高的帧保证静态背景的一致性另一套策略专门挑选包含最多动态角色信息的帧保证动态对象的一致性。这两套策略挑出的帧被交错合并去掉重复的并确保彼此之间至少间隔4帧避免挑出的帧都集中在某一个时刻最终形成一组时间分布均匀、内容全面的记忆快照。这些记忆帧被拼接在当前待生成视频片段的前面一同输入到视频生成模型中。为了防止记忆帧被当前正在进行的噪声渲染过程污染系统对记忆帧施加了一种单向注意力遮罩记忆帧只能关注自身不能被当前带噪声的生成帧所影响但当前的生成过程可以充分参考记忆帧的干净信息。此外记忆帧在时间编码上被故意打上一个远超训练序列长度的偏移量让模型在频率空间上清楚地区分这是历史那是当下。**五、让文字描述精确落地的空间导航系统**还有一个重要细节当用户给不同角色分别指定不同的行为描述时比如女人快步走跑车缓慢行驶系统如何确保快步走这个描述只影响女人而不会扩散到跑车上研究团队采用了一种叫做空间感知加权交叉注意力的机制。在视频生成过程中画面被分解成许多小的视觉token可以理解为画面的小碎片。系统会识别出哪些视觉token落在哪个角色的边界框内然后在计算文字描述与画面关系时对属于某个角色区域内的视觉token与该角色专属文字描述之间的关联权重进行额外加强。这样关于女人的文字描述就会在女人所在的画面区域内产生更强的影响而不会跑偏到跑车所在的区域去影响跑车的表现。这有效防止了语义泄漏——避免出现跑车突然变得像人一样走路的荒诞情况。相机运动的处理同样经过精心设计。系统将所有历史帧和当前生成帧的相机姿态都转换为相对于当前块第一帧的相对坐标使用一种叫做Plücker坐标的数学表示来编码相机的内参和外参然后将这些相机运动信息以自适应归一化层的形式注入到视频生成模型的每一个处理模块中让模型始终清楚当前的视角是如何变化的。**六、数据从哪里来用游戏世界造训练素材**训练这样一个系统需要大量包含角色走出画面然后重新出现场景的视频数据而现实世界中这类视频极为稀缺。研究团队的解决方案是用游戏引擎生成这些数据。他们搭建了一个游戏平台专门生成时长15秒的视频并在脚本中故意安排角色消失和重新出现的场景同时记录精确的摄像机参数和角色位置信息。每段视频中他们挑选一个5秒的训练窗口这个窗口被专门选取为包含最多新出现对象的时段即那些在第一帧还不在画面里、但后来出现的对象以专门训练模型处理重现场景的能力。剩余的10秒则作为候选池用来提供历史外貌参考和上下文信息。接下来他们用SAM3一个强大的视频目标跟踪工具来自动标注每个对象在每一帧中的位置边界框其强大的重识别能力能够在对象暂时消失后再次出现时仍然准确对应上同一个体。然后将独特的颜色标记叠加在每个对象上再把这些带颜色标注的视频输入到Qwen2.5-VL-72B一个强大的视觉语言模型中为每个对象的行为动作生成详细的文字描述形成训练所需的文字-视频对数据。**七、实验结果数字与画面都说话**研究团队构建了一个包含100段视频的测试集这些视频中的场景和角色在训练时从未见过。评估从多个维度展开像素级重建质量PSNR、SSIM、LPIPS三个指标分别衡量峰值信噪比、结构相似度和感知差异、帧级别的主体和背景一致性来自VBench评测框架以及专门针对动态对象的动态主体一致性DSC——这个指标会把检测到的动态对象区域裁剪出来分别用DINO和CLIP两种视觉特征计算前后帧之间的相似度直接衡量角色重现时是否还认得出是同一个人。与五个主流的对比方法相比——包括Yume 1.5、HY-World 1.5、Infinite World、LingBot-World-Fast和HyDRA——WorldDirector在像素级重建的三个指标上全面领先PSNR从其他方法的13至14点区间一举跃升至18.127SSIM达到0.502LPIPS则降至0.359这个指标越低越好。在动态主体一致性上WorldDirector的DSC-DINO达到0.769DSC-CLIP达到0.917同样是所有方法中最优秀的。值得一提的是Yume、HY-World和Infinite-World在VBench的主体一致性和背景一致性指标上数值较高但研究团队指出分析生成的视频后发现这些方法之所以数值高是因为它们根本就没有让角色和摄像机做太多运动——画面基本上静止不动当然一致性就高了。这就好比说一个静止的摄像头拍出来的画面一致性最高——当然是因为什么都没动。而WorldDirector在产生高度动态运动的同时依然维持了出色的一致性这才是真正有意义的成就。定性对比同样清晰。研究团队设计了一个测试场景一个男人原地站立然后向远处走去同时摄像机先向左旋转让男人离开画面之后再转回来让男人重新进入视野。Yume、HY-World和Infinite-World三个方法都让男人一直保持静止完全没有按照描述走起来。LingBot-World虽然让男人动了起来但在外貌细节上随着时间推移出现了明显退化。HyDRA更直接——它干脆在男人重新进入画面时生成了一个全新的、和之前完全不同的人。唯有WorldDirector准确执行了脚本设计男人在整段视频中保持了相同的外貌并且按预期完成了走出画面、在不可见区间继续前行、再次回到视野的完整动作。**八、消融实验每一块都不可缺少**研究团队还做了一系列消融实验验证各个设计组件的必要性。第一组实验去掉了外貌条件Appearance Condition只保留位置信息。结果模型在动态对象重新出现时出现了严重的身份丢失——它不知道重新出现的角色应该长什么样只能胡乱生成一个看起来相似但并非同一人的形象。这验证了显式注入外貌参考的必要性。第二组实验保留了外貌条件但改为用自注意力路由的方式强化当前帧和历史帧中同一身份对象之间的注意力权重而不引入额外的外貌参考通道。结果虽然颜色风格比如衣服颜色大体保持了一致但精细纹理完全模糊整个画面充满伪影质量极差。研究团队分析认为这是因为在训练数据中静态背景占据了绝大多数像素MSE损失被背景主导模型根本学不到如何在小的动态区域上保持高保真的细节一致性。第三组实验去掉了动态上下文即只保留静态场景帧作为历史记忆不专门挑选包含动态对象的历史帧。结果即使有外貌条件的帮助模型在处理重现角色时身份保持能力也明显下降——它会生成语义上相似但并非同一个体的角色。这说明历史动态帧的记忆对于认出重现角色同样不可或缺。第四组实验去掉了时间丢弃机制改为每一帧都提供完整的密集外貌参考。结果角色动作出现了严重的滑翔效应——角色像一张照片被平移一样看起来没有真正在走路而是在地面上滑行。这证明时间丢弃机制是让角色自然运动、而非僵硬移动的关键。**九、可编程世界事件让全新角色凭空出现**WorldDirector还支持一种特别有趣的功能——可提示世界事件Promptable World Events。这意味着系统并不局限于初始画面中已经存在的角色用户可以在故事脚本中凭空定义全新的角色给它起个描述比如一匹骏马设定它从哪个方向进入画面规划它进入后的运动轨迹然后系统就会在指定时刻让这匹马自然地出现在画面中并在它第一次出现后将其外貌纳入外貌条件池确保它后续每次出现都还是同一匹马。论文中展示了一个例子画面从一片空旷的沙漠场景开始然后在不同时刻陆续出现了骆驼、一辆卡车和一个人物每个新角色都按照预设轨迹运动整个序列长达560帧各角色和场景的一致性都得到了很好的维持。这种能力让系统不再只是续写已有视频而是真正成为一个可以编排全新世界事件的导演工具。此外系统还支持灵活的视角切换。研究团队展示了两种场景一种是全程跟随一只奔跑的狗进行第三人称追踪同时完成360度全景旋转另一种是前两个块保持第三人称跟拍人物第三个块切换为第一人称视角镜头从角色身上分离并开始独立向后移动。这两种模式都通过调整摄像机轨迹与角色轨迹的相对关系来实现切换自然流畅。**十、坦诚的局限与未来方向**研究团队坦承WorldDirector目前存在一个明显的局限性训练数据主要来自游戏引擎而游戏画面与真实世界视频之间存在域间隔阂。这导致生成结果有时会出现不太自然的运动方式如人物走路姿态略显机械或面部细节模糊的问题。未来计划引入真实世界数据集来弥合这一差距提升生成内容的视觉真实感。在技术实现层面整个训练过程在64块NVIDIA A10080GB显存GPU上运行分布在8个计算节点上采用全分片数据并行FSDP和激活检查点技术来管理显存。训练视频分辨率为832×480像素帧率16fps上下文长度固定为10帧使用AdamW优化器以每批64个样本、学习率1×10??进行3000步训练总耗时约72小时。说到底WorldDirector在AI视频生成这条路上解决了一个长期被忽视却又根本性的问题让AI真正记住视频世界中的每一个角色不管它走到画面外的哪个角落。这件事的意义对于游戏、电影制作、虚拟现实等领域来说都相当实在——当AI开始能够维护一个持久存在、物理一致的虚拟世界时交互式叙事、游戏场景生成、影视预可视化等应用才能真正站得住脚。从这篇研究可以提炼出一个核心命题将规划谁在哪里和渲染它长什么样这两件事彻底分开处理比把它们混在一起要高明得多。这个思路本身并不复杂但要把它做好需要每一个环节都精确配合——大语言模型的轨迹规划、外貌绑定的参考机制、时间丢弃的信息瓶颈设计、双流上下文检索以及空间感知的文字路由每一块都不能少。有兴趣深入了解技术细节的读者可以通过arXiv编号2607.02517查阅完整论文。QAQ1WorldDirector与普通AI视频生成模型相比核心区别是什么A普通AI视频模型把角色的位置、运动和外貌全部混在一起学习一旦角色离开画面就无法追踪再次出现时会变成另一个人或直接静止不动。WorldDirector则将角色在哪里运动和画面长什么样彻底分开处理——先用大语言模型规划三维轨迹再把轨迹作为指令传给视频生成模型渲染画面同时通过外貌绑定机制保存每个角色的视觉特征确保重新出现时仍是同一个角色。Q2WorldDirector的外貌绑定机制为什么要故意减少参考图像的频率A如果每一帧都提供完整的外貌参考图模型会倾向于把参考图像直接平移过去角色看起来像在滑翔而非真正走路。时间丢弃机制让系统在角色出现的前16帧密集提供参考帮助锁定外貌之后每6帧才提供一次。这个信息瓶颈迫使模型必须根据运动轨迹和文字描述自己合成动作从而产生自然的肢体运动而不是僵硬的图像平移。Q3WorldDirector能否让初始画面中没有出现过的全新角色也出现在视频里A可以。这就是论文中所说的可提示世界事件功能。用户可以在大语言模型的规划脚本中定义全新角色指定它的外观描述、进入画面的时机和运动轨迹。当该角色第一次进入画面时系统会根据文字描述生成它的样子之后将其外貌纳入外貌条件池确保后续每次出现都保持一致的视觉身份实现真正开放式的世界事件编排。