这项由盛趣游戏旗下Alaya Lab团队完成的研究以预印本形式于2026年7月7日发布在arXiv平台论文编号为arXiv:2607.06291v1研究方向归属于计算机视觉领域。感兴趣的读者可通过该编号在arXiv上查阅完整论文。**游戏世界为什么这么贵、这么难改**做过游戏、玩过游戏或者只是旁观过游戏开发过程的人多少都会有一个感受一款3D游戏的世界为什么那么精细却又那么死板每一棵树、每一栋建筑、每一套怪物的行为逻辑背后都是一群美术、程序、策划日以继夜的劳动成果。更让人头疼的是这些内容一旦做进去要修改就得把整条流水线重新走一遍。想在已经上线的游戏里换个地图风格或者临时加一种新的战斗技能成本之高往往超出普通玩家的想象。Alaya Lab的研究者们想换一种思路既然AI已经能够生成逼真的视频能不能让AI直接演出游戏世界而不是由人类一笔一笔地画出来玩家往前走一步AI就预测下一帧画面应该是什么样玩家挥剑攻击AI就根据这个动作即时渲染出对应的效果。这样的系统不需要预先设计好每一个角落世界是在玩家探索的过程中被生成出来的。这套系统被命名为**AlayaWorld**它是一个完整的开源框架覆盖了从数据准备、模型训练、推理加速到实际部署的全流程。更重要的是它能够在普通电脑上以720p分辨率、每秒24帧的速度实时运行让玩家真正感受到即时生成的世界。---一、先理解这件事到底难在哪里用一个贴近生活的类比来铺垫一下背景会更容易理解普通的视频生成有点像让厨师按照固定菜谱做一道菜菜谱写清楚了端出来的东西也基本是确定的。但交互式的游戏世界生成更像是一位厨师在一场完全即兴的烹饪秀里根据现场观众随时喊出的要求——加辣换成素食来点汤——当场调整下一道菜而且每一道菜都要和前面的风格、口味保持连贯不能忽咸忽淡。研究团队把这件事面临的困难拆解为四个核心问题。第一个问题叫**控制**玩家能不能真正自由地探索和行动不是只能往前走而是可以随时转弯、可以施法、可以召唤怪物行为不应该被预设的物理规则所约束。第二个问题叫**一致性**如果玩家在某个地方看到了一座古庙离开之后绕了一圈再回来那座古庙还应该是同一座而不是突然变成了一片草地。这听起来理所当然但对AI来说非常困难——它记住已经生成过的画面本身就是一项艰巨的工程。第三个问题叫**稳定性**AI生成视频的方式是自回归的也就是说每一帧都是根据前面的帧预测出来的。就像传话游戏一样一开始传出去的信息只有轻微失真但经过几十次、几百次的传递最终可能面目全非。如何让AI在生成了几分钟甚至更长的视频之后画面质量依然不崩塌是一个真实存在的技术难题。第四个问题叫**实时性**前面三个问题如果都解决了但系统每生成一秒的画面需要等待十秒那对于玩游戏来说依然毫无实用价值。系统必须足够快快到玩家感觉不到延迟。AlayaWorld的整个设计思路都是围绕着回应这四个问题展开的。---二、玩家怎么控制这个世界摄像机与文字指令游戏里的移动本质上是摄像机视角的变化——你往前走意味着镜头向前推进你转头意味着镜头跟着旋转。让AI理解并执行这些摄像机指令是解决控制问题的第一步。研究团队梳理了学术界在这个方向上积累的三类方法最终选择了一种兼顾精准性和效率的组合方案。第一类方法是把摄像机参数直接当成一个条件信号喂给AI。打个比方就像给厨师一张纸条上面写着今天要做偏甜的然后让厨师自己理解这意味着什么、怎么体现在菜里。斯坦福等机构提出的CameraCtrl就是这个思路用一种叫做普吕克射线嵌入的数学工具把摄像机的位置和朝向编码成数字再注入到AI模型的注意力层里。这类方法灵活但AI能不能准确读懂这张纸条取决于它训练得够不够好。第二类方法是把摄像机的几何信息直接嵌入到AI模型的内部结构里。这就像是直接改造厨师的大脑让他天生就对甜度信号特别敏感而不是靠后天的文字指示。华为等机构提出的PRoPE方法把摄像机的视锥包括内参和外参编码成一种投影相对位置编码让AI在处理每一个图像区域时都天然考虑到该区域的几何位置。还有一种思路是用一种叫AdaLN的轻量级归一化调制方式把摄像机信息注入到AI的特征层中计算开销极小。第三类方法是最直觉化的先把场景的三维结构估计出来按照玩家要去的视角重新渲染一张参考图再让AI以这张参考图为基础进行生成。英伟达提出的GEN3C就是这个思路——维护一个三维点云缓存每次生成新画面时先从这个缓存里渲染出当前视角下的参考画面AI只需要负责补全那些参考图里看不到的部分比如被柱子遮挡的墙角。这种方法控制最精准但计算链路更长。AlayaWorld的选择是把第二类和第三类组合起来。一方面维护一个三维缓存并按玩家的目标视角渲染出参考画面给AI提供具体、直观的视觉证据另一方面通过轻量的AdaLN调制方式向AI骨干网络注入摄像机信息让模型在内部也具备视角感知能力。这两条路径分工明确三维缓存负责你之前看到过什么、现在从这个角度看应该长什么样AdaLN调制负责你当前的摄像机姿态是什么。两者相互配合既保证了视角跟随的精准度也避免了过重的计算负担。除了摄像机的移动AlayaWorld还支持另一种更自由的交互方式——**文字指令驱动的即时动作**。玩家可以在游戏进行中随时输入新的文字描述比如召唤一条火龙或者开始下雨系统会在当前生成片段结束之后的下一个片段里切换到这个新的文字描述来生成内容而不需要把整个游戏视频从头重新生成一遍。这个机制被称为提示词切换在技术层面它和一些图像编辑工作中的注意力层提示词编辑思路是一脉相承的。这意味着玩家的每一次文字指令都能在不到一秒的延迟后反映在画面上真正实现了说什么、生什么的即时交互。---三、如何让AI记住它之前生成的世界现在来到一致性问题也就是那个离开再回来古庙还是古庙的难题。AI生成视频时的基本工作方式是每次看到最近的一小段视频然后预测下一段。就像一个厨师只能记住最近三道菜的味道然后决定下一道菜的调味——如果他在第一道菜里放了很多花椒但第三道菜之后这段记忆就过期了等玩家绕了一大圈回到同一个地方他早就忘了那里应该是什么风格。研究团队把解决这个问题的各种方法按照用什么方式索引历史记忆分成了两大类。**按时间索引的记忆**是按照先后顺序来保存历史离现在越近的帧被记住的可能性越高时间越久远的帧越容易被遗忘。这类方法的代表包括直接把过去的帧全部保留代价是随着时间推移内存会越来越大、把历史帧压缩成一个紧凑的摘要比如FramePack这类方法把大量历史信息打包进一个固定大小的预算里、以及通过一种叫状态空间的循环计算结构隐式地传递历史信息。这类方法擅长维持短期的动态流畅性但对于玩家离开很久之后再返回这种场景时间越久遗忘越多本质上无法保证一致性。**按空间索引的记忆**则是按照在哪里看到的来组织历史同一个地点的记忆无论是多久以前观察到的都应该可以被找到并拿来参考。这类方法里比较轻量的是WorldMem把历史帧和对应的摄像机位姿一起存储用空间重叠程度来检索更重量级的是GEN3C这类基于三维点云的方案把过去生成过的每一帧都反投影到三维空间形成一个持续更新的三维场景缓存下次访问同一位置时就从这个缓存里渲染出参考图。AlayaWorld的选择是把这两类记忆机制结合起来使用。三维缓存负责空间层面的持久性——哪里有一根柱子、哪里有一片水池这些几何和外观信息被锚定在空间坐标里不会随时间流逝而消失。但三维缓存有一个天然的局限它只能记住静态的结构记不住动态的变化——比如刚才在广场里奔跑的一群NPC或者刚刚发生的一场爆炸效果。为了补齐这个短板研究团队额外引入了一个历史帧压缩模块参考了Frame Preservation这一方法把最近一段时间的帧历史压缩成一个轻量的嵌入向量专门用来捕捉近期的动态变化和全局叙事连贯性。两套机制各司其职共同构成了AlayaWorld的记忆系统。---四、如何防止AI在长时间运行后越走越偏稳定性问题或者说长时间生成不崩塌的问题其根源在于一种叫做**暴露偏差**的现象。训练AI的时候研究者们给它展示的都是干净、高质量的视频帧——相当于让厨师在练习时用的都是最好的食材。但实际使用中AI会基于自己之前生成的帧来预测下一帧——那些帧已经包含了一定程度的误差和瑕疵相当于厨师突然被要求用自己上一道菜的残渣来做下一道菜。随着时间推移误差像滚雪球一样越来越大画面逐渐偏离正常轨道出现模糊、重复、风格漂移等各种问题。学术界对这个问题提出过多种应对方向。一种是改变训练方式——让AI在训练阶段就接触自己生成的、带有瑕疵的帧而不是只看干净的标准答案从而学会在不完美的输入条件下也能输出稳定的画面这叫Self-Forcing。另一种更系统的方案叫做错误回收微调专门收集AI在长时间运行中积累的误差把这些误差作为带标签的扰动样本注入训练流程让AI学会识别并纠正这类误差。还有一种思路是从生成调度上入手——不严格按照时间顺序一帧接一帧地生成而是先生成稀疏的关键帧作为锚点再填充中间帧这样误差不会无限制地向后传播。AlayaWorld的应对策略基于Helios这项研究的思路把稳定性作为一个**训练时的鲁棒性问题**来处理。研究团队在训练中主动向AI展示已经发生漂移的历史帧让模型习惯于在不完美的历史记录下继续生成合理的内容。更进一步AlayaWorld引入了一个**错误银行**机制把AI在长时间运行中积累的各种典型误差收集起来保存成一个错误库在训练时把这些误差样本随机注入到训练数据的记忆条件和预测目标中。与一些只把错误注入预测目标的方法不同AlayaWorld同时把错误注入了记忆条件和预测目标——这模拟的是更真实的推理场景不仅要预测的内容本身可能有误差连用于条件的历史帧也可能是有问题的。通过这种双向训练模型不仅学会了如何从一个干净的状态继续前进也学会了如何在一个已经有点乱的状态下稳住。---五、怎么让这一切跑得足够快前面讲的三个问题都关乎生成内容的质量。但再好的内容如果需要等待十秒才能看到一秒的画面对于交互式游戏来说也是毫无意义的。实时性是把以上所有技术变成可玩产品的最后一道关卡。研究团队把实时性分成了两个维度的延迟来分别处理。第一个维度是**视觉延迟**也就是从系统决定生成到画面出现在屏幕上需要多长时间。降低视觉延迟的核心手段是减少每次生成所需的计算步骤。扩散模型Diffusion Model的工作原理是从一张随机噪声图开始反复去噪几十步甚至上百步才能得到最终的清晰画面——每一步都需要一次完整的模型计算步骤越多越慢。为了解决这个问题研究者们发明了一类叫做知识蒸馏的技术用一个慢但高质量的教师模型来指导训练一个快但同样高质量的学生模型让学生模型只需要四步甚至一步就能达到教师模型几十步的效果。AlayaWorld采用了其中一种叫DMD的分布匹配蒸馏方法把每个片段的生成步骤压缩到四步这是实现实时渲染的关键技术基础之一。第二个维度是**语义延迟**也就是玩家输入了新的指令之后画面需要多长时间才能反映出来。对于流式生成的系统来说如果AI正在生成一段很长的视频片段那么新指令就只能等到整段视频生成完之后才能被采纳这段等待时间就是语义延迟。AlayaWorld的解决方案是让每次生成的片段非常短——大约一秒钟的视频对应一个生成单元——这样玩家的新指令最多只需要等待一个片段的时间就能生效。再配合前面提到的提示词切换机制在片段边界直接替换文字条件而不重新生成整个序列交互的响应速度就能真正达到说变就变的程度。整套运行配置是这样的AlayaWorld在LTX-Video 2.3这个开源视频生成模型的基础上进行了微调以720p分辨率、24帧每秒的速度进行自回归生成每个片段对应约一秒的视频每次生成使用四步去噪整体延迟控制在可交互的范围内。---六、实际效果怎么样研究团队对AlayaWorld进行了多个维度的验证并与目前其他代表性的交互式世界模型进行了对比。在摄像机控制方面研究者展示了在多种不同场景下包括室内、室外、第一人称和第三人称视角的生成效果AlayaWorld能够准确跟随指定的视角运动同时保持场景的几何合理性和外观连贯性不会因为视角变化而出现建筑物扭曲或地面穿帮。在即时动作方面研究者展示了通过切换文字指令来触发不同事件的效果包括在沙漠场景中触发法术光效、在寺庙前召唤效果以及切换到不同的天气和氛围。切换发生在片段边界过渡平滑不影响已经生成的内容。在一致性对比方面研究团队设计了离开再返回的轨迹测试让摄像机先离开一个区域经过若干个片段的探索后再回到原地观察返回时的场景是否与离开前一致。与Hunyuan-World 1.5和LongStar-Post等对比模型相比AlayaWorld在返回时能保持更高程度的几何布局和纹理一致性其他模型则表现出不同程度的场景重塑现象——比如家具位置改变、画作内容变化等。在长时程生成方面研究者展示了连续生成一分钟视频的效果覆盖多个不同场景的切换视觉质量在整个过程中保持稳定没有出现明显的模糊化或重复帧现象。还有一项颇为直观的演示研究者让完全相同的导航轨迹在七种不同的视觉风格下分别生成包括真实感风格、我的世界像素风、水墨画风、油画风、赛博朋克风、像素艺术风以及塞尔达传说风格。结果显示尽管七个版本的画面风格差异极大但场景的几何结构、摄像机路径和语义内容高度一致——同一棵树出现在同一个位置同一条路以同样的走向延伸只是穿了不同的衣服。这说明AlayaWorld的控制信号能够跨风格稳定地起作用不会因为换了画风就丢失对内容的把控。---七、这个项目的开放程度和未来计划AlayaWorld定位为一个全栈、开源、长期维护的项目意图为视频世界模型这个领域提供一个可复现的基础平台。全栈意味着它覆盖了从原始视频数据的清洗和标注到模型架构设计、分布式训练配置、推理加速实现再到实际部署服务的每一个环节而不只是提供一个训练好的模型权重。开源意味着代码、训练流程、评测工具和文档都会对外公开。长期维护则意味着这不是一篇发完论文就搁置的工作团队计划持续迭代和改进。论文在发布时2026年7月7日说明完整的技术细节、实验数据和代码库计划在7月中旬正式发放。对于想亲自实验或在此基础上开展新研究的开发者和研究者来说这是一个值得关注的时间节点。---说到底AlayaWorld做的这件事是在尝试改变游戏世界从哪里来这个根本性的问题。传统游戏的世界是人工搭建的固定、昂贵、难以修改AlayaWorld的世界是AI在玩家探索的过程中即时生成的理论上可以无限延伸、随意改变风格、以极低的成本适配各种场景需求。当然目前这套系统距离取代一款成熟3D游戏的体验还有相当的距离在复杂动态物体的长期追踪、精细的物理交互、以及高度个性化的游戏系统设计方面还有大量问题等待解决。但它提供了一个可用的、开源的起点让更多研究者可以在这个方向上接力探索。对于具身智能让机器人在虚拟环境中学习操作技能这个领域来说AlayaWorld能够生成多样化的真实感场景这一能力也可能带来独立于游戏之外的应用价值。一个值得思考的问题是如果未来的游戏世界是AI根据每个玩家的行为实时生成的那么所谓游戏设计的本质会不会从设计一个固定的世界变成设计一套AI生成世界的规则有兴趣深入了解的读者可以通过arXiv编号2607.06291查阅完整论文或访问项目主页获取更多演示材料。---QAQ1AlayaWorld和普通视频生成模型有什么区别A普通视频生成模型是按照固定指令一次性生成一段视频没有交互性。AlayaWorld则是一个实时交互系统玩家可以通过摄像机移动和文字指令即时影响下一秒的画面内容类似于一个由AI驱动的即时渲染引擎而不是一个视频播放器。Q2AlayaWorld用到的三维缓存是怎么帮助记住场景的A三维缓存的工作方式是把AI已经生成过的每一帧画面通过深度估计反投影到三维空间里形成一个持续积累的点云地图。当玩家返回曾经到访过的区域时系统从这个三维地图中按当前视角重新渲染出一张参考图给AI提供这个地方之前长这样的视觉证据从而保证场景的一致性。Q3AlayaWorld能用于游戏之外的领域吗A可以。研究团队明确提到了具身智能和机器人模拟场景。由于AlayaWorld能够生成多样化的真实感交互环境包括室内外场景和不同风格它可以作为虚拟训练平台让机器人或AI智能体在不接触真实物理世界的情况下学习各种操作和导航技能。