Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence视频生成混合专家模型具身智能扩散Transformer项目主页https://technology.robbyant.com/lingbot-video**开源地址**https://github.com/robbyant/lingbot-video在人工智能领域视频生成模型与具身智能Embodied Intelligence之间的融合正成为研究前沿。近期Ant Group研究团队发布了LingBot-Video这是一款基于扩散TransformerDiT并采用稀疏混合专家Mixture-of-Experts, MoE架构的大规模视频基础模型。该模型不仅在通用视频生成任务中展现出优异的视觉质量与文本对齐能力更通过专门的数据工程与训练策略显著提升了在物理交互、机器人操作等具身场景中的表现。据论文介绍LingBot-Video是首个大规模开源的面向具身智能的MoE视频基础模型其相关代码与模型权重已向社区公开。论文 Figure 1LingBot-Video在文本到图像与文本到视频任务中的生成样本一、研究背景从内容创作到物理世界模拟扩散模型与自回归模型在视频生成领域已取得显著进展能够基于文本、图像等多模态条件合成时间连贯且逼真的视频序列。这类能力催生了一个新的研究范式将视频模型视为物理世界的隐式模拟器Implicit Simulator从而支持机器人规划、策略学习与基于想象的控制。然而将现有视频生成模型从被动内容创作转向主动的具身推理与智能体决策仍面临根本性挑战。现有视频基础模型大多针对感知质量进行优化例如视觉真实感、美学质量与文本对齐度而非物理正确性或可控性。尽管这些目标能够产生视觉上令人信服的结果但它们并未显式地强制模型遵守物理交互约束例如接触稳定性、刚体动力学或长时程状态一致性。与此同时互联网规模的视频数据虽然提供了丰富的视觉多样性却无法保证其对物理交互约束的保真度。这一现状揭示了视频生成与具身智能需求之间的关键张力。**核心挑战**现有视频生成模型在架构密集计算导致推理成本高、数据缺乏机器人具身先验与训练目标缺乏物理可行性约束三个维度上均与具身智能需求存在差距。LingBot-Video的提出正是为了系统性地弥合这一鸿沟。研究团队从架构、数据与训练目标三个紧密耦合的维度出发构建了一套面向具身智能的视频预训练范式。具体而言该工作引入了稀疏MoE视频扩散框架以平衡模型容量与推理效率构建了融合互联网视频与机器人操作、导航、第一人称视角数据的预训练语料库并设计了涵盖物理合理性与任务完成度的多维度奖励系统以引导模型学习符合具身环境约束的动态与交互模式。二、架构创新稀疏MoE与单流扩散Transformer2.1 任务统一的单流扩散TransformerLingBot-Video的基座生成器采用级联设计包含一个任务统一的基础生成器与一个精修网络Refiner。基础生成器使用单流扩散TransformerSingle-Stream Diffusion Transformer处理紧凑的视觉隐式表征与多模态条件。在条件编码方面模型采用Qwen3-VL-4B提取多模态指令特征并使用Wan2.1-VAE进行高效的视觉隐式压缩。该架构的核心设计在于统一输入表述模型将每个训练样本表示为单一的token序列由视觉隐式patch与条件token拼接而成。通过将图像目标视为特殊的单帧T1视频生成案例LingBot-Video能够在同一框架内处理文本到图像T2I、文本到视频T2V与图像到视频TI2V三种任务。为解决条件token与视觉token之间的结构差异模型引入了多模态3D MM-RoPE机制将两类token映射到非重叠的时间坐标范围从而消除了对任务特定架构或编码器的需求。论文 Figure 2任务统一单流扩散Transformer概览在注意力机制方面模型采用QK-Norm对查询与键进行每头RMSNorm归一化以稳定深层Transformer的训练动态。此外模型采用adaLN-single设计在Transformer堆栈之前仅计算一次共享的时间步调制信号每个块通过可学习的调制表添加层特定信号显著降低了调制开销。2.2 稀疏混合专家容量与计算的解耦视频生成旨在模拟连续的物理世界要求模型同时捕捉流体运动、三维空间一致性、多样化运动轨迹与丰富材质纹理等复杂物理过程的视觉表征。传统的密集模型中前馈网络FFN强制所有token共享同一参数路径这在统一视频预训练中导致了严重的子任务干扰——单组参数必须同时建模空间纹理与时间运动等不对称领域并适应T2I、T2V、TI2V等多样化任务格式。受大语言模型中稀疏MoE成功实践的启发LingBot-Video将稀疏MoE框架引入基础生成器实现了容量与计算的解耦。具体而言模型在每个Transformer块中保留单流FFN残差分支结构仅将密集前馈计算替换为基于token选择的稀疏MoE层。该设计借鉴了DeepSeekMoE的关键架构原则包括细粒度专家分割与共享专家隔离共享专家Shared Experts提供通用路径捕捉跨越所有token的通用物理原理与空间一致性路由专家Routed Experts通过Top-Kr路由机制被选择性激活捕捉专门的特征模式细粒度分割将FFN参数划分为更多、更小的专家使模型获得更大的组合路由空间从而为代表异构模态与噪声水平的视觉token形成更定制化的执行路径。在负载均衡方面模型采用无辅助损失auxiliary-loss-free的负载均衡策略引入动态校正偏置在线调整专家负载。同时针对视频生成中自然存在的长时空token序列模型采用序列级辅助平衡损失鼓励在每个打包视频序列内部实现均衡的专家使用而非仅在全球批次层面。论文 Figure 3专家数量配方对比论文 Figure 4细粒度专业化与粗路由对比2.3 规模化实验与效率验证为验证稀疏单流扩散Transformer的可扩展性与效率研究团队开展了一系列规模化实验。在活跃参数可比的设定下总参数量13B、活跃参数1.4B的MoE模型相较于1.3B密集基线在训练与验证损失上均展现出显著优势。实验结果表明在等效计算约束下稀疏MoE模型十倍的总参数容量为物理世界先验提供了更大的表征仓库有效解决了密集基线的特征容量瓶颈。论文 Figure 5Dense 1.3B与MoE 13B-A1.4B的训练与验证损失对比进一步地在跨计算主导cross-compute dominance比较中MoE 13B-A1.4B与MoE 30B-A3B均持续优于活跃参数规模约为其两倍的密集模型。其中MoE 30B-A3B的性能已接近Dense 14B的水平。这证明了容量与计算解耦从根本上加速了视频扩散模型的缩放效率。论文 Figure 6模型缩放实验。左图展示MoE相对于密集模型的跨计算优势右图展示从13B到120B的MoE模型在一致训练步数下的可预测缩放规律在推理效率方面研究团队对比了深度匹配的密集与MoE DiT变体在16K至1M token序列长度下的延迟。在1M token长度下MoE 30B-A3B与其活跃参数等效的Dense 3B模型实现了近似的延迟速度比0.97×。而相较于更大规模的密集模型稀疏架构展现出显著的延迟优势在1M token下相对于Dense 6B、Dense 14B与Dense 30B的速度比分别达到1.50×、2.59×与3.18×。这表明该稀疏框架成功扩展了模型容量同时保留了3B规模模型的推理效率为长上下文视频生成提供了高度实用的架构。论文 Figure 7MoE与密集模型的推理速度比dense latency / MoE latency2.4 级联精修网络直接生成高分辨率视频在计算上极为昂贵。LingBot-Video采用级联设计将高分辨率扩散生成分解为基础阶段与精修阶段。高容量的基础生成器首先在较低分辨率480p下建模整体运动与场景布局随后由专门的第二阶段精修网络将分辨率提升至1080p。在训练过程中精修网络学习一种条件化整流流Conditional Rectified Flow从经过合成退化包括高斯模糊与压缩的低分辨率条件隐式表征出发向干净的目标隐式表征回归。该轨迹被限制在噪声水平接近退化条件的范围内从而使精修网络专注于恢复高频细节、锐化纹理与修正局部伪影同时保留基础生成器的全局语义与运动。论文 Figure 8基础生成480p与精修生成1080p的对比。精修网络显著增强了面部表现与高频细节三、数据工程构建具身感知的数据底座视频生成模型的性能与其训练数据的规模、质量与多样性密不可分。LingBot-Video研究团队开发了一套集成化、可扩展的数据基础设施核心包括数据画像引擎Data Profiling Engine、世界知识拓扑图World-Knowledge Topological Graph、密集结构化字幕Dense Structured Captioning与数据课程Data Curriculum四个模块。3.1 数据画像引擎数据画像引擎将原始多模态样本转换为结构化、多维度的记录涵盖结构、语义、运动、相机与质量五个互补维度。与传统自由形式标注不同该引擎将每个样本投影到固定模式上为异构图像与视频数据提供统一且可查询的表征。结构元数据记录空间分辨率、帧率、时长等基础属性并使用TransNetV2检测镜头边界确保每个训练片段代表单一、时间连贯的场景。语义标签通过视觉语言模型VLM提取结构化标签将场景分解为前景/背景对象、环境设置、世界知识实体、视觉风格、动作与渲染文本等元素。运动与时序动态从三个互补信号刻画运动相机运动、主体运动与基于LocoTrack点跟踪的几何跟踪运动有效筛选出近乎静态的退化片段。相机与电影属性标注色调、镜头尺寸、角度、镜头类型、构图、光照质量与光源等七种电影属性支持风格感知的数据平衡。质量与美学信号使用HPSv3计算美学分数使用OmniAID检测合成图像并结合VLM对清晰度、曝光、水印、logo、字幕等伪影进行评分。论文 Figure 9数据画像引擎概览。每个图像或视频样本在五个维度上被标注为结构化画像记录3.2 世界知识拓扑图为使数据筛选具备分布感知能力研究团队构建了世界知识拓扑图沿两个互补轴组织样本共享于图像与视频的语义概念树以及专属于视频样本的动作树。语义概念树包含5万个细粒度叶节点概念与1000个中间视觉类别通过LLM辅助的发现-分类-合并流程形成25个视觉连贯的顶层组。动作树则涵盖操作、人类手势、体育与日常活动等数百个规范动作节点。该图作为数据课程的控制界面在挑战聚焦的持续训练中对稀有或困难的语义与动作节点特别是与操作、物理接触相关的节点进行上采样对过度代表的通用视频节点进行下采样。此外通过聚合去噪损失获得节点级数据难度估计进一步指导后续阶段的采样权重。论文 Figure 10世界知识拓扑图。结构化标签将样本链接到视觉概念的语义树与动态行为的动作树3.3 密集结构化字幕与数据课程所有训练数据均标注有密集结构化JSON字幕覆盖图像、视频、VLA视觉-语言-动作视频与第一人称视频四种类型。字幕包含全局描述、相机标签、世界知识列表与显著元素列表视频字幕还附加时间戳动作描述。为弥合训练与推理之间的提示分布差距研究团队引入了字幕重写器Caption Rewriter通过扩展-映射两阶段流水线将用户的简短自由形式提示转换为结构化格式。基于筛选后的语料库训练被组织为五阶段数据课程从192p图像先验获取逐步引入192p视频与具身数据再提升至480p分辨率并进行挑战聚焦的重新平衡最终以小规模1080p高质量子集训练精修网络。这一渐进式设计将静态外观学习与动态演化学习分离使稀疏路由器能够逐步专业化。论文 Figure 11五阶段渐进预训练的数据课程。蓝色为图像流绿色为视频流带宽表示各来源的相对比例四、训练体系课程学习与多维度奖励优化4.1 渐进式预训练LingBot-Video的预训练遵循五阶段课程。第一阶段仅在192p图像上训练建立基础的文本-视觉语义对齐与单帧视觉先验。第二阶段引入视频数据维持192p分辨率使模型专注于时序动态、相机运动与帧间一致性。第三阶段扩展至T2V与TI2V的联合训练教导模型有效利用视觉条件。第四阶段采用加权采样器从高质量数据源中采样稳定训练分布。第五阶段作为高分辨率精修专注于高频空间细节生成与时序锐度保持。4.2 后训练多维度奖励与GRPO优化现有视觉生成后训练方法通常依赖输出单一标量分数的整体奖励模型难以有效惩罚静态模式崩溃、时间幻觉与物理不可行等复杂失效模式。LingBot-Video将评估解耦为六个专门奖励模型以提供细粒度优化信号视觉质量Vision Quality基于HPSv3评估整体视觉保真度与文本-视频对齐度文本-视频对齐Text-Video Alignment基于时序视觉问答VQA的细粒度动作中心评估对多阶段动作的准确生成给予更高奖励动态程度Dynamic Degree通过VLM评估运动强度鼓励生成具有语义意义的主体动态避免静态模式崩溃运动连贯性Motion Coherence基于Pulse-of-Motion估计生成视频的实际物理速度引导模型在标准24fps播放速率下产生自然 paced 的运动人体运动一致性Human-Motion Consistency通过蒸馏训练的生成式评估模型输出针对不可能拓扑、面部扭曲、手部变形等五维伪影分数物理合理性Physical Plausibility评估生成视频轨迹是否在连贯的物理场景中展开涵盖运动因果性、对象持久性与非穿透性、材料-运动学真实性与任务完成度。在后训练阶段模型采用Group Relative Policy OptimizationGRPO最大化多维度奖励。具体实现遵循Flash-GRPO的单步探索范式每组 rollout 在恰好一个去噪步骤上随机采样通过系数保持采样CPS注入噪声并应用时间步平衡梯度重加权以均衡不同时间步的更新幅度。六个奖励信号经独立归一化后融合为单一优势值实现严格on-policy训练。论文 Figure 12后训练前后通用视频质量的定性对比。后训练有效解决了手部与肢体合成不一致、文本渲染模糊或错误、结构性物体变形等关键伪影论文 Figure 13后训练前后具身场景的定性对比。后训练显著增强了物理合理性解决了手臂与抓取物体的结构扭曲、非物理穿透、过早释放物体与物体复制等基线伪影4.3 负感知微调与真实世界视频为缓解奖励 hack 风险研究团队引入了基于真实世界视频的负感知微调Negative-Aware Finetuning。具体而言将真实视频片段作为正样本chosen将模型在同一样本提示下生成的视频作为负样本rejected采用DiffusionNFT的前向过程优化框架进行训练。该方法通过维持活跃策略与EMA旧策略两条路径构造隐式正策略模仿目标、隐式负策略抑制目标并辅以与冻结基础模型的KL正则化防止策略在微调过程中过度漂移。五、实验评估通用质量与具身领域双优5.1 内部基准测试研究团队在内部基准上对LingBot-Video进行了全面评估涵盖通用质量与具身领域两个维度。通用质量评估运动质量、提示遵循度、视觉一致性与美学质量具身领域则评估人类交互、物理模拟、机器人、第一人称视角与导航等 specialized 场景。在文本与图像到视频TI2V任务中LingBot-Video在所有开源对比模型中取得了最优性能在通用质量与具身领域评分上均排名第一。这证明了模型在模拟精确物理轨迹如机械臂操作与避障方面的卓越能力。在文本到视频T2V任务中模型在具身领域评分上持续优于Cosmos等强劲基线表明即使在没有初始图像条件的情况下LingBot-Video仍具备对具身智能至关重要的鲁棒物理先验。论文 Figure 15内部基准定量评估。上图展示T2V设置下的结果下图展示TI2V设置下的结果5.2 公共基准测试在面向机器人中心交互正确性的RBench基准上LingBot-Video取得了0.620的平均分在开源模型中排名第一并在操作、空间关系、多实体协作、长程规划与视觉推理五项任务导向场景以及单臂、双臂、人形与四足四种具身形态上均展现出强劲性能。论文 Figure 16公共基准分数对比。左图为RBench平均分右图为Physics-IQ Verified I2V分数在Physics-IQ Verified基准上该模型在图像到视频I2V设置下获得了40.4的验证分数在评估的开源模型中位列第一并超越了Cosmos 339.5。相较于Hunyuan Video 1.533.4与Wan 2.2 A14B32.2LingBot-Video在真实物理过程预测一致性上的优势更为明显。结合RBench的结果这表明LingBot-Video的世界建模能力从机器人中心交互场景扩展到了更广泛的物理现象预测。5.3 用户研究研究团队开展了Good-Same-BadGSB人工评估将LingBot-Video与六个开源模型及四个商业模型进行盲测对比。在T2V生成中LingBot-Video相对于多个开源基线获得了更高的优于对方比例。在TI2V生成中优势更为一致相对于所有评估的开源基线LingBot-Video的Good率均高于Bad率特别是在与Wan 2.2 5B的对比中优势显著。这一更强的TI2V结果表明LingBot-Video是开源模型中的有力竞争者。论文 Figure 17用户研究结果。Good-Same-Bad人工评估结果左图为T2V右图为TI2V六、Action-to-Video从视频生成到世界模型具身世界模拟要求模型能够基于当前状态与规划好的动作序列推演合理的未来视觉轨迹。为验证LingBot-Video能否将其预训练的物理合理性、空间关系与时序演化理解迁移到下游场景研究团队进一步将其后训练为动作条件化的世界模型命名为LingBot-Video-A2V。该适配围绕三个组件展开首先对数据字幕进行重写使每个提示仅描述初始状态确保模型仅依据给定的机器人动作驱动视频演化其次将原始动作转换为相对动作通过可学习的ActionEmbedder映射为动作隐式表征并以残差信号形式注入预训练Transformer块最后在GR-1后训练数据集上进行优化同时优化ActionEmbedder与完整Transformer骨干使原始视频模拟器适配为动作条件化的未来帧预测器。论文 Figure 14LingBot-Video-A2V架构。给定未来帧的帧级动作模型将原始指令转换为相对动作通过ActionEmbedder映射为动作隐式表征并注入预训练Transformer块在EgoDex Eval与DreamDojo-HV Eval上的测试表明该模型在分布外动作遵循上表现优异能够更好地遵守物理定律并更准确地执行动作。与DreamDojo相比LingBot-Video-A2V在保持物体存在性与空间关系方面展现出更强的物理一致性。论文 Figure 18与DreamDojo的对比。LingBot-Video-A2V在保持物体存在性如第一例中的黄色苹果与动作遵循如手相对于三明治的姿态方面表现更优七、生成效果展示以下为LingBot-Video在多种场景下的生成效果涵盖通用视频、机器人操作、物理交互等多样化场景。这些定性结果展示了模型在视觉保真度、时序连贯性与物理合理性方面的综合能力。论文 Figure 19文本到视频生成定性结果展示了丰富的场景与动态表现论文 Figure 20文本与图像到视频生成的定性结果论文 Figure 21文本与图像到视频生成的更多定性结果论文 Figure 22机器人相关文本到视频生成的定性结果论文 Figure 23文本到视频生成的定性结果展示人物表情与动态细节八、结语LingBot-Video作为首个大规模开源的面向具身智能的MoE视频基础模型在架构设计、数据工程与训练策略三个维度上进行了系统性创新。通过稀疏混合专家框架模型在扩展参数容量的同时保留了高效的推理性能通过数据画像引擎与世界知识拓扑图实现了对互联网视频与具身数据的有效整合通过多维度奖励系统与渐进式课程学习显著提升了物理合理性与任务完成度。在评估层面LingBot-Video不仅在通用视频生成质量上达到开源领先水平更在RBench、Physics-IQ Verified等具身与物理基准上展现出卓越性能。其Action-to-Video适配进一步验证了模型作为机器人世界模拟器的潜力。随着该模型与相关基础设施的开源研究团队期待与社区共同推动具身物理引擎与下一代机器人大脑的发展。具身智能世界模型blog https://jinxindeep.github.io/blog/blog2026.html