尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

抛弃英伟达 GPU!魔芯浙大提出全球首个 NPU 原生实时 4D 世界模型 MoWorld,自由控相机长时序视频无漂移。

抛弃英伟达 GPU!魔芯浙大提出全球首个 NPU 原生实时 4D 世界模型 MoWorld,自由控相机长时序视频无漂移。 首个面向NPU的实时交互世界模型从训练、推理到部署全流程基于国产化平台构建实现高帧率、低成本、可连续控制的视频世界生成。当下主流交互式世界模型大多依赖高端 NVIDIA GPU实时推理帧率普遍停留在 5 至 10FPS难以支撑流畅人机操控同时训练、部署算力成本居高不下极大限制数字孪生、虚拟漫游、具身仿真的规模化落地。魔芯科技联合浙江大学潘云鹤院士团队推出 MoWorld全球首款全栈基于国产 NPU 打造的实时交互式世界模型也是业内首个 Flash World Model。依托可扩展数据管线、课程化跨帧预训练、轻量化蒸馏与 NPU 专属并行推理架构该 14B MoE 模型最高实现 50FPS 高速推理推理综合成本仅传统 GPU 方案的 30%-50%。整套技术从训练、蒸馏到终端部署完整适配国产算力支持自由相机控制、长时序稳定视频生成在图生视频、可控世界模拟多项基准测试取得亮眼效果为国产算力生态落地 4D 世界模型打开全新产业化路径。应用场景室内场景重建使用 MoWorld 生成的视频进行室内场景重建目标精细度高重建稳定空间一致性好。实时云游戏体验通过连续相机控制探索生成世界支撑低延迟漫游、镜头控制和交互式内容体验。影视级镜头预演面向大场景、真实光照与导演级镜头快速生成可用于分镜、预演和概念验证的视频世界。相关链接论文https://arxiv.org/pdf/2607.06216主页https://moxin-tech.github.io/moworld论文介绍数据引擎MoWorld 的训练数据覆盖真实世界室内、驾驶等与虚拟世界游戏、动漫、科幻电影等多种场景兼顾丰富性与泛化能力。同时通过 3D 几何一致性、轨迹精度、多视图稳定性等多维质量筛选以及几何补全、动态区域过滤和轨迹验证等关键流程从海量数据中筛选出高质量训练资产为 MoWorld 的低成本、高性能训练提供了坚实的数据基础。unsetunset实时推理unsetunsetMoWorld 将实时推理问题分解为三个层级协同优化流水线层、并行层与算子层在资源受限场景实现显存高效利用容纳庞大的模型参数、通信缓冲与推理状态同时压缩端到端时延将用户控制信号实时反映到生成帧中并以流式方式持续输出。在 MoWorld 预训练阶段Wan2.2 MoE 视频基础模型在 NPU 集群上进行训练并采用序列并行SP技术将注意力头或输入 Token 分布到不同设备上以实现可扩展的长序列学习。该模型结合了初始帧、文本和相机几何信息作为联合条件从而支持视频生成长度从 125 帧到 2000 帧的渐进式扩展。其中N 表示不同阶段的 NPU 组数量且满足 NH ≪ NT。在 MoWorld 的蒸馏阶段采用统一的潜在空间蒸馏目标将推理步数从 50 步压缩至 4 步同时将双向 DiT 架构重构为自驱动因果 DiT以实现高效的自回归生成。实验结果结论MoWorld 是一款高性能且高性价比的世界模型专用于交互式视频生成及支持摄像机控制的世界模拟。在性能方面MoWorld 通过可扩展的数据构建、课程化跨帧预训练、高效蒸馏以及低显存低延迟的并行推理技术显著提升了可控性、长时序一致性及实时推理效率。在成本方面MoWorld 在有限显存预算下利用课程化长视频预训练和高效去噪步数蒸馏技术降低了训练与部署成本同时实现了跨不同 NPU 算力等级的实时提示词交互。MoWorld 是首个基于 NPU 生态构建的实时交互式视频世界模型。通过在算子、并行策略及流水线层面进行系统级协同设计MoWorld 支持 14B 参数规模 MoE 世界模型的预训练、蒸馏与推理实现了高达 50 FPS 的实时推理速度将平均推理成本降至现有世界模型的 30%–50%并在“图生视频”及“摄像机可控世界模型”等基准测试中表现优异。
返回列表