截止 2026 年 7 月 11 日的 WAM 论文与开源代码全景
截止 2026 年 7 月 11 日的 WAM 论文与开源代码全景日期口径:每个模型后的日期均为“最早可验证公开时间”。优先采用 arXiv v1 的 UTC 提交日期;若有更早的官方会议、OpenReview、项目页或技术报告,则采用更早且可验证的日期。后续修订日期、会议录出版日期和 GitHub 最近更新时间不替代最早公开日期。完整性说明:保留原清单全部 162 个编号,包括其中的重复条目、复合条目和评测基础设施;重复关系和标题修正均在备注中明确标注。文末另补一项原清单遗漏、但 WAM Survey 索引中出现的 TC-IDM。DreamZero 在 2026 年 2 月正式提出并普及 “World Action Model” 这一名称,但相关技术谱系至少可追溯到 2023 年的视频规划、视频—动作联合生成和潜变量世界模型。主要动态索引采用的口径略有不同:NUS 的《World Action Models: A Survey》按“预测的未来必须参与动作生成、评分、训练或验证”这一标准组织方法,并划分为 Render-and-Decode、Latent-Only 与 Video-Generation-Free。arXiv 精确短语检索会混入综述、评测、安全、部署和应用工作,因此检索结果数量不能直接等同于独立 WAM 模型数量。一、什么才算 WAM较实用的区分是:VLA : p ( a t : t + H ∣ o ≤ t , l ) \text{VLA}:p(a_{t:t+H}\mid o_{\leq t},l)VLA:p(at:t+H∣o≤t,l)WorldModel : p ( o t + 1 : t + H ∣ o ≤ t , a t : t + H − 1 , l ) \text{World Model}:p(o_{t+1:t+H}\mid o_{\leq t},a_{t:t+H-1},l)WorldModel:p(ot+1:t+H∣o≤t,at:t+H−1,l)WAM : p ( o t + 1 : t + H , a t : t + H − 1 ∣ o ≤ t , l ) \text{WAM}:p(o_{t+1:t+H},a_{t:t+H-1}\mid o_{\leq t},l)WAM:p(ot+1:t+H,at:t+H−1∣o≤t,l)这里的“未来”不一定是完整 RGB 视频,也可以是视频或图像、视频 latent、视觉特征、教师 embedding、深度、点云、场景流、目标轨迹、affordance、mask、value map、触觉、力觉、音频、语言状态、事件记忆或抽象未来 token。关键不是“能否生成视频”,而是预测未来是否真正进入动作生成、动作评分、训练监督或验证路径。仅生成视频、但未来预测完全不参与动作生成或选择的模型,通常不属于严格意义上的 WAM。二、2023—2025:WAM 的前史与核心技术谱系1. 2023:视频即策略的起点UniPi — Learning Universal Policies via Text-Guided Video Generation—最早公开:2023-01-31文本生成未来执行视频,再通过逆动力学恢复动作。 主来源。AVDC — Learning to Act from Actionless Videos through Dense Correspondences—最早公开:2023-10-12生成未来执行视频,以相邻帧稠密对应和几何关系恢复动作。 主来源。VLP — Video Language Planning—最早公开:2023-10-16组合视频动力学模型、VLM 评估与树搜索,生成并筛选长时程视频计划。 主来源。GR-1 — Unleashing Large-Scale Video Generative Pre-training for Robot Manipulation—最早公开:2023-12-20统一 Transformer 同时预测未来图像和机器人动作。 主来源。对应代码:flow-diffusion/AVDC—2023-10-12;AVDC。video-language-planning/vlp_code—2023-10-16;VLP。bytedance/GR-1—2023-12-20;GR-1。2. 2024:从视频规划走向联合视频—动作学习Dreamitate — Real-World Visuomotor Policy Learning via Video Generation—最早公开:2024-06-24从人类工具使用视频生成机器人未来,并借助工具位姿跟踪执行。 主来源。ThisThat — Language-Gesture Controlled Video Generation for Robot Planning—最早公开:2024-07-08以语言和手势指定空间目标,先生成视频,再用 Video-to-Action 策略解码动作。 主来源。GR-MG — Multi-Modal Goal-Conditioned Policy from Partially-Annotated Data—最早公开:2024-08-26生成进度感知目标图像,策略以语言和生成目标共同为条件。 主来源。Gen2Act — Human Video Generation in Novel Scenarios—最早公开:2024-09-24利用冻结视频生成模型产生新场景人类视频,再驱动统一机器人策略。 主来源。GR-2 — Generative Video-Language-Action Model with Web-Scale Knowledge—最早公开:2024-10-08从网络规模视频预训练统一视频—语言—动作模型。 主来源。PAD — Prediction with Action: Visual Policy via Joint Denoising—最早公开:2024-11-27使用单个 DiT 联合去噪未来图像和动作。 主来源。ARDuP — Active Region Video Diffusion for Universal Policies—最早公开:2024-06-19聚焦交互区域做 latent video diffusion,再从 latent 解码动作。 主来源。Im2Flow2Act — Flow as the Cross-Domain Manipulation Interface—最早公开:2024-07-21生成物体光流,并让动作策略以光流为条件。 主来源。VPP — Video Prediction Policy—最早公开:2024-12-19动作头直接读取视频扩散模型内部未来表征,不必解码完整 RGB 视频。 主来源。对应代码:cvlab-columbia/dreamitate—2024-06-24;Dreamitate。Kiteretsu77/This_and_That_VDM—2024-07-08;ThisThat。bytedance/GR-MG—2024-08-26;GR-MG。Robert-gyj/Prediction_with_Action—2024-11-27;PAD。real-stanford/im2Flow2Act—2024-07-21;Im2Flow2Act。roboterax/video-prediction-policy—2024-12-19;VPP。3. 2025:视频基础模型、几何中间表征与统一生成VILP — Imitation Learning with Latent Video Planning—最早公开:2025-02-03在 latent 空间进行多视角视频规划。 主来源。CoT-VLA—最早公开:2025-03-27把未来视觉帧作为 Visual Chain-of-Thought,再生成短动作序列。 主来源。TesserAct—最早公开:2025-04-29联合生成 RGB、深度和法线,形成可用于动作恢复的 4D 世界表征。 主来源。UWM — Unified World Models—最早公开:2025-04-03动作与视频采用独立扩散时间步,可切换策略、前向/逆向动力学和视频生成。 主来源。DreamGen—最早公开:2025-05-19生成机器人未来并用 IDM 或 latent action 伪标注,再训练下游策略。 主来源。FLARE — Robot Learning with Implicit World Modeling—最早公开:2025-05-21让额外策略 token 对齐未来观测教师表征,而非渲染完整视频。 主来源。WorldVLA—最早公开:2025-06-26统一自回归图像 token、语言和动作建模。 主来源。3DFlowAction—最早公开:2025-06-06以未来 3D object flow 作为跨 embodiment 的动作约束。 主来源。RoboEnvision—最早公开:2025-06-27生成关键帧并插值成长时程视频,以减少自回归漂移。 主来源。4DGen — Geometry-aware 4D Video Generation for Robot Manipulation—最早公开:2025-07-01几何感知的 4D 视频生成用于机器人操作。 主来源。RIGVid — Robotic Manipulation by Imitating Generated Videos—最早公开:2025-07-01通过模仿生成视频执行机器人操作。 主来源。Vidar — Embodied Video Diffusion Model for Generalist Manipulation—最早公开:2025-07-17用于通用操作的具身视频扩散模型。 主来源。UVA — Unified Video Action Model—最早公开:2025-02-28统一视频和动作生成。 主来源。