懂物理的3D世界模型才有资格谈动态操控——高速动态任务场景不可否认VLA与视频世界模型在静态或准静态任务上已取得显著进展。而在真实产线、日常服务场景中的目标往往处于持续运动状态——传送带上的工件、旋转货架上的货品、投掷而来的球体……这些动态物体的通用操作仍是机器人落地的真正分水岭。一个直观的数据香港理工大学近日收录在ECCV的一项研究工作将VLA模型π0.5部署至8个高速动态任务平均成功率仅8.3%几乎等同于随机尝试。为此他们给出新的解法一套将“物理原则3D高斯速度场世界模型”与“未来感知动作策略”紧耦合的框架。01 VLA和世界模型为什么搞不定动态操控现有三条路线的结构性短板当前机器人操作的主流方案集中在三类但它们面对动态目标各有致命缺陷VLA模型OpenVLA、pi0.5等用统一框架处理视觉-语言-动作在静态任务上确实能打但底层逻辑是看到画面→输出轨迹缺少对未来运动状态的显式建模。pi0.5在PhysMani-Bench高速任务上几乎全崩它不是抓不准而是根本来不及想目标下一步会在哪。视频世界模型Cosmos、Sora等视频生成模型存在两点问题一是预测仅限于2D图像空间缺乏3D几何感知二是一味追求画面逼真却经常违反基本物理定律。任务特化方案打乒乓球、踢足球、传送带抓取等每条管线只针对一个特定场景优化换一个任务就得重写整个流程谈不上通用框架。▲PhysMani-Bench 16项多样化动态任务示意蓝色箭头标注运动目标的复杂轨迹PhysMani的切入方式PhysMani不做视频预测不做端到端VLA而是把问题拆成两段先建一个能在线学习物理规律的3D世界模型再让策略网络把这个模型的预测当成额外输入来做决策。两类模型是解耦的、并行的。世界模型持续追踪场景的3D几何和物理动态策略模型拿到当前观测和未来动态预测后输出动作。这种模块化设计有一个工程好处哪部分不够好就改哪部分不需要动全局架构。▲PhysMani整体框架总览——物理原则3D高斯世界模型上与未来感知动作策略模型下协同工作02 物理原则世界模型 未来感知策略在线优化的散度自由高斯速度场PhysMani的世界模型改造自港理工团队前序工作FreeGaveCVPR 2025。FreeGave首次提出了散度自由的高斯速度场数学上保证每个高斯粒子的速度场无源无汇等价于流体不可压缩约束天然符合物理守恒规律。但FreeGave的设计有个问题依赖一个独立的形变网络做离线优化推理一帧要607ms根本跟不上动态操控的节奏。PhysMani的核心改造是把整个流程拉进在线循环砍掉形变网络和形变辅助优化策略用一个轻量MLP直接从高斯位置和时间戳学习六个基本速度分量三个平动 三个转动每收到新一帧RGB-D执行50轮梯度迭代更新速度场参数冻结速度网络后额外做7轮微调补偿场景外观的微量变化最终单帧优化降到约200msRTX4090且可以通过复用静态计算图大幅削减CUDA核启动开销。▲规范3D高斯模块左与物理高斯速度模块右底部展示了在线优化的迭代流程散度自由这个约束的价值很容易被忽略。通俗来说它意味着模型学到的运动场不会凭空创造或消灭物体一个杯子不会突然分裂成两个一个球不会莫名停在半空。这些物理常识对视频生成模型来说是可选项但对机器人操控是必选项。KNN近邻 可学习Token把未来动态喂给策略世界模型输出的是3万个高斯粒子的速度向量。如何把它们转化成策略网络能理解的信号是第二道坎。PhysMani的设计分六步走对场景点云Pt中每个点用KNN找到最近的K个高斯邻居计算相对偏移量∆P和对应的速度分量Dt两路分别过MLP统一到相同特征维度引入一个可学习向量L作为Query Token做三次交叉注意力偏移量做Key速度分量做Value得到最终的速度Token直接加到视觉Token上形成未来感知TokenAt▲视觉/语言编码左 六步未来动力学融合模块右通过可学习Token交叉注意力将高斯速度场注入策略网络这个设计有两个巧思一是L是模型自己学出来的不需要人工定义哪些运动信息更重要二是加性融合动力学Token ⊕ 视觉Token确保两种信息不会互相覆盖。策略网络本身沿用3DFA3D FlowMatch Actor作为骨架不做额外改动——也就是说PhysMani相对于3DFA的唯一增量就是这套世界模型动态融合模块。PhysMani-Bench首个通用动态操控基准现有机器人基准RLBench、LIBERO、CALVIN清一色是静态或准静态任务。PhysMani团队从RLBench中扩展出8大类动态任务每类分为常速和高速两个难度共16项绕障穿孔Beat Buzz控制环沿旋转导线行走不能触碰旋转插柱Insert Peg将环插入旋转底座上的立柱移动投篮Drop to Hoop捡球投入移动篮筐桌面抓取移动方块Pick Cube按压移动按钮Push Button垃圾投入移动桶Deposit Rubbish杯子挂上旋转架 / 从旋转架取下Place/Remove Cup目标移动速度设为与Franka机械臂最大末端速度同级约2 m/s属于高速动态场景。03 实验仿真16任务主结果几个值得注意的数据分布高速任务才拉开的差距常速任务PhysMani和3DFA差距不大45.9% vs 37.8%但8个高速任务上PhysMani达到46.7%接近3倍于3DFA目标移动越快纯反应式策略越跟不上越需要预测能力兜底。▲16项动态任务平均成功率%对比PhysMani比次优方法3DFA高出8.1个百分点2D光流不如3D速度场给3DFA输入加上2D光流通道3DFA-OF性能几乎没有提升37.5% vs 37.8%。二维平面上的像素位移信息无法替代三维空间中基于物理的速度预测。VLA模型完全不适配pi0.5在高速任务上平均仅3.9%Place Cup高速为0%根本原因是pi0.5的视觉编码和动作解码都是为静态场景设计的没有3D空间表征能力。未来帧预测▲未来帧预测质量——PhysMani在全部指标上显著领先ManiGaussian和FreeGave第一帧预测PSNR 26.90 vs FreeGave 19.47 vs ManiGaussian 14.32做10步前推后PSNR仍保持20.00FreeGave掉到17.89。更关键的是轨迹误差预测目标中心与实际位置欧氏距离第1帧仅0.008m第10帧0.074m而ManiGaussian第1帧就达到0.388m差了近50倍。▲等量计算预算下PhysMani与FreeGave的PSNR时序均值对比PhysMani快3倍且质量更高速度优势源于架构精简FreeGave 607ms/帧PhysMani仅205ms/帧且PSNR曲线全程高于FreeGave——不是以速度换质量的取舍而是又快又好。▲未来帧预测定性对比红圈标注PhysMani对运动目标位置的精确预测真机验证四项任务传送带抓取、传送带放置、旋转架放置方块、旋转架取下杯子。64次测试覆盖不同目标速度、形状和初始位置。PhysMani在Place on Belt62.5% vs 37.5%和Place on Rack25.0% vs 6.3%两项上优势尤为明显。▲真机实验设置Astribot S1机械臂 4台RealSense D435i与四项真实动态任务▲真机4项动态任务成功率PhysMani均值62.5% vs 3DFA 45.3%需要客观看待的是真机实验规模较小每项仅16试次且使用Astribot S1这台性能较强的机械臂——在更廉价、精度更低的机械臂上能否复现论文没有验证。04 行业定位与局限三条路线的横向对比在动态物体操控这条赛道上目前有三条路VLA端到端pi0.5、OpenVLA 等优势是统一架构、泛化性好短板是缺少3D空间和物理动态建模高速目标下基本失效视频世界模型策略Cosmos 控制模块 等优势是想预测什么就能预测什么短板是2D限定、物理不保真、延迟高物理3D世界模型策略PhysMani优势是物理一致、3D几何准确、延迟可控短板是依赖多视角RGB-D和固定相机布局PhysMani是第三条路线上第一个在通用动态操控基准上完成系统验证的工作。其核心定位不是替代VLA而是在VLA失效的高速动态场景中补位。▲训练/推理时间与内存对比PhysMani训练53小时远少于pi0.5的149小时推理272.8ms/帧四个无法回避的局限场景假设严苛依赖4台固定RGB-D相机这在实验室标准RLBench环境下成立但放到非结构化场景杂乱仓库、移动视角就会失效世界模型在线优化有延迟天花板200ms/轮是RTX4090上的数据移植到边缘设备Jetson Orin等后延迟至少翻几倍能否满足高速动态操控存疑任务规模和多样性有限16个任务虽然比零强但距离通用动态操控还有明显距离。研究中也明确指出扩展到PhysInOne的规模数百上千任务是一项非平凡工程仅适配单臂操作所有实验在Franka Panda或Astribot S1单臂上完成双臂协同、移动底盘机械臂等场景未涉及。05 物理上正确的3D未来预测PhysMani做了一个定位清晰的减法不追求VLA的大而全不走视频世界模型的看着好看但不管用路线而是把“物理上正确的3D未来预测”作为唯一核心用一套轻量级世界模型可学习Token融合的方式嵌入现有策略网络。效果是明显的——在高速动态任务上对VLA形成碾压级优势对同架构基线也有稳定的8个百分点提升。但这套方案目前仍然高度依赖实验室级的传感和算力配置离任意动态场景、任意硬件、即插即用还有不小的距离。如果要把这件事往实用方向推最迫切的是两个方向一是降低世界模型对多视角RGB-D的依赖单目、双目二是把200ms的在线优化延迟打到100ms以内。至少在当前阶段教会机器人看懂物理比教会它说人话对动态操控的价值高得多。参考论文论文标题PhysMani: Physics-principled 3D World Model for Dynamic Object Manipulation