世界模型World Model在近年的强化学习与具身智能研究中热度很高。它的核心思路是让智能体在内部模拟环境的变化用预测出的未来状态代替真实交互从而提升决策效率。不过牛津大学与新加坡国立大学NUS团队提出的「心智世界建模」Mental World ModelingMWM把这个问题往前推了一步智能体要建模的不只是物理世界还有他人的心智状态、意图和信念。这一方向之所以重要是因为很多现实决策发生在有人参与的场景里。自动驾驶不只是处理车道线和障碍物还要预判行人的过街意图服务机器人不只是移动还要判断用户是否着急、是否愿意被打扰游戏 AI 不只是走位还要理解对手的虚张声势。物理动力学模型在这些场景里常常失语因为决定状态变化的核心变量通常是“对方心里怎么想”。这篇文章会从经典世界模型谈起解释 MWM 想解决什么问题接着给出一个可运行的最小原型代码、评估方法和落地时容易踩的坑。即使你现在没有接触过世界模型也应该能从代码和表格里看出一条可行的实验路径。1. 从世界模型到心智世界建模MWM 到底改了什么1.1 经典世界模型关注环境如何演化经典世界模型起源于这样一个观察如果智能体能够提前预判下一帧画面或下一时刻状态就不需要在真实环境里做大量试错。常见做法通常包含一个编码器、一个状态转移预测器、一个动作条件化模块。在视频预测、强化学习世界模型例如 Dreamer 系列中模型学习的是“给定前序观测和动作下一步环境变成什么样”。它的核心假设是环境的变化服从某种动力学而这个动力学可以仅从观测中学习。对于纯物理环境这个假设基本成立。物体的位置、速度、碰撞、摩擦都可以在潜空间里被近似建模。一个物体不会因为“想”让开而让开它只会按受力结果运动。但现实世界并不总是这样。椅子不会因为“想”让开而让开但人会。行人看到车辆减速可能会判断“它在让我”于是加快步伐。这个决策链条里关键变量不是行人的速度而是行人对车辆意图的信念。经典世界模型如果只看到速度变化会把“行人突然加速”当成一个高噪声事件。它无法预测这个加速更无法通过自己的驾驶行为去影响对方的心智判断。1.2 单纯物理状态建模为什么不够用真实场景中智能体不是唯一在行动的主体。当路人和你的自动驾驶车辆互动时他的轨迹受他的目的地、时间压力、对车辆行为的猜测共同影响。这些因素无法直接写进物理动力学公式。一个典型的例子是“协商式变道”。车辆打算并入主路主路车辆可以选择减速让行也可以选择提速抢行。自动驾驶系统如果要安全完成变道不能只预测主路车辆下一时刻的位置还需要估计“对方是否意识到我要变道”以及“对方是否愿意让我”。这两个问题都属于心智状态而不是物理状态。单纯用行为克隆或逆强化学习也能拟合部分结果但缺少一个显式的心智中间层。当交互模式发生变化时行为克隆模型往往需要重新训练而拥有心智world模型的系统可以通过更新对“他人意图”的估计来适应变化不需要把所有情况都写进映射规则。1.3 MWM 的核心主张把“他心”放进世界模型MWM 的定义可以这样理解在原有物理状态转移之外增加一个心智状态转移模型。心智状态包括但不限于意图intention、信念belief、偏好preference、注意力attention和不确定性uncertainty。模型不仅要预测物理位置还要预测“对方接下来想要干什么”以及“对方以为我接下来要干什么”。用通俗的话说世界模型回答“下一秒世界会怎样”MWM 回答“下一秒他人会怎样想以及这个想法如何改变世界”。它是一个有层次的模拟器底层是物理上层是心智。这个方向并非凭空出现它和心理学中的心智理论Theory of Mind有明确承接关系。区别在于过去心智理论主要停留在认知科学实验中而 MWM 试图把它工程化变成可训练、可评估、可部署的神经网络模块。它不要求机器真的拥有意识只要求机器能用“预测他人行为”所必需的信息去压缩和推断他人的内部状态。2. MWM 背后的理论与技术线索2.1 心智理论如何与深度学习结合“心智理论”指个体理解他人也有自己的心理状态且这些状态可能与自己不同。深度学习要模拟它最常见做法是建立一个“他人模型”输入他人可观测的行为序列输出对他人内部状态的估计。这个估计不需要得到绝对真实的心智只需要得到“对未来行为有预测力”的压缩表征。因此心智状态可以不是符号化的而是一组潜向量。训练时可以用自监督目标用潜向量预测他人未来行为再让未来真实行为反过来校准潜向量。这类似深度强化学习中用辅助头估测“价值”“奖励”等中间量。这里的难点在于他人内部状态是不可观察的。MWM 本质上是在学习一个“可反推意图”的观测压缩器。它必须从有限的交互历史中提取出足以预测未来行为的表征同时保证这个表征有语义稳定性。不能只做近因拟合否则换一个场景就失效。2.2 从单智能体世界模型到多智能体联合状态建模经典世界模型是单智能体视角自己的动作进入模型环境状态转移。MWM 需要把“他人动作”与“心智状态”联结起来。最自然的方法是把世界状态定义为多维结构物理状态所有物体的位置、速度、朝向每个其他智能体的意图状态目标方向、目标物体或目标位置每个其他智能体的信念状态他人对当前局势的理解智能体对“他人心智状态”的估计。决策时的状态转移可以分成三层根据当前物理状态预测下一帧物理状态根据观察到的他人行为更新对他人心智状态的估计根据物理状态和心智状态联合预测他人下一个动作以及自己的最佳响应。这种联合建模在数学上没有跳出贝叶斯框架。每个智能体的行为可以看作对自身目标的近似最优决策因此可以通过逆强化学习或计划推理来估计意图。MWM 的贡献不在于发明全新的数学工具而是把这套思路作为世界模型架构的内建模块让“心智”和“物理”在同一个模型中互相约束。2.3 模块化架构物理、意图、信念各自独立又互相影响工程上不一定要把物理和心智塞进同一个多层感知机。更好的做法是模块化物理状态头负责位置、速度、碰撞等物理量意图编码器输入他人轨迹输出目标方向或目标位置分布信念编码器输入双方的交互历史输出“他人对我的行为的估计”联合预测头将物理、意图、信念融合输出下一物理状态和他人动作概率。模块化有几个好处可以分别训练、可以单独调试、可以替换掉其中某个不准确的模块还便于解释。论文或项目实践中模块边界不一定这么清晰但保留这些实体会让实验维度清楚很多。例如当行为预测不准确时你可以先检查物理模块再检查心智模块而不是在庞大的端到端模型中盲搜。3. 一个可运行的最小 MWM 原型3.1 问题设定社交导航场景为了不陷入复杂驾驶仿真这里选择社交导航场景一个小车在二维走廊中行驶前方有一个行人。小车需要预测行人是否会为它让路并根据这个预测调整速度。物理状态包括小车的坐标、航向、速度以及行人的坐标、速度、航向。心智状态简化为两个标量行人对小车让路意图的置信度以及行人感知到小车的程度。真实项目中心智状态来自隐藏变量无法直接标注。但为了演示训练流程可以在仿真环境里生成带标签的数据给行人设定真实的目标点和行为习惯这样“意图”就有了可监督的近似真值。实际工程可以采用无监督或弱监督方式从行为轨迹中反推。3.2 数据结构设计每个训练样本定义为一个时间窗口physical_state: [x_ego, y_ego, v_ego_x, v_ego_y, x_ped, y_ped, v_ped_x, v_ped_y] mental_state: [intention_yield, perceived_ego, uncertainty] action_labels: [ego_acc, ego_steer]模型输入是最近 T 帧观测输出是未来一帧物理状态、未来心智状态、以及自己的动作分布。为了可演示这里把“心智状态”当作可以直接回归的目标。真实场景下这个标签需要靠行为反推或弱标注生成。3.3 用 PyTorch 实现物理预测与心智预测下面的代码不是论文原文而是一个用于理解 MWM 建模思想的简化骨架import torch import torch.nn as nn class MentalWorldModel(nn.Module): def __init__(self, obs_dim8, action_dim2, hidden_dim64): super().__init__() # 物理分支捕捉物体运动状态转移 self.physical_encoder nn.GRU( input_sizeobs_dim, hidden_sizehidden_dim, batch_firstTrue ) # 社交分支从交互历史中提取他人心智线索 self.social_encoder nn.GRU( input_sizeobs_dim, hidden_sizehidden_dim, batch_firstTrue ) self.physical_head nn.Linear(hidden_dim, obs_dim) self.mental_head nn.Linear(hidden_dim, 3) self.action_head nn.Linear(hidden_dim * 2, action_dim) def forward(self, obs_seq): # obs_seq: (B, T, obs_dim) phys_feat, _ self.physical_encoder(obs_seq) social_feat, _ self.social_encoder(obs_seq) # 取最后一个时刻的特征 last_phys phys_feat[:, -1, :] last_social social_feat[:, -1, :] # 三个预测头 pred_phys self.physical_head(last_phys) pred_mental self.mental_head(last_social) fused torch.cat([last_phys, last_social], dim-1) pred_action self.action_head(fused) return pred_phys, pred_mental, pred_action这里有两个独立 GRU 编码器。物理编码器负责提取位置、速度的时序规律社交编码器负责从同一段观测中提取更宏观的线索例如对方是否偏离主路、是否在关注自己。三个输出头分别处理物理、心智和动作训练时可以分别设置损失权重。3.4 训练循环与损失组合训练时需要一个数据加载器逐批返回观测序列、物理真值、心智标签和动作标签。核心训练代码如下def train_step(model, optimizer, batch): obs_seq batch[obs_seq] target_phys batch[target_phys] mental_label batch[mental_label] action_label batch[action_label] pred_phys, pred_mental, pred_action model(obs_seq) phys_loss nn.MSELoss()(pred_phys, target_phys) mental_loss nn.MSELoss()(pred_mental, mental_label) action_loss nn.CrossEntropyLoss()(pred_action, action_label) # 心智分支权重可以调大确保它不会被物理误差淹没 loss 1.0 * phys_loss 1.5 * mental_loss 0.5 * action_loss optimizer.zero_grad() loss.backward() optimizer.step() return { phys_loss: phys_loss.item(), mental_loss: mental_loss.item(), action_loss: action_loss.item(), loss: loss.item(), }这里把动作预测看作离散动作分类实际项目可以是连续动作回归。心智分支的损失权重设置为 1.5是为了提醒模型“物理预测重要但心智预测不是可有可无的辅助任务。”这个权重需要通过实验调整。3.5 为什么这个原型有意义最小原型不等于生产方案但它给出了一个可读的骨架物理编码器负责状态演化社交编码器负责从交互历史中提取心智信息两个分支融合后指导行动。后续如果要加入注意力机制、图神经网络建模多智能体交互可以在 social_encoder 处替换。更重要的是这个原型把“问题框架”固定下来了。你会意识到MWM 不是要发明一个 super model而是要在原本只有物理状态转移的网络中显式加入心智维度的预测空间。这样物理世界和心智世界才能在同一个损失函数中互相约束。4. MWM 的评估方式与数据集设计4.1 评估维度不能只看任务成功率如果只用“到终点是否成功”来评估 MWM很容易出现假象。系统可能靠运气成功也可能过度拟合了特定场景。MWM 至少要从三个层面评估物理预测质量预测下一帧位置、速度的误差心智状态预测质量预测的意图与人工标注或行为反推结果是否一致决策质量在最终任务上的收益以及通过心智预测带来的边际改善。这三个层面是互相支持的关系。物理预测太差后续预测都不可信心智预测太差行为预测就会退化成纯物理拟合决策质量则是最终验证。缺了任何一块评估都不完整。4.2 评估指标示例评估层面指标说明物理预测MSE、MAE、碰撞率对比预测位置与真实位置衡量物理动力学建模能力心智预测意图分类准确率、L2 距离指示模型是否抓住他人行为动机行为预测对数似然、Top-3 命中率对他人未来动作的预测能力决策质量成功率、任务回报、安全事件数最终效果但需要拆分心智模块的贡献建议做一个消融实验关闭心智分支只保留物理分支对比各项指标变化。如果关闭后行为预测能力下降不大说明 MWM 没有发挥作用要么是心智分支设计不合理要么是场景本身不需要心智建模。4.3 数据收集与标注难点心智状态不能像边界框那样直接标注。几种常见替代方案使用规则或人设生成器在仿真环境里给每个智能体设定真实意图和信念训练时把它们当作标签逆向标注追踪人类驾驶员或游戏玩家的视线把注视目标、刹车反应当作心智指示信号行为反推用逆强化学习从行为轨迹中恢复奖励函数以奖励函数参数作为心智状态标签。实际项目里最常见的做法是混用仿真生成部分数据用于预训练再用人工行为数据微调。直接人工猜测意图作为真值是危险的因为标注者会把自己的偏见带入模型拟合的是“标注者眼中的意图”而不是真实行为背后的动机。5. 落地 MWM 时常见的坑与排查方向5.1 现象一物理状态预测很准但行为预测还是差可能原因物理分支和心智分支在融合时过早合一或者心智分支输入没有包含完整的交互历史。检查方式单独观察心智分支输出的预测值画一下不同意图下输出的分布尝试在融合前增加 cross-attention让物理分支和心智分支先互相交换信息。解决方式让社交编码器接收更长的历史窗口或者用 Transformer 替代 GRU给心智分支更大的损失权重确保梯度不会被物理分支淹没。5.2 现象二模型把心智状态当成了静态属性一开始训练模型可能学到“这个人平时走得快所以意图高”但真实心智是动态的。原本打算过马路的行人看到汽车加速后可能会改变意图。可能原因训练数据里意图只在序列开始时生成没有在仿真过程中重新采样或者心智标签太稀疏一个序列只给一个标签。检查方式统计同一个训练样本中心智标签在时间轴上是否变化。如果没有变化模型很难学到更新机制。解决方式在仿真环境里不断根据事件改变智能体目标或者在损失中增加心智状态变化的约束强制模型关注动态变化。5.3 现象三训练时心智预测越准最终任务收益反而下降这个反直觉现象可能来自标签错误或过度约束。如果心智标签是人为猜测的模型拟合了标签噪声反而破坏了行为预测能力。检查方式对比用正确心智标签和随机心智标签训练时的行为预测损失。如果随机标签下行为预测反而更好说明标签与行为不强相关。解决方式把心智预测改为辅助训练不让它参与主梯度或者采用 teacher forcing只在训练时使用真实心智标签推理时让模型自己推断。5.4 排查清单确认心智状态定义是否可观测、可标注确认数据时间窗口是否覆盖“意图发生变化”的关键时刻确认物理分支和心智分支的特征是否重复或冗余确认损失权重是否能体现心智模块的贡献确认验证集是否包含与训练集不同的交互模式确认最终评估是否做了消融实验。6. MWM 与相关方向的边界6.1 与多智能体强化学习MARL的区别MARL 也处理多个智能体但它的出发点通常是策略优化和博弈均衡。MARL 关注“我的策略如何适应其他智能体的策略”而 MWM 更关心对心智状态的显式建模和预测。在实际系统中二者可以结合MARL 提供协作或对抗策略MWM 提供对对手或队友的预测模型。如果把 MWM 的心智头当作 MARL 的一个辅助奖励信号训练会稳定很多。6.2 与角色扮演或人格设定的区别一些聊天机器人或游戏 NPC 会设定“性格标签”但这是静态人格。MWM 中的心智状态会随交互变化并且用于预测物理世界的变化。静态人格是固定的出场设置MWM 的心智状态是实时更新的行为解释器。用静态标签做初始化是可以的但最终模型要能在交互中修正自己的判断。6.3 与认知架构的区别认知架构如 Soar、ACT-R 强调用符号规则模拟人类认知过程例如工作记忆、长期记忆、产生式规则。MWM 更贴近端到端深度学习不强制符号化。它依然可以从认知架构中获取模块划分灵感但实现方式不同。认知架构适合解释性要求极高、规则明确的场景MWM 适合数据充足、行为模式难以手工规则的场景。6.4 速查对比表方向核心问题典型方法与 MWM 关系World Model预测下一观测或状态Dreamer、World Models基础框架MARL多个体策略交互MADDPG、QMIX可互补Behavior Cloning学习从观测到动作的映射DAgger可做辅助损失Theory of Mind理解他人心智状态认知科学实验理论来源Cognitive Architecture模拟完整认知过程ACT-R、Soar模块参考MWM显式建模心智状态并预测行为尚在发展中的方法本文主题这个对比表有助于在方案选型时快速定位。如果你的问题只是“机器人撞到墙”经典世界模型就够如果问题变成“机器人和人迎面相遇时如何协商让路”MWM 的路子会更合适。7. 最佳实践与下一步扩展7.1 学术实验阶段先跑通最简单的端到端基线建议先使用一个 2D 导航仿真环境手动控制智能体 P 和智能体 Q。Q 有真实意图和信念把 Q 的心智状态作为标签训练一个小型 MWM。然后比较三种设置无心智模块只用物理状态预测有心智预测但不用在决策中完整 MWM心智预测参与决策。这样能量化心智模块带来的边际收益。不要一开始就换成复杂的 Transformer 骨架先用简单模型把问题找出来再逐步升级。7.2 生产环境落地别急着上线先补工程保障如果把 MWM 用在实际产品中有几个工程问题必须提前准备模型权重、超参数、数据集版本要一起记录方便复现心智状态预测要带置信度低置信度时回退到保守策略在自动驾驶等安全敏感场景中心智状态不能解释为“真实想法”而是“对未来行为的预测因子”日志要记录物理预测和心智预测的差异如果差异突然变大通常意味着输入分布发生了偏移。这些措施不是为了应付评审而是为了让模型在真实环境中可监控、可回滚、可事后分析。7.3 可能的研究方向MWM 目前还没有成熟标准答案但有几个方向值得探索把心智状态建模成概率分布而不是点估计这样模型可以表达“我不确定对方到底要不要让路”在仿真环境里加入更多社会规则例如礼貌、风险偏好、群体行为将 MWM 扩展到文本或具身智能体让对话模型也能预测对方意图研究递归心智建模也就是“我认为对方认为我会怎么做”这类更高阶的信念层级。从实践来看MWM 的价值在于把世界模型从“物理模拟器”升级为“社会交互模拟器”。它与经典世界模型不是互斥关系而是上层扩展。如果任务只是机械臂抓取物理模型可能已经足够只要场景中有人的意图参与决策就应该认真考虑在模型里预留心智维度。切入点不必宏大从一个社交导航仿真开始用本文的骨架搭出第一版 MWM再逐步替换社交编码器、加入不确定性估计和真实数据这条路是可以走通的。 心智世界模型：从预测物理状态到理解他人意图
世界模型World Model在近年的强化学习与具身智能研究中热度很高。它的核心思路是让智能体在内部模拟环境的变化用预测出的未来状态代替真实交互从而提升决策效率。不过牛津大学与新加坡国立大学NUS团队提出的「心智世界建模」Mental World ModelingMWM把这个问题往前推了一步智能体要建模的不只是物理世界还有他人的心智状态、意图和信念。这一方向之所以重要是因为很多现实决策发生在有人参与的场景里。自动驾驶不只是处理车道线和障碍物还要预判行人的过街意图服务机器人不只是移动还要判断用户是否着急、是否愿意被打扰游戏 AI 不只是走位还要理解对手的虚张声势。物理动力学模型在这些场景里常常失语因为决定状态变化的核心变量通常是“对方心里怎么想”。这篇文章会从经典世界模型谈起解释 MWM 想解决什么问题接着给出一个可运行的最小原型代码、评估方法和落地时容易踩的坑。即使你现在没有接触过世界模型也应该能从代码和表格里看出一条可行的实验路径。1. 从世界模型到心智世界建模MWM 到底改了什么1.1 经典世界模型关注环境如何演化经典世界模型起源于这样一个观察如果智能体能够提前预判下一帧画面或下一时刻状态就不需要在真实环境里做大量试错。常见做法通常包含一个编码器、一个状态转移预测器、一个动作条件化模块。在视频预测、强化学习世界模型例如 Dreamer 系列中模型学习的是“给定前序观测和动作下一步环境变成什么样”。它的核心假设是环境的变化服从某种动力学而这个动力学可以仅从观测中学习。对于纯物理环境这个假设基本成立。物体的位置、速度、碰撞、摩擦都可以在潜空间里被近似建模。一个物体不会因为“想”让开而让开它只会按受力结果运动。但现实世界并不总是这样。椅子不会因为“想”让开而让开但人会。行人看到车辆减速可能会判断“它在让我”于是加快步伐。这个决策链条里关键变量不是行人的速度而是行人对车辆意图的信念。经典世界模型如果只看到速度变化会把“行人突然加速”当成一个高噪声事件。它无法预测这个加速更无法通过自己的驾驶行为去影响对方的心智判断。1.2 单纯物理状态建模为什么不够用真实场景中智能体不是唯一在行动的主体。当路人和你的自动驾驶车辆互动时他的轨迹受他的目的地、时间压力、对车辆行为的猜测共同影响。这些因素无法直接写进物理动力学公式。一个典型的例子是“协商式变道”。车辆打算并入主路主路车辆可以选择减速让行也可以选择提速抢行。自动驾驶系统如果要安全完成变道不能只预测主路车辆下一时刻的位置还需要估计“对方是否意识到我要变道”以及“对方是否愿意让我”。这两个问题都属于心智状态而不是物理状态。单纯用行为克隆或逆强化学习也能拟合部分结果但缺少一个显式的心智中间层。当交互模式发生变化时行为克隆模型往往需要重新训练而拥有心智world模型的系统可以通过更新对“他人意图”的估计来适应变化不需要把所有情况都写进映射规则。1.3 MWM 的核心主张把“他心”放进世界模型MWM 的定义可以这样理解在原有物理状态转移之外增加一个心智状态转移模型。心智状态包括但不限于意图intention、信念belief、偏好preference、注意力attention和不确定性uncertainty。模型不仅要预测物理位置还要预测“对方接下来想要干什么”以及“对方以为我接下来要干什么”。用通俗的话说世界模型回答“下一秒世界会怎样”MWM 回答“下一秒他人会怎样想以及这个想法如何改变世界”。它是一个有层次的模拟器底层是物理上层是心智。这个方向并非凭空出现它和心理学中的心智理论Theory of Mind有明确承接关系。区别在于过去心智理论主要停留在认知科学实验中而 MWM 试图把它工程化变成可训练、可评估、可部署的神经网络模块。它不要求机器真的拥有意识只要求机器能用“预测他人行为”所必需的信息去压缩和推断他人的内部状态。2. MWM 背后的理论与技术线索2.1 心智理论如何与深度学习结合“心智理论”指个体理解他人也有自己的心理状态且这些状态可能与自己不同。深度学习要模拟它最常见做法是建立一个“他人模型”输入他人可观测的行为序列输出对他人内部状态的估计。这个估计不需要得到绝对真实的心智只需要得到“对未来行为有预测力”的压缩表征。因此心智状态可以不是符号化的而是一组潜向量。训练时可以用自监督目标用潜向量预测他人未来行为再让未来真实行为反过来校准潜向量。这类似深度强化学习中用辅助头估测“价值”“奖励”等中间量。这里的难点在于他人内部状态是不可观察的。MWM 本质上是在学习一个“可反推意图”的观测压缩器。它必须从有限的交互历史中提取出足以预测未来行为的表征同时保证这个表征有语义稳定性。不能只做近因拟合否则换一个场景就失效。2.2 从单智能体世界模型到多智能体联合状态建模经典世界模型是单智能体视角自己的动作进入模型环境状态转移。MWM 需要把“他人动作”与“心智状态”联结起来。最自然的方法是把世界状态定义为多维结构物理状态所有物体的位置、速度、朝向每个其他智能体的意图状态目标方向、目标物体或目标位置每个其他智能体的信念状态他人对当前局势的理解智能体对“他人心智状态”的估计。决策时的状态转移可以分成三层根据当前物理状态预测下一帧物理状态根据观察到的他人行为更新对他人心智状态的估计根据物理状态和心智状态联合预测他人下一个动作以及自己的最佳响应。这种联合建模在数学上没有跳出贝叶斯框架。每个智能体的行为可以看作对自身目标的近似最优决策因此可以通过逆强化学习或计划推理来估计意图。MWM 的贡献不在于发明全新的数学工具而是把这套思路作为世界模型架构的内建模块让“心智”和“物理”在同一个模型中互相约束。2.3 模块化架构物理、意图、信念各自独立又互相影响工程上不一定要把物理和心智塞进同一个多层感知机。更好的做法是模块化物理状态头负责位置、速度、碰撞等物理量意图编码器输入他人轨迹输出目标方向或目标位置分布信念编码器输入双方的交互历史输出“他人对我的行为的估计”联合预测头将物理、意图、信念融合输出下一物理状态和他人动作概率。模块化有几个好处可以分别训练、可以单独调试、可以替换掉其中某个不准确的模块还便于解释。论文或项目实践中模块边界不一定这么清晰但保留这些实体会让实验维度清楚很多。例如当行为预测不准确时你可以先检查物理模块再检查心智模块而不是在庞大的端到端模型中盲搜。3. 一个可运行的最小 MWM 原型3.1 问题设定社交导航场景为了不陷入复杂驾驶仿真这里选择社交导航场景一个小车在二维走廊中行驶前方有一个行人。小车需要预测行人是否会为它让路并根据这个预测调整速度。物理状态包括小车的坐标、航向、速度以及行人的坐标、速度、航向。心智状态简化为两个标量行人对小车让路意图的置信度以及行人感知到小车的程度。真实项目中心智状态来自隐藏变量无法直接标注。但为了演示训练流程可以在仿真环境里生成带标签的数据给行人设定真实的目标点和行为习惯这样“意图”就有了可监督的近似真值。实际工程可以采用无监督或弱监督方式从行为轨迹中反推。3.2 数据结构设计每个训练样本定义为一个时间窗口physical_state: [x_ego, y_ego, v_ego_x, v_ego_y, x_ped, y_ped, v_ped_x, v_ped_y] mental_state: [intention_yield, perceived_ego, uncertainty] action_labels: [ego_acc, ego_steer]模型输入是最近 T 帧观测输出是未来一帧物理状态、未来心智状态、以及自己的动作分布。为了可演示这里把“心智状态”当作可以直接回归的目标。真实场景下这个标签需要靠行为反推或弱标注生成。3.3 用 PyTorch 实现物理预测与心智预测下面的代码不是论文原文而是一个用于理解 MWM 建模思想的简化骨架import torch import torch.nn as nn class MentalWorldModel(nn.Module): def __init__(self, obs_dim8, action_dim2, hidden_dim64): super().__init__() # 物理分支捕捉物体运动状态转移 self.physical_encoder nn.GRU( input_sizeobs_dim, hidden_sizehidden_dim, batch_firstTrue ) # 社交分支从交互历史中提取他人心智线索 self.social_encoder nn.GRU( input_sizeobs_dim, hidden_sizehidden_dim, batch_firstTrue ) self.physical_head nn.Linear(hidden_dim, obs_dim) self.mental_head nn.Linear(hidden_dim, 3) self.action_head nn.Linear(hidden_dim * 2, action_dim) def forward(self, obs_seq): # obs_seq: (B, T, obs_dim) phys_feat, _ self.physical_encoder(obs_seq) social_feat, _ self.social_encoder(obs_seq) # 取最后一个时刻的特征 last_phys phys_feat[:, -1, :] last_social social_feat[:, -1, :] # 三个预测头 pred_phys self.physical_head(last_phys) pred_mental self.mental_head(last_social) fused torch.cat([last_phys, last_social], dim-1) pred_action self.action_head(fused) return pred_phys, pred_mental, pred_action这里有两个独立 GRU 编码器。物理编码器负责提取位置、速度的时序规律社交编码器负责从同一段观测中提取更宏观的线索例如对方是否偏离主路、是否在关注自己。三个输出头分别处理物理、心智和动作训练时可以分别设置损失权重。3.4 训练循环与损失组合训练时需要一个数据加载器逐批返回观测序列、物理真值、心智标签和动作标签。核心训练代码如下def train_step(model, optimizer, batch): obs_seq batch[obs_seq] target_phys batch[target_phys] mental_label batch[mental_label] action_label batch[action_label] pred_phys, pred_mental, pred_action model(obs_seq) phys_loss nn.MSELoss()(pred_phys, target_phys) mental_loss nn.MSELoss()(pred_mental, mental_label) action_loss nn.CrossEntropyLoss()(pred_action, action_label) # 心智分支权重可以调大确保它不会被物理误差淹没 loss 1.0 * phys_loss 1.5 * mental_loss 0.5 * action_loss optimizer.zero_grad() loss.backward() optimizer.step() return { phys_loss: phys_loss.item(), mental_loss: mental_loss.item(), action_loss: action_loss.item(), loss: loss.item(), }这里把动作预测看作离散动作分类实际项目可以是连续动作回归。心智分支的损失权重设置为 1.5是为了提醒模型“物理预测重要但心智预测不是可有可无的辅助任务。”这个权重需要通过实验调整。3.5 为什么这个原型有意义最小原型不等于生产方案但它给出了一个可读的骨架物理编码器负责状态演化社交编码器负责从交互历史中提取心智信息两个分支融合后指导行动。后续如果要加入注意力机制、图神经网络建模多智能体交互可以在 social_encoder 处替换。更重要的是这个原型把“问题框架”固定下来了。你会意识到MWM 不是要发明一个 super model而是要在原本只有物理状态转移的网络中显式加入心智维度的预测空间。这样物理世界和心智世界才能在同一个损失函数中互相约束。4. MWM 的评估方式与数据集设计4.1 评估维度不能只看任务成功率如果只用“到终点是否成功”来评估 MWM很容易出现假象。系统可能靠运气成功也可能过度拟合了特定场景。MWM 至少要从三个层面评估物理预测质量预测下一帧位置、速度的误差心智状态预测质量预测的意图与人工标注或行为反推结果是否一致决策质量在最终任务上的收益以及通过心智预测带来的边际改善。这三个层面是互相支持的关系。物理预测太差后续预测都不可信心智预测太差行为预测就会退化成纯物理拟合决策质量则是最终验证。缺了任何一块评估都不完整。4.2 评估指标示例评估层面指标说明物理预测MSE、MAE、碰撞率对比预测位置与真实位置衡量物理动力学建模能力心智预测意图分类准确率、L2 距离指示模型是否抓住他人行为动机行为预测对数似然、Top-3 命中率对他人未来动作的预测能力决策质量成功率、任务回报、安全事件数最终效果但需要拆分心智模块的贡献建议做一个消融实验关闭心智分支只保留物理分支对比各项指标变化。如果关闭后行为预测能力下降不大说明 MWM 没有发挥作用要么是心智分支设计不合理要么是场景本身不需要心智建模。4.3 数据收集与标注难点心智状态不能像边界框那样直接标注。几种常见替代方案使用规则或人设生成器在仿真环境里给每个智能体设定真实意图和信念训练时把它们当作标签逆向标注追踪人类驾驶员或游戏玩家的视线把注视目标、刹车反应当作心智指示信号行为反推用逆强化学习从行为轨迹中恢复奖励函数以奖励函数参数作为心智状态标签。实际项目里最常见的做法是混用仿真生成部分数据用于预训练再用人工行为数据微调。直接人工猜测意图作为真值是危险的因为标注者会把自己的偏见带入模型拟合的是“标注者眼中的意图”而不是真实行为背后的动机。5. 落地 MWM 时常见的坑与排查方向5.1 现象一物理状态预测很准但行为预测还是差可能原因物理分支和心智分支在融合时过早合一或者心智分支输入没有包含完整的交互历史。检查方式单独观察心智分支输出的预测值画一下不同意图下输出的分布尝试在融合前增加 cross-attention让物理分支和心智分支先互相交换信息。解决方式让社交编码器接收更长的历史窗口或者用 Transformer 替代 GRU给心智分支更大的损失权重确保梯度不会被物理分支淹没。5.2 现象二模型把心智状态当成了静态属性一开始训练模型可能学到“这个人平时走得快所以意图高”但真实心智是动态的。原本打算过马路的行人看到汽车加速后可能会改变意图。可能原因训练数据里意图只在序列开始时生成没有在仿真过程中重新采样或者心智标签太稀疏一个序列只给一个标签。检查方式统计同一个训练样本中心智标签在时间轴上是否变化。如果没有变化模型很难学到更新机制。解决方式在仿真环境里不断根据事件改变智能体目标或者在损失中增加心智状态变化的约束强制模型关注动态变化。5.3 现象三训练时心智预测越准最终任务收益反而下降这个反直觉现象可能来自标签错误或过度约束。如果心智标签是人为猜测的模型拟合了标签噪声反而破坏了行为预测能力。检查方式对比用正确心智标签和随机心智标签训练时的行为预测损失。如果随机标签下行为预测反而更好说明标签与行为不强相关。解决方式把心智预测改为辅助训练不让它参与主梯度或者采用 teacher forcing只在训练时使用真实心智标签推理时让模型自己推断。5.4 排查清单确认心智状态定义是否可观测、可标注确认数据时间窗口是否覆盖“意图发生变化”的关键时刻确认物理分支和心智分支的特征是否重复或冗余确认损失权重是否能体现心智模块的贡献确认验证集是否包含与训练集不同的交互模式确认最终评估是否做了消融实验。6. MWM 与相关方向的边界6.1 与多智能体强化学习MARL的区别MARL 也处理多个智能体但它的出发点通常是策略优化和博弈均衡。MARL 关注“我的策略如何适应其他智能体的策略”而 MWM 更关心对心智状态的显式建模和预测。在实际系统中二者可以结合MARL 提供协作或对抗策略MWM 提供对对手或队友的预测模型。如果把 MWM 的心智头当作 MARL 的一个辅助奖励信号训练会稳定很多。6.2 与角色扮演或人格设定的区别一些聊天机器人或游戏 NPC 会设定“性格标签”但这是静态人格。MWM 中的心智状态会随交互变化并且用于预测物理世界的变化。静态人格是固定的出场设置MWM 的心智状态是实时更新的行为解释器。用静态标签做初始化是可以的但最终模型要能在交互中修正自己的判断。6.3 与认知架构的区别认知架构如 Soar、ACT-R 强调用符号规则模拟人类认知过程例如工作记忆、长期记忆、产生式规则。MWM 更贴近端到端深度学习不强制符号化。它依然可以从认知架构中获取模块划分灵感但实现方式不同。认知架构适合解释性要求极高、规则明确的场景MWM 适合数据充足、行为模式难以手工规则的场景。6.4 速查对比表方向核心问题典型方法与 MWM 关系World Model预测下一观测或状态Dreamer、World Models基础框架MARL多个体策略交互MADDPG、QMIX可互补Behavior Cloning学习从观测到动作的映射DAgger可做辅助损失Theory of Mind理解他人心智状态认知科学实验理论来源Cognitive Architecture模拟完整认知过程ACT-R、Soar模块参考MWM显式建模心智状态并预测行为尚在发展中的方法本文主题这个对比表有助于在方案选型时快速定位。如果你的问题只是“机器人撞到墙”经典世界模型就够如果问题变成“机器人和人迎面相遇时如何协商让路”MWM 的路子会更合适。7. 最佳实践与下一步扩展7.1 学术实验阶段先跑通最简单的端到端基线建议先使用一个 2D 导航仿真环境手动控制智能体 P 和智能体 Q。Q 有真实意图和信念把 Q 的心智状态作为标签训练一个小型 MWM。然后比较三种设置无心智模块只用物理状态预测有心智预测但不用在决策中完整 MWM心智预测参与决策。这样能量化心智模块带来的边际收益。不要一开始就换成复杂的 Transformer 骨架先用简单模型把问题找出来再逐步升级。7.2 生产环境落地别急着上线先补工程保障如果把 MWM 用在实际产品中有几个工程问题必须提前准备模型权重、超参数、数据集版本要一起记录方便复现心智状态预测要带置信度低置信度时回退到保守策略在自动驾驶等安全敏感场景中心智状态不能解释为“真实想法”而是“对未来行为的预测因子”日志要记录物理预测和心智预测的差异如果差异突然变大通常意味着输入分布发生了偏移。这些措施不是为了应付评审而是为了让模型在真实环境中可监控、可回滚、可事后分析。7.3 可能的研究方向MWM 目前还没有成熟标准答案但有几个方向值得探索把心智状态建模成概率分布而不是点估计这样模型可以表达“我不确定对方到底要不要让路”在仿真环境里加入更多社会规则例如礼貌、风险偏好、群体行为将 MWM 扩展到文本或具身智能体让对话模型也能预测对方意图研究递归心智建模也就是“我认为对方认为我会怎么做”这类更高阶的信念层级。从实践来看MWM 的价值在于把世界模型从“物理模拟器”升级为“社会交互模拟器”。它与经典世界模型不是互斥关系而是上层扩展。如果任务只是机械臂抓取物理模型可能已经足够只要场景中有人的意图参与决策就应该认真考虑在模型里预留心智维度。切入点不必宏大从一个社交导航仿真开始用本文的骨架搭出第一版 MWM再逐步替换社交编码器、加入不确定性估计和真实数据这条路是可以走通的。