如果你过去一年持续关注 AI 领域的进展大概率会注意到两个高频词频繁出现在技术圈和投资圈一个叫“世界模型”一个叫“大模型”。很多人默认它们是一回事甚至把 Sora 这类视频生成模型直接称之为“世界模型”然后在各种技术讨论里争论不休。这其实是一个很大的认知误区。近期牛津大学与新加坡国立大学NUS的研究者把研究方向聚焦到了“心智世界模型”Mental World Model上被不少业内人士看作下一代世界模型的重要探索方向。这个方向既不是简单的世界模型扩展也不是大模型的变体而是试图同时解决两个长期被分开研究的问题模型如何理解外部世界的物理规律以及模型如何理解自己和他人的心智状态。这篇文章不打算复述某篇论文的所有公式而是想把它讲透什么是世界模型为什么世界模型不等于视频生成世界模型和大模型的区别在哪里心智世界模型到底要解决什么问题以及作为程序员或研究者你可以怎么理解、验证和接入这个方向。就算你不做强化学习不想追最新论文这篇文章也能帮你建立一个更清晰的判断框架。1. 这篇文章真正要解决的问题先说我个人的判断现在的 AI 系统普遍“懂物理”但不“懂人心”。或者更准确一点说当前的技术路线更多地在解决“下一步会发生什么”而不是“对方现在想干什么”“我自己的判断有多可靠”这一类问题。心智世界模型这个方向最核心的贡献就是想把后者也变成一种可以训练、可以预测、可以评估的“世界状态”。这背后有一组很具体的痛点痛点一世界模型停留在“表面预测”。无论是自动驾驶场景里的轨迹预测还是机器人操作中的状态转移预测大多数系统预测的都是位置、速度、像素、关节角度这类可观测的物理量。但在真实任务里真正决定行为能否成功推进的往往是意图、不确定性、分工和信任这类看不见的状态。痛点二大模型有“语言能力”但缺少“信念结构”。大模型可以扮演一个角色说出符合角色设定的台词但它在底层并没有一个稳定的数据结构去记录“我现在认为对方知道什么”“我预期对方会采取什么行动”。角色扮演更多是语言层面的模式匹配而不是认知层面的递归推断。痛点三多智能体协作缺乏共同认知基础。如果你让多个 AI Agent 一起完成一个复杂任务它们最常见的失败方式不是单个能力不足而是“互相不理解”。一个人以为对方已经拿到了信息另一个人以为对方会接管某个子任务结果流程卡死在错误分工上。这是因为系统缺少对“他人认知状态”的显式建模。心智世界模型试图解决的正是上面这三个问题。它把“认知状态”放到了和“物理状态”同等重要的地位。这篇文章的读者最适合的是这几类人做强化学习、机器人、自动驾驶、多智能体系统的人。做大模型应用但对“模型是否真的理解了场景”心存疑问的人。关注 AI 前沿趋势想判断下一代模型方向的技术负责人。想入局 AI 研究需要一个相对清晰方向感的学生或工程师。读完这篇文章你会理解世界模型和心智世界模型的来龙去脉能区分那些被混为一谈的概念也能用一套最小代码示例去理解“信念更新”和“心智状态预测”这类核心机制。2. 什么是世界模型它不只是视频生成在我看到的大量讨论里有一个最具迷惑性的表述被反复传播“Sora 就是世界模型因为视频生成必须理解物理规律。”这句话部分正确但放到技术定义里就不成立了。“世界模型”这个术语早在强化学习领域就有明确含义。最经典的引用是 David Ha 和 Jürgen Schmidhuber 在 2018 年发表的《World Models》。在那一套框架里世界模型由三个部分组成视觉压缩模型V把高维图像输入压缩成低维隐状态。记忆模型M基于历史隐状态和动作预测下一时刻的隐状态。控制模型C在预测的隐状态上选择动作完成规划。这套架构的核心思路是智能体不需要见过所有真实状态才能规划它可以在“内心”模拟未来。这就像人类在下棋时不需要真的移动棋子就能在大脑里推演几步之后的局面。世界模型本质上是一个“可训练的内部模拟器”。视频生成模型和世界模型的关系是视频生成可以看作世界模型的一种输出形式甚至是一种验证手段——一个能准确生成未来视频帧的模型至少在视觉层面“懂得”一些物理规律。但世界模型真正关心的是潜在状态是否能用于决策而不仅仅是生成画面是否逼真。举个例子。一个视频生成的模型可以学会生成一辆车拐弯的画面车身的运动轨迹在像素层面看起来符合物理直觉。但如果你把这个模型的隐藏状态拿出来去回答“这辆车目前的控制信号是什么”“下一步最可能的路径是哪条”它往往什么也给不出来。因为它的训练目标是像素和语义的合理性而不是状态转移的可预测性。这就是为什么很多人说“视频生成 ≠ 世界模型”。真正做世界模型的团队更在意的是隐状态的演化是否准确、可控、可干预。对比维度视频生成模型世界模型训练目标生成逼真的后续画面预测隐状态转移并支持决策输出形式图像/视频状态、奖励、风险、行为核心能力视觉合理性因果性与可规划性典型应用内容生成、特效机器人、自动驾驶、游戏 AI验证方式人工观感、FID 等生成指标决策回报、预测误差、规划成功率从这张表可以理解一个关键区别视频生成要的是“看起来对”世界模型要的是“推下去可能对”。前面的“对”是感官层面的后面的“对”是状态演化层面的。那么心智世界模型在这个基础上又增加了什么答案是它把“别人的想法”“自己的想法”“对方的信念”也纳入了需要预测的状态空间。3. 世界模型与大模型的区别“世界模型”和“大模型”是这两年被讨论得最多、也最容易混淆的一组概念。因为名字里都带“模型”很多文章干脆混着用。但从技术本质来看两者的分歧远比相似性重要。从架构看。大模型以 Transformer 为主核心机制是自注意力训练目标是下一个 token 的预测。它可以处理文本、代码、图像、音频但底层处理的都是离散或离散化后的 token 序列。世界模型则更灵活它可以是 RNN、GRU、扩散模型也可以是 Transformer核心要求是能够对环境的隐状态进行逐步的前向推演。Token 预测天然适合“下一个符号”而状态预测天然适合“下一步演化”。从训练目标看。大模型学的是“在给定上下文下下一个符号的条件概率分布”。它天然擅长补全和生成但不天然区分“事实描述”和“物理因果”。世界模型学的是“在给定动作/事件后状态如何转移”。它更接近科学建模强调变量之间的因果关系。从能力边界看。大模型擅长语言理解、知识问答、代码生成但在连续控制、规划推演、物理交互上优势有限。世界模型擅长模拟、规划、预测但在语言表达、常识问答、泛化知识上较弱。两者的互补性非常明显。我见过一个很恰当的类比大模型像一个知识渊博的顾问世界模型像一个会做兵棋推演的参谋。顾问能告诉你很多事实但参谋能告诉你在某个局面下走哪一步更可能赢。心智世界模型想做的是让参谋不仅能推演战场形势还能推演对手的心理预期。对比维度大模型世界模型典型架构TransformerRNN/GRU/Transformer/扩散模型输入空间Token 序列状态、观测、动作序列训练目标条件概率 P(next token)状态转移 P(next state)擅长能力语言、知识、代码、推理物理预测、规划、决策弱项具身交互、连续控制语言泛化、开放世界常识与物理世界关系间接通过文本描述直接通过状态和动作明白了这个区别再回头看“心智世界模型”你会发现它站在一个交叉点上它既要像世界模型一样做状态推演又要像大模型一样理解抽象的心智概念信念、意图、不确定性还要把这两者融合在一个可训练的框架里。4. 心智世界模型从预测物理世界到预测心智状态现在我们来拆解本文的核心概念心智世界模型。4.1 用一个场景理解它假设你正在开发一个双机器人协作系统。机器人 A 需要把桌子上的杯子递给机器人 B。传统世界模型的思路是A 预测杯子的位置、B 的机械臂轨迹、两者是否会发生碰撞。这些预测都建立在物理状态上比如坐标、速度、力矩。但如果我们希望系统真正稳定地完成“递杯子”这个动作A 还需要回答一类新问题B 现在知道杯子的位置吗B 是否预期我会把杯子递过去如果我改变了动作节奏B 会不会误解为我要终止协作B 对我的信任程度是多少这些问题没有一个是物理量但它们直接影响协作的成功率。传统机器人系统通过“显式通信”来解决比如 A 告诉 B“我开始递杯子了”。但现实场景中通信延迟、信息不完整、部分可观测都是常态。真正智能的系统应该能从观测中推断对方的心智状态而不是总等着对方明确表态。这正是“心智世界模型”想做的事把“对方在想什么”变成模型内部一个可以预测的状态变量。4.2 心理理论Theory of Mind带来的技术启发认知科学里有一个重要概念叫“心理理论”指的是个体理解他人拥有与自己不同的信念、意图和情绪的能力。一个成熟的成年人不需要别人明说也能大致猜到另一个人的意图并据此调整自己的行为。传统 AI 系统很少把这种能力显式建模。即便某些对话系统看起来能理解情绪本质上也只是在文本层面做情感分类。而心智世界模型不一样它要在状态空间里为“他人的信念”建立表征让智能体可以推理“他认为我知道什么”“他不知道什么”“我应该怎么引导他更新信念”。这个过程在数学上可以用递归信念推断来描述我不仅要维护自己对世界的信念还要维护“我对你信念的信念”甚至“我对你对我信念的信念的信念”。递归深度越高建模越复杂但对复杂社会行为的解释力也越强。4.3 技术路径把认知状态纳入状态空间从工程角度看心智世界模型可以理解为在传统世界模型之上增加了一个“心智状态分支”。传统世界模型维护环境状态而心智世界模型额外维护自我认知状态我对当前局势的确定性有多高我的预测置信度如何我是否需要更多信息。他人认知状态对方掌握了哪些信息对方当前的目标是什么对方对我下一步行动的预期是什么。共同认知状态哪些信息是双方都知道的哪些是公共知识哪些只是某一方的私有信息。这听起来有点抽象但在实现上它们都是向量。我们完全可以用一个神经网络把新观测编码成高维特征然后用门控循环单元GRU不断更新这些状态向量。这样模型就可以在每一步决策前根据这些状态向量进行“换位思考”。一个直观的类比是传统世界模型是在脑子里跑“物理模拟器”心智世界模型是在物理模拟器旁边加装了一个“社会模拟器”。物理模拟器负责推演物体位置社会模拟器负责推演信念和意图两者最终融合成决策。4.4 为什么要用“心智”而不是直接让大模型来推理有人可能会问既然大模型已经能理解复杂指令为什么不让大模型来做这种心智推理答案是大模型推理依赖的是文本上下文它没有一个持续更新、与环境交互闭环的“信念存储”。你可以让 GPT 类模型在对话中说“我认为对方会这样做”但它的“认为”只是一个基于历史文本的生成结果没有和真实的环境状态绑定也不会随着每次观测自动更新到同一个表征空间里。心智世界模型的优势在于状态闭环它预测的不是一句台词而是一个可更新的状态变量。这个变量既参与决策又会影响下一轮推断形成闭环。大模型更适合做高层次的语义理解和生成而心智世界模型更适合做需要连续状态更新的实时决策。这不是在否定大模型。事实上心智世界模型完全可以和大模型协同用大模型生成假设、描述场景、处理开放世界语义用心智世界模型做状态推断和规划。未来更常见的架构很可能是“大模型 世界模型 心智状态模块”的组合体。5. 技术拆解一个极简的心智世界模型示例概念讲多了容易飘我们直接进入一个可以理解的最小示例。注意这里并不是复现某篇论文的完整实现而是展示“信念更新”“心智状态与物理状态融合”这些核心机制在实际代码中长什么样。5.1 核心模块一心智状态跟踪器先定义一个模块根据新的观测更新当前的信念状态。这里用 GRU 做递归更新因为心智状态的本质是“持续演化的向量”。# mental_state.py # 概念演示用 GRU 做心智状态信念的递归更新 import torch import torch.nn as nn class MentalStateTracker(nn.Module): def __init__(self, obs_dim: int, belief_dim: int, hidden_dim: int 128): super().__init__() self.obs_encoder nn.Sequential( nn.Linear(obs_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), ) self.belief_updater nn.GRUCell(hidden_dim, belief_dim) def forward(self, obs: torch.Tensor, belief: torch.Tensor) - torch.Tensor: # 将观测压缩成特征 feat self.obs_encoder(obs) # 用 GRU 更新信念b_{t1} f(b_t, o_t) belief self.belief_updater(feat, belief) return belief这段代码的核心逻辑很直接信念不是凭空产生的而是每一轮根据新的观测一点点更新出来的。obs可以是对方的动作轨迹、沟通内容、环境变化belief则是模型对“当前形势”“对方意图”“自身确定性”的压缩表示。5.2 核心模块二物理状态与心智状态的融合再看第二个模块。我们将物理状态转移和心智状态更新放在同一个模型里最后通过一个融合层把两者结合成决策用的完整状态。# mental_world_model.py # 概念演示世界状态转移 心智状态推断 状态融合 import torch import torch.nn as nn from mental_state import MentalStateTracker class MentalWorldModel(nn.Module): def __init__(self, state_dim: int, belief_dim: int, action_dim: int, obs_dim: int, hidden_dim: int 128): super().__init__() # 物理状态转移GRU 记忆物理状态 self.world_dynamics nn.GRUCell(state_dim action_dim, state_dim) # 心智状态更新跟踪信念 self.mental_state MentalStateTracker(obs_dim, belief_dim) # 融合物理状态和心智状态 self.fusion nn.Sequential( nn.Linear(state_dim belief_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, state_dim), ) def forward(self, state: torch.Tensor, action: torch.Tensor, obs: torch.Tensor, belief: torch.Tensor): # 1. 用世界模型预测下一个物理状态 world_input torch.cat([state, action], dim-1) next_state self.world_dynamics(world_input, state) # 2. 用心智模型更新信念状态 next_belief self.mental_state(obs, belief) # 3. 将物理状态和信念拼接融合作为完整的“世界心智”状态 fused_state self.fusion( torch.cat([next_state, next_belief], dim-1) ) return fused_state, next_belief这个模块展示的正是心智世界模型和传统世界模型的本质差异传统世界模型只需要state action - next_state而这里多了一条obs - next_belief的支路并且两条支路会在融合层汇合。决策者看到的不再是“纯物理状态”而是“物理状态 心智状态”的联合表征。5.3 训练目标两种损失如何叠加在训练阶段心智世界模型通常要同时优化两类目标一是世界模型的预测误差二是心智状态的推断误差。下面给一个简化的训练循环片段。# train_demo.py # 概念演示世界模型损失 心智推断损失联合训练 import torch import torch.nn.functional as F from mental_world_model import MentalWorldModel def train_step(model, optimizer, batch): # 假设 batch 包含当前物理状态、动作、观测、下一物理状态、真实行为标签 state, action, obs, next_state, true_choice batch # 前向融合后的状态 更新的信念 fused_state, next_belief model(state, action, obs, beliefNone) # 损失 1物理预测误差 pred_next_state fused_state # 简化演示 loss_world F.mse_loss(pred_next_state, next_state) # 损失 2心智推断误差 # 例如根据信念预测对方下一步行为然后用真实行为做交叉熵 choice_logits torch.randn_like(true_choice) # 占位实际需接一个策略头 loss_mental F.cross_entropy(choice_logits, true_choice) # 总损失心智损失可以加权重 loss loss_world 0.5 * loss_mental optimizer.zero_grad() loss.backward() optimizer.step() return {world_loss: loss_world.item(), mental_loss: loss_mental.item()}这个示例里choice_logits是占位符实际项目中需要根据融合后的状态接一个策略头或多层感知机来输出行为分布。但这已经足够表达关键思想训练的最终目标不是只预测世界还要预测“认知”。只有当一个模型既能预测物理状态又能预测对方行为意图时才称得上是心智世界模型。5.4 推理时的完整流程在实际系统中每一个时间步的执行流程如下每个时间步 t: 1. 接收新观测 o_t可能包含对方动作、环境反馈 2. 调用 MentalStateTracker 更新自身信念 b_t 3. 调用 world_dynamics 预测下一物理状态 s_{t1} 4. 将 s_{t1} 与 b_t 融合形成联合状态 5. 基于联合状态生成策略/动作 a_t 6. 将 a_t 传入环境获得新的观测重复整个流程。这个流程和经典强化学习的区别在于第 2 步和第 4 步每一步都在显式维护和更新“心智状态”并且把它纳入了决策依据。6. 运行验证与评测思路如果你把上面的代码片段组装成一个小实验建议先在一个简单的二维网格环境里验证。例如让两个智能体在一个 5×5 的网格中协作取物A 知道目标物位置B 不知道但 B 可以通过 A 的移动轨迹推断位置。这个场景小而清晰很适合验证心智状态模块是否真的起作用。运行一个最小训练循环python train_demo.py --epochs 20 --batch-size 32 --mental-loss-weight 0.5在没有标准数据集的情况下运行结果主要看两个方向world_loss是否持续下降说明物理状态预测是否在学习。mental_loss是否持续下降说明模型是否在逐步学会“读懂”对方的意图。预期观察随着训练轮数增加mental_loss会先快速下降之后与world_loss同步缓慢下降。这里要注意如果你的mental_loss完全不下降很大概率不是训练参数的问题而是模型根本没有收到与心智状态相关的信息——换句话说观测obs中可能没有包含能反映对方意图的特征。评测方面心智世界模型不能只测“状态预测误差”还应该测以下几类指标行为预测准确率给定前序观测模型能否准确预测对方下一步动作。协作成功率在需要默契配合的任务中完成任务的概率是否提升。样本效率达到同样协作水平所需训练步数是否显著降低。不确定性校准模型对自身信念的置信度是否与实际准确性一致。从材料看当前学术界在这个方向还处于早期探索阶段没有统一的评测基准。更稳妥的判断是短期内评测会围绕“心理理论任务”和“多智能体协作任务”展开这也是心智世界模型最能拉开差距的测试场景。7. 常见误区与问题排查很多人第一次接触“心智世界模型”会在概念上绕进几个误区。这里整理了几类最常见的问题并给出清晰判断。歧义/现象根本原因正确理解解决方向把 Sora 当作世界模型混淆“视频生成”和“状态预测”视频生成只是世界模型的一种输出形式用隐状态预测、规划能力来判断是否是世界模型把大模型心理解释当作心智世界模型只看到“语言层面模拟”心智世界模型要求状态层面递归信念更新关注是否有显式信念状态、是否闭环更新把心智世界模型等同于强化学习的奖励模型混淆“目标建模”和“认知建模”奖励模型描述好/坏心智模型描述“对方怎么想”心理理论任务中验证心智推断能力认为多智能体通信可以替代心智建模忽略通信延迟和部分可观测心智建模是通信之外的鲁棒选择在通信受限场景下测试系统表现把递归信念推断理解为无限递归过度理论化实际系统中通常只需 1-2 层递归从一层递归开始逐步加深排查路线如果你在自己的实验里遇到问题可以按以下顺序排查先确认基线。把心智模块的权重设为零只训练世界模块看物理预测是否正常。再单独验证心智模块。固定世界模块输出信念状态可视化观察信念是否随观测变化。检查数据是否真的包含认知信息。如果你给模型的观测里只有物理坐标没有目标位置信息那么模型无论如何也推断不出“对方知道什么”。最后才是调参。大多数早期失败不是超参数问题而是信息通道问题。8. 工程实践与研究建议心智世界模型目前还没有形成成熟的开源生态和工程标准但这并不意味着它离应用很远。相反从技术和资源投入的角度我认为现在反而是介入的好时机。先从工程角度给出建议。适合引入心智世界模型的场景通常在以下几个特征里至少占两个任务需要多个智能体协同完成。观测存在不完整性和信息不对称。通信成本和延迟较高不能随时显式协商。需要根据他人反馈动态调整自身行为。典型场景包括仓储机器人调度、自动驾驶车路协同、游戏 NPC 行为建模、人机协作机器人、复杂谈判策略等。不适合的场景也值得说清楚单智能体、环境完全可观测、没有明显交互博弈的任务心智世界模型收益有限。对实时性要求极高、计算资源严重受限的嵌入式环境不适合跑大规模信念递归。当前阶段如果用普通大模型 API 就能解决的任务就不需要硬套心智世界模型架构。从研究角度建议按下面这个阶梯推进第一步在简单博弈场景中验证心智推断能力。比如让两个智能体玩不完全信息游戏一方通过观察对方的行为推断其私有信息。第二步引入多智能体强化学习框架把心智世界模型作为额外模块加入现有 PPO、MADDPG 等算法中对比加入前后的协作效果。第三步把大模型作为高层语义接口心智世界模型作为底层状态推演器构建混合架构。第四步探索不确定性建模。心智世界模型的价值不只是“能推断对方在想什么”更在于“知道自己推断得有多准”。因此信念状态的方差、置信区间应该和均值一起被评估。需要强调的安全边界是心智建模能力一旦增强系统就具备了“操控对方认知”的潜力。例如一个系统如果知道你相信什么它就可以故意提供误导信息。这在博弈和营销场景中可能是优势但在真实社会应用中必须设定伦理边界和使用范围。所有相关实验都应在受控环境、合法授权的前提下进行。9. 总结与后续学习方向这篇内容的落点不只是解释一个新名词而是希望帮你建立一个判断未来模型走向的坐标。世界模型关注的是“外部世界如何演化”大模型关注的是“语义和知识如何生成”而心智世界模型关注的是“认知状态如何同步”。它真正的筹码不是多了一个模块而是让 AI 第一次把“别人怎么想”当成和“世界怎么变”同级别的预测对象。如果只记一句话下一代模型竞争的关键之一可能不在于谁能生成更逼真的视频而在于谁能更准确地推断和预测“心智状态”。这会直接影响机器人协作、自动驾驶、AI Agent 之间协同这些真实落地场景。下一步想深入建议从三个方向选一个切入一是学习心理理论和递归信念推断的经典文献二是动手写一个最小的心智世界模型并跑通一个多智能体协作环境三是关注牛津、NUS 等团队在这个方向上的新论文尤其是其中的评测设计和实验设置。这个方向还很早期没有标准答案也没有开箱即用的工程框架。对所有研究者、工程师和技术决策者来说这既是挑战也是最有意思的地方。 心智世界模型：从预测物理到理解认知的下一代AI方向
如果你过去一年持续关注 AI 领域的进展大概率会注意到两个高频词频繁出现在技术圈和投资圈一个叫“世界模型”一个叫“大模型”。很多人默认它们是一回事甚至把 Sora 这类视频生成模型直接称之为“世界模型”然后在各种技术讨论里争论不休。这其实是一个很大的认知误区。近期牛津大学与新加坡国立大学NUS的研究者把研究方向聚焦到了“心智世界模型”Mental World Model上被不少业内人士看作下一代世界模型的重要探索方向。这个方向既不是简单的世界模型扩展也不是大模型的变体而是试图同时解决两个长期被分开研究的问题模型如何理解外部世界的物理规律以及模型如何理解自己和他人的心智状态。这篇文章不打算复述某篇论文的所有公式而是想把它讲透什么是世界模型为什么世界模型不等于视频生成世界模型和大模型的区别在哪里心智世界模型到底要解决什么问题以及作为程序员或研究者你可以怎么理解、验证和接入这个方向。就算你不做强化学习不想追最新论文这篇文章也能帮你建立一个更清晰的判断框架。1. 这篇文章真正要解决的问题先说我个人的判断现在的 AI 系统普遍“懂物理”但不“懂人心”。或者更准确一点说当前的技术路线更多地在解决“下一步会发生什么”而不是“对方现在想干什么”“我自己的判断有多可靠”这一类问题。心智世界模型这个方向最核心的贡献就是想把后者也变成一种可以训练、可以预测、可以评估的“世界状态”。这背后有一组很具体的痛点痛点一世界模型停留在“表面预测”。无论是自动驾驶场景里的轨迹预测还是机器人操作中的状态转移预测大多数系统预测的都是位置、速度、像素、关节角度这类可观测的物理量。但在真实任务里真正决定行为能否成功推进的往往是意图、不确定性、分工和信任这类看不见的状态。痛点二大模型有“语言能力”但缺少“信念结构”。大模型可以扮演一个角色说出符合角色设定的台词但它在底层并没有一个稳定的数据结构去记录“我现在认为对方知道什么”“我预期对方会采取什么行动”。角色扮演更多是语言层面的模式匹配而不是认知层面的递归推断。痛点三多智能体协作缺乏共同认知基础。如果你让多个 AI Agent 一起完成一个复杂任务它们最常见的失败方式不是单个能力不足而是“互相不理解”。一个人以为对方已经拿到了信息另一个人以为对方会接管某个子任务结果流程卡死在错误分工上。这是因为系统缺少对“他人认知状态”的显式建模。心智世界模型试图解决的正是上面这三个问题。它把“认知状态”放到了和“物理状态”同等重要的地位。这篇文章的读者最适合的是这几类人做强化学习、机器人、自动驾驶、多智能体系统的人。做大模型应用但对“模型是否真的理解了场景”心存疑问的人。关注 AI 前沿趋势想判断下一代模型方向的技术负责人。想入局 AI 研究需要一个相对清晰方向感的学生或工程师。读完这篇文章你会理解世界模型和心智世界模型的来龙去脉能区分那些被混为一谈的概念也能用一套最小代码示例去理解“信念更新”和“心智状态预测”这类核心机制。2. 什么是世界模型它不只是视频生成在我看到的大量讨论里有一个最具迷惑性的表述被反复传播“Sora 就是世界模型因为视频生成必须理解物理规律。”这句话部分正确但放到技术定义里就不成立了。“世界模型”这个术语早在强化学习领域就有明确含义。最经典的引用是 David Ha 和 Jürgen Schmidhuber 在 2018 年发表的《World Models》。在那一套框架里世界模型由三个部分组成视觉压缩模型V把高维图像输入压缩成低维隐状态。记忆模型M基于历史隐状态和动作预测下一时刻的隐状态。控制模型C在预测的隐状态上选择动作完成规划。这套架构的核心思路是智能体不需要见过所有真实状态才能规划它可以在“内心”模拟未来。这就像人类在下棋时不需要真的移动棋子就能在大脑里推演几步之后的局面。世界模型本质上是一个“可训练的内部模拟器”。视频生成模型和世界模型的关系是视频生成可以看作世界模型的一种输出形式甚至是一种验证手段——一个能准确生成未来视频帧的模型至少在视觉层面“懂得”一些物理规律。但世界模型真正关心的是潜在状态是否能用于决策而不仅仅是生成画面是否逼真。举个例子。一个视频生成的模型可以学会生成一辆车拐弯的画面车身的运动轨迹在像素层面看起来符合物理直觉。但如果你把这个模型的隐藏状态拿出来去回答“这辆车目前的控制信号是什么”“下一步最可能的路径是哪条”它往往什么也给不出来。因为它的训练目标是像素和语义的合理性而不是状态转移的可预测性。这就是为什么很多人说“视频生成 ≠ 世界模型”。真正做世界模型的团队更在意的是隐状态的演化是否准确、可控、可干预。对比维度视频生成模型世界模型训练目标生成逼真的后续画面预测隐状态转移并支持决策输出形式图像/视频状态、奖励、风险、行为核心能力视觉合理性因果性与可规划性典型应用内容生成、特效机器人、自动驾驶、游戏 AI验证方式人工观感、FID 等生成指标决策回报、预测误差、规划成功率从这张表可以理解一个关键区别视频生成要的是“看起来对”世界模型要的是“推下去可能对”。前面的“对”是感官层面的后面的“对”是状态演化层面的。那么心智世界模型在这个基础上又增加了什么答案是它把“别人的想法”“自己的想法”“对方的信念”也纳入了需要预测的状态空间。3. 世界模型与大模型的区别“世界模型”和“大模型”是这两年被讨论得最多、也最容易混淆的一组概念。因为名字里都带“模型”很多文章干脆混着用。但从技术本质来看两者的分歧远比相似性重要。从架构看。大模型以 Transformer 为主核心机制是自注意力训练目标是下一个 token 的预测。它可以处理文本、代码、图像、音频但底层处理的都是离散或离散化后的 token 序列。世界模型则更灵活它可以是 RNN、GRU、扩散模型也可以是 Transformer核心要求是能够对环境的隐状态进行逐步的前向推演。Token 预测天然适合“下一个符号”而状态预测天然适合“下一步演化”。从训练目标看。大模型学的是“在给定上下文下下一个符号的条件概率分布”。它天然擅长补全和生成但不天然区分“事实描述”和“物理因果”。世界模型学的是“在给定动作/事件后状态如何转移”。它更接近科学建模强调变量之间的因果关系。从能力边界看。大模型擅长语言理解、知识问答、代码生成但在连续控制、规划推演、物理交互上优势有限。世界模型擅长模拟、规划、预测但在语言表达、常识问答、泛化知识上较弱。两者的互补性非常明显。我见过一个很恰当的类比大模型像一个知识渊博的顾问世界模型像一个会做兵棋推演的参谋。顾问能告诉你很多事实但参谋能告诉你在某个局面下走哪一步更可能赢。心智世界模型想做的是让参谋不仅能推演战场形势还能推演对手的心理预期。对比维度大模型世界模型典型架构TransformerRNN/GRU/Transformer/扩散模型输入空间Token 序列状态、观测、动作序列训练目标条件概率 P(next token)状态转移 P(next state)擅长能力语言、知识、代码、推理物理预测、规划、决策弱项具身交互、连续控制语言泛化、开放世界常识与物理世界关系间接通过文本描述直接通过状态和动作明白了这个区别再回头看“心智世界模型”你会发现它站在一个交叉点上它既要像世界模型一样做状态推演又要像大模型一样理解抽象的心智概念信念、意图、不确定性还要把这两者融合在一个可训练的框架里。4. 心智世界模型从预测物理世界到预测心智状态现在我们来拆解本文的核心概念心智世界模型。4.1 用一个场景理解它假设你正在开发一个双机器人协作系统。机器人 A 需要把桌子上的杯子递给机器人 B。传统世界模型的思路是A 预测杯子的位置、B 的机械臂轨迹、两者是否会发生碰撞。这些预测都建立在物理状态上比如坐标、速度、力矩。但如果我们希望系统真正稳定地完成“递杯子”这个动作A 还需要回答一类新问题B 现在知道杯子的位置吗B 是否预期我会把杯子递过去如果我改变了动作节奏B 会不会误解为我要终止协作B 对我的信任程度是多少这些问题没有一个是物理量但它们直接影响协作的成功率。传统机器人系统通过“显式通信”来解决比如 A 告诉 B“我开始递杯子了”。但现实场景中通信延迟、信息不完整、部分可观测都是常态。真正智能的系统应该能从观测中推断对方的心智状态而不是总等着对方明确表态。这正是“心智世界模型”想做的事把“对方在想什么”变成模型内部一个可以预测的状态变量。4.2 心理理论Theory of Mind带来的技术启发认知科学里有一个重要概念叫“心理理论”指的是个体理解他人拥有与自己不同的信念、意图和情绪的能力。一个成熟的成年人不需要别人明说也能大致猜到另一个人的意图并据此调整自己的行为。传统 AI 系统很少把这种能力显式建模。即便某些对话系统看起来能理解情绪本质上也只是在文本层面做情感分类。而心智世界模型不一样它要在状态空间里为“他人的信念”建立表征让智能体可以推理“他认为我知道什么”“他不知道什么”“我应该怎么引导他更新信念”。这个过程在数学上可以用递归信念推断来描述我不仅要维护自己对世界的信念还要维护“我对你信念的信念”甚至“我对你对我信念的信念的信念”。递归深度越高建模越复杂但对复杂社会行为的解释力也越强。4.3 技术路径把认知状态纳入状态空间从工程角度看心智世界模型可以理解为在传统世界模型之上增加了一个“心智状态分支”。传统世界模型维护环境状态而心智世界模型额外维护自我认知状态我对当前局势的确定性有多高我的预测置信度如何我是否需要更多信息。他人认知状态对方掌握了哪些信息对方当前的目标是什么对方对我下一步行动的预期是什么。共同认知状态哪些信息是双方都知道的哪些是公共知识哪些只是某一方的私有信息。这听起来有点抽象但在实现上它们都是向量。我们完全可以用一个神经网络把新观测编码成高维特征然后用门控循环单元GRU不断更新这些状态向量。这样模型就可以在每一步决策前根据这些状态向量进行“换位思考”。一个直观的类比是传统世界模型是在脑子里跑“物理模拟器”心智世界模型是在物理模拟器旁边加装了一个“社会模拟器”。物理模拟器负责推演物体位置社会模拟器负责推演信念和意图两者最终融合成决策。4.4 为什么要用“心智”而不是直接让大模型来推理有人可能会问既然大模型已经能理解复杂指令为什么不让大模型来做这种心智推理答案是大模型推理依赖的是文本上下文它没有一个持续更新、与环境交互闭环的“信念存储”。你可以让 GPT 类模型在对话中说“我认为对方会这样做”但它的“认为”只是一个基于历史文本的生成结果没有和真实的环境状态绑定也不会随着每次观测自动更新到同一个表征空间里。心智世界模型的优势在于状态闭环它预测的不是一句台词而是一个可更新的状态变量。这个变量既参与决策又会影响下一轮推断形成闭环。大模型更适合做高层次的语义理解和生成而心智世界模型更适合做需要连续状态更新的实时决策。这不是在否定大模型。事实上心智世界模型完全可以和大模型协同用大模型生成假设、描述场景、处理开放世界语义用心智世界模型做状态推断和规划。未来更常见的架构很可能是“大模型 世界模型 心智状态模块”的组合体。5. 技术拆解一个极简的心智世界模型示例概念讲多了容易飘我们直接进入一个可以理解的最小示例。注意这里并不是复现某篇论文的完整实现而是展示“信念更新”“心智状态与物理状态融合”这些核心机制在实际代码中长什么样。5.1 核心模块一心智状态跟踪器先定义一个模块根据新的观测更新当前的信念状态。这里用 GRU 做递归更新因为心智状态的本质是“持续演化的向量”。# mental_state.py # 概念演示用 GRU 做心智状态信念的递归更新 import torch import torch.nn as nn class MentalStateTracker(nn.Module): def __init__(self, obs_dim: int, belief_dim: int, hidden_dim: int 128): super().__init__() self.obs_encoder nn.Sequential( nn.Linear(obs_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), ) self.belief_updater nn.GRUCell(hidden_dim, belief_dim) def forward(self, obs: torch.Tensor, belief: torch.Tensor) - torch.Tensor: # 将观测压缩成特征 feat self.obs_encoder(obs) # 用 GRU 更新信念b_{t1} f(b_t, o_t) belief self.belief_updater(feat, belief) return belief这段代码的核心逻辑很直接信念不是凭空产生的而是每一轮根据新的观测一点点更新出来的。obs可以是对方的动作轨迹、沟通内容、环境变化belief则是模型对“当前形势”“对方意图”“自身确定性”的压缩表示。5.2 核心模块二物理状态与心智状态的融合再看第二个模块。我们将物理状态转移和心智状态更新放在同一个模型里最后通过一个融合层把两者结合成决策用的完整状态。# mental_world_model.py # 概念演示世界状态转移 心智状态推断 状态融合 import torch import torch.nn as nn from mental_state import MentalStateTracker class MentalWorldModel(nn.Module): def __init__(self, state_dim: int, belief_dim: int, action_dim: int, obs_dim: int, hidden_dim: int 128): super().__init__() # 物理状态转移GRU 记忆物理状态 self.world_dynamics nn.GRUCell(state_dim action_dim, state_dim) # 心智状态更新跟踪信念 self.mental_state MentalStateTracker(obs_dim, belief_dim) # 融合物理状态和心智状态 self.fusion nn.Sequential( nn.Linear(state_dim belief_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, state_dim), ) def forward(self, state: torch.Tensor, action: torch.Tensor, obs: torch.Tensor, belief: torch.Tensor): # 1. 用世界模型预测下一个物理状态 world_input torch.cat([state, action], dim-1) next_state self.world_dynamics(world_input, state) # 2. 用心智模型更新信念状态 next_belief self.mental_state(obs, belief) # 3. 将物理状态和信念拼接融合作为完整的“世界心智”状态 fused_state self.fusion( torch.cat([next_state, next_belief], dim-1) ) return fused_state, next_belief这个模块展示的正是心智世界模型和传统世界模型的本质差异传统世界模型只需要state action - next_state而这里多了一条obs - next_belief的支路并且两条支路会在融合层汇合。决策者看到的不再是“纯物理状态”而是“物理状态 心智状态”的联合表征。5.3 训练目标两种损失如何叠加在训练阶段心智世界模型通常要同时优化两类目标一是世界模型的预测误差二是心智状态的推断误差。下面给一个简化的训练循环片段。# train_demo.py # 概念演示世界模型损失 心智推断损失联合训练 import torch import torch.nn.functional as F from mental_world_model import MentalWorldModel def train_step(model, optimizer, batch): # 假设 batch 包含当前物理状态、动作、观测、下一物理状态、真实行为标签 state, action, obs, next_state, true_choice batch # 前向融合后的状态 更新的信念 fused_state, next_belief model(state, action, obs, beliefNone) # 损失 1物理预测误差 pred_next_state fused_state # 简化演示 loss_world F.mse_loss(pred_next_state, next_state) # 损失 2心智推断误差 # 例如根据信念预测对方下一步行为然后用真实行为做交叉熵 choice_logits torch.randn_like(true_choice) # 占位实际需接一个策略头 loss_mental F.cross_entropy(choice_logits, true_choice) # 总损失心智损失可以加权重 loss loss_world 0.5 * loss_mental optimizer.zero_grad() loss.backward() optimizer.step() return {world_loss: loss_world.item(), mental_loss: loss_mental.item()}这个示例里choice_logits是占位符实际项目中需要根据融合后的状态接一个策略头或多层感知机来输出行为分布。但这已经足够表达关键思想训练的最终目标不是只预测世界还要预测“认知”。只有当一个模型既能预测物理状态又能预测对方行为意图时才称得上是心智世界模型。5.4 推理时的完整流程在实际系统中每一个时间步的执行流程如下每个时间步 t: 1. 接收新观测 o_t可能包含对方动作、环境反馈 2. 调用 MentalStateTracker 更新自身信念 b_t 3. 调用 world_dynamics 预测下一物理状态 s_{t1} 4. 将 s_{t1} 与 b_t 融合形成联合状态 5. 基于联合状态生成策略/动作 a_t 6. 将 a_t 传入环境获得新的观测重复整个流程。这个流程和经典强化学习的区别在于第 2 步和第 4 步每一步都在显式维护和更新“心智状态”并且把它纳入了决策依据。6. 运行验证与评测思路如果你把上面的代码片段组装成一个小实验建议先在一个简单的二维网格环境里验证。例如让两个智能体在一个 5×5 的网格中协作取物A 知道目标物位置B 不知道但 B 可以通过 A 的移动轨迹推断位置。这个场景小而清晰很适合验证心智状态模块是否真的起作用。运行一个最小训练循环python train_demo.py --epochs 20 --batch-size 32 --mental-loss-weight 0.5在没有标准数据集的情况下运行结果主要看两个方向world_loss是否持续下降说明物理状态预测是否在学习。mental_loss是否持续下降说明模型是否在逐步学会“读懂”对方的意图。预期观察随着训练轮数增加mental_loss会先快速下降之后与world_loss同步缓慢下降。这里要注意如果你的mental_loss完全不下降很大概率不是训练参数的问题而是模型根本没有收到与心智状态相关的信息——换句话说观测obs中可能没有包含能反映对方意图的特征。评测方面心智世界模型不能只测“状态预测误差”还应该测以下几类指标行为预测准确率给定前序观测模型能否准确预测对方下一步动作。协作成功率在需要默契配合的任务中完成任务的概率是否提升。样本效率达到同样协作水平所需训练步数是否显著降低。不确定性校准模型对自身信念的置信度是否与实际准确性一致。从材料看当前学术界在这个方向还处于早期探索阶段没有统一的评测基准。更稳妥的判断是短期内评测会围绕“心理理论任务”和“多智能体协作任务”展开这也是心智世界模型最能拉开差距的测试场景。7. 常见误区与问题排查很多人第一次接触“心智世界模型”会在概念上绕进几个误区。这里整理了几类最常见的问题并给出清晰判断。歧义/现象根本原因正确理解解决方向把 Sora 当作世界模型混淆“视频生成”和“状态预测”视频生成只是世界模型的一种输出形式用隐状态预测、规划能力来判断是否是世界模型把大模型心理解释当作心智世界模型只看到“语言层面模拟”心智世界模型要求状态层面递归信念更新关注是否有显式信念状态、是否闭环更新把心智世界模型等同于强化学习的奖励模型混淆“目标建模”和“认知建模”奖励模型描述好/坏心智模型描述“对方怎么想”心理理论任务中验证心智推断能力认为多智能体通信可以替代心智建模忽略通信延迟和部分可观测心智建模是通信之外的鲁棒选择在通信受限场景下测试系统表现把递归信念推断理解为无限递归过度理论化实际系统中通常只需 1-2 层递归从一层递归开始逐步加深排查路线如果你在自己的实验里遇到问题可以按以下顺序排查先确认基线。把心智模块的权重设为零只训练世界模块看物理预测是否正常。再单独验证心智模块。固定世界模块输出信念状态可视化观察信念是否随观测变化。检查数据是否真的包含认知信息。如果你给模型的观测里只有物理坐标没有目标位置信息那么模型无论如何也推断不出“对方知道什么”。最后才是调参。大多数早期失败不是超参数问题而是信息通道问题。8. 工程实践与研究建议心智世界模型目前还没有形成成熟的开源生态和工程标准但这并不意味着它离应用很远。相反从技术和资源投入的角度我认为现在反而是介入的好时机。先从工程角度给出建议。适合引入心智世界模型的场景通常在以下几个特征里至少占两个任务需要多个智能体协同完成。观测存在不完整性和信息不对称。通信成本和延迟较高不能随时显式协商。需要根据他人反馈动态调整自身行为。典型场景包括仓储机器人调度、自动驾驶车路协同、游戏 NPC 行为建模、人机协作机器人、复杂谈判策略等。不适合的场景也值得说清楚单智能体、环境完全可观测、没有明显交互博弈的任务心智世界模型收益有限。对实时性要求极高、计算资源严重受限的嵌入式环境不适合跑大规模信念递归。当前阶段如果用普通大模型 API 就能解决的任务就不需要硬套心智世界模型架构。从研究角度建议按下面这个阶梯推进第一步在简单博弈场景中验证心智推断能力。比如让两个智能体玩不完全信息游戏一方通过观察对方的行为推断其私有信息。第二步引入多智能体强化学习框架把心智世界模型作为额外模块加入现有 PPO、MADDPG 等算法中对比加入前后的协作效果。第三步把大模型作为高层语义接口心智世界模型作为底层状态推演器构建混合架构。第四步探索不确定性建模。心智世界模型的价值不只是“能推断对方在想什么”更在于“知道自己推断得有多准”。因此信念状态的方差、置信区间应该和均值一起被评估。需要强调的安全边界是心智建模能力一旦增强系统就具备了“操控对方认知”的潜力。例如一个系统如果知道你相信什么它就可以故意提供误导信息。这在博弈和营销场景中可能是优势但在真实社会应用中必须设定伦理边界和使用范围。所有相关实验都应在受控环境、合法授权的前提下进行。9. 总结与后续学习方向这篇内容的落点不只是解释一个新名词而是希望帮你建立一个判断未来模型走向的坐标。世界模型关注的是“外部世界如何演化”大模型关注的是“语义和知识如何生成”而心智世界模型关注的是“认知状态如何同步”。它真正的筹码不是多了一个模块而是让 AI 第一次把“别人怎么想”当成和“世界怎么变”同级别的预测对象。如果只记一句话下一代模型竞争的关键之一可能不在于谁能生成更逼真的视频而在于谁能更准确地推断和预测“心智状态”。这会直接影响机器人协作、自动驾驶、AI Agent 之间协同这些真实落地场景。下一步想深入建议从三个方向选一个切入一是学习心理理论和递归信念推断的经典文献二是动手写一个最小的心智世界模型并跑通一个多智能体协作环境三是关注牛津、NUS 等团队在这个方向上的新论文尤其是其中的评测设计和实验设置。这个方向还很早期没有标准答案也没有开箱即用的工程框架。对所有研究者、工程师和技术决策者来说这既是挑战也是最有意思的地方。