构建一个比自己更聪明、能够自我改进的AI然后退休。感觉rl和游戏的关系真的很紧密, no game no life bush一、世界模型的历史古希腊人 Ptolemy 提出人类识别物体靠收集内部的蓝图/模板blueprints/templates后继者补充心理意象mental images允许人类在没有真实物体的情况下想象未来、操作图像、规划动作序列这些观点距今已有 2000 多年历史2. 神经网络世界模型的先驱1987 年Paul Werbos 提出两个网络的架构一个是controller控制器感知环境输入、发出动作另一个是system identification系统辨识网络预测 controller 动作的后果用反向传播为 controller 提供好的梯度使其动作能最大化 model 预测的奖励1987 年 Paul Munro 也提出过非常类似的想法1990 年Schmidhuber 对当时的世界模型不满意提出更一般的框架面向部分可观测环境因此需要循环神经网络或类似记忆系统关键controller 自己也接收 reward 信号作为输入而不是只最大化 reward这一设计对meta-learning至关重要——controller 要能改进自己的学习算法就必须看到外部的评价信号3. 多模态 pain sensor机器人有疼痛传感器不止一个 reward 信号而是多模态的疼痛信号每个关节、每个部位对应一个传感器机器人能精确定位我现在哪个部位碰到了障碍物把所有 error 信号和 reward 信号都作为输入再把 controller 的输出送到世界模型中预测未来的输入包括 reward、神经信号、视频、音频、触觉等二、Controller vs World Model世界模型初始是stupid的什么都不知道。Controller 该做什么来改进世界模型答案Controller 必须变成科学家生成能带来新数据的动作序列。2. 两种目标函数角色目标动作World Model最小化预测误差MSE调整连接权值以更好预测Controller最大化同样的误差制造让 model 感到意外的环境区域形成了一个Min-Max 对抗游戏220 年前 Gauss 和 Legendre 在做线性回归/人工神经网络时在用同一招。3. Controller 的实现隐藏层使用Gaussian 单元含可学习的均值和方差通过梯度下降学习当 world model 把某部分环境预测得很准controller 会感到无聊没新 reward于是去探索另一片区域当年 Schmidhuber 把这个称为artificial curiosity今天学界把它叫做generator-adversarial network4. 局限1990 年的版本是millisecond by millisecond 规划在 world model 中模拟可能的动作序列挑一个能获得高预测奖励的序列执行。这在简单环境里能用但本质上是mental rollout太简单。三、可预测性最大化Pmax1992 年 JEPA 的真正前身不要预测每一个像素而是预测输入的抽象表示abstract representations这些内部表示丢掉一些信息但仍然是有信息量的同时仍然可预测并且尽量多地保留输入信息2. 损失函数的双项设计训练两个网络最小化两类误差预测误差预测下一个抽象表示的误差信息保持项DL / D1 / D21992 年论文中的命名强制保留尽量多的输入信息防止collapse即内部表示变得超级可预测但不携带任何输入信息3. 与现代架构的对应1992 PmaxDL 预测误差 ↓ 去除 DL引入 implicit architectural tricks 2020 BYOLBuild Your Own LatentDeepMind / Michael Valko ↓ 沿用 BYOL tricks 2023-2024 I-JEPA / V-JEPA ↓ 2025 2025 Le-JEPAValko 团队完全丢弃 tricks回到 1992 的 explicit anti-collapse regularizerLe-JEPA full circle return——学界花了 5 年探索 BYOL 打开的新范式最终又回到了 1992 年 Pmax 论文中那个显式信息最大化项的设计。maybe JEPA / Pmax 这类方法只是用来提取可预测的抽象表示的技术并不是通向 AGI 的有前途路径。四、不要只预测潜空间要预测一切1. “Holy Data” 原则人的一生只有一次 trialsingle lifetime要在这一个 trial 中最大化奖励视频、音频等高维数据中包含大量与强化学习无关的算法信息可以学到世界是三维的、有重力等规律这一切都通过预测每一个像素学到2. 可预测性你不预先知道世界哪些东西可预测、哪些不可预测所以策略就是predict everything这样得到的内部表示会自然学会预测每个像素的期望值预测像素上的概率分布有些预测可能需要记忆 1000 步之前的信息——好的学习算法会通过梯度下降自动学会这种长程依赖3. 数据存储的策略层级内容价值原始数据holy data所有像素、所有传感器信号极占存储但蕴含世界唯一完整信息算法/压缩模式从原始数据中提取的规律、规则占存储小是真正的价值所在人脑按每个突触 4-5 bit 估算足以完整保存一个人一生的高分辨率经验存储够大就不要扔任何原始数据在大量的原始数据之上还有微小的算法从数据中提取模式和规律目标发现新的压缩模式比之前的压缩更好地压缩整个数据集尽可能的保留原始特征信息五、Controller 作为 Prompt Engineer1. 为什么不用 mental rollout 模拟一切1990 年那种逐毫秒展开 simulation 显然不可行真实世界规划靠的是抽象、层次化、sub-program的复用举例从当前位置去里约热内卢不是模拟手指怎么动、怎么拿手机、怎么叫出租车……而是调用已有的子程序当前位置 → 出租车站 → 机场 → 飞行 9 小时 → 里约规划时只看少量高层未来节点junctions而不是毫秒级动作。2. 架构设计┌──────────────────┐ ┌──────────────────┐ │ │ prompt vectors (问题) │ │ │ Controller │ ─────────────────────► │ World Model │ │ (Prompt Eng.) │ │ (RNN / 大模型) │ │ │ ◄───────────────────── │ │ └──────────────────┘ 回答内部表示激活 └──────────────────┘ │ ▼ 策略 / 动作Controller学习向 world model发送 prompt数字向量序列Prompt 的作用寻址addressworld model 学到的相关内部表示重要的是输入 prompt 的连接和读取返回结果的连接都属于 controllerController 通过大量任务训练学会做更好的 prompt engineer发送更好的问题更好地解读返回的答案忽略不相关的部分关注当前任务重要的部分3. 核心测试Ace Test一个诚实的检验controller忽略 world model时能否比向 world model 发几个 prompt后学到新任务更快Prompt 是 controller自己发明的语言不是英语返回的信息是算法信息可以让 controller 编辑策略的几个 bit 然后获利这种方式可以以任意可计算的方式利用 world model 隐藏单元中的信息4. 与 DeepSeek 的联系Schmidhuber 在此提到2015 年的Learning to Think工作与2025 年 DeepSeek 的某些做法相当类似暗示 DeepSeek 的某次重大进展受其启发。5. LLM 中的对应现代大语言模型已经在做这件事的受限版本Prompt 不再是任意数字向量而是自然语言通常是英语也可以是图像等LLM 内部已经有大量学到的世界知识输入 prompt 唤醒相关内部表示输出回答这就是 controller 当 prompt engineer 的现实实例六、循环神经网络作为通用计算机1. 理论能力几个 recurrent 连接就能实现NAND gate由 NAND gate 构成的 ALU 可以模拟笔记本的算术单元因此 RNN 至少和笔记本一样强大现实中没有真正的通用计算机需要无限存储但 RNN 总是可以按需增加存储接近 universality2. 两种使用方式方式年份思路适用场景毫秒级 rollout 规划1990逐毫秒模拟巨型搜索树 函数逼近剪枝棋类等简单场景Prompt Engineering2015Controller 向世界模型发问、读回答真实世界、抽象层次任务毫秒级 rollout 在简单场景棋盘游戏够用但真实世界完全不行——必须有抽象和层次化把未来规划分解为 chunks。七、问答环节要点Q1从毫秒动作到抽象动作怎么过渡答使用通用 RNN 作为 world model 时world model 看到所有过去的动作和所有过去的输入——它不仅看上一个毫秒还看五分钟前。内部会自然形成这样的隐藏单元每当有人说我想建一个忽略像素细节的世界模型时就激活。RL prompt engineer 的任务是找到那些高层抽象单元结合当前任务可能是花一天去里约这种长程任务一起寻址。Q2如何把 25 年前的层次化、符号化高层规划工作与现代模型结合答先回顾Dyna 架构——它用 lookup table 做预测没有神经网络本质上也是 rollout 规划。Schmidhuber 提到他1990-1991 年就做过 sub-goal generatorStart Goal → Subgoal Generator → Subgoal ↓ ┌───────────┴───────────┐ ▼ ▼ Evaluator1 Evaluator2 (Start → Subgoal) (Subgoal → Goal) 预测难度 → 代价 a 预测难度 → 代价 b两个 Evaluator 副本预测从 Start→Subgoal 和 Subgoal→Goal 的难度代价Subgoal Generator 通过梯度下降学习生成好的 subgoals使两段代价之和最小这就是 1990 年代的层次化跳过长动作序列的设计但 Schmidhuber 认为 2015 年的Learning to Think更通用——它通过通用 RNN 和 prompt engineering可以学习任意可计算的算法处理任意子问题。八、Schmidhuber 总结的方法论选择维度路线 APmax / JEPA 路线路线 B预测一切 Prompt Engineering预测目标抽象潜空间表示原始像素的完整分布模型使用方式学习可预测的内部表示作为被 controller 寻址的知识库Controller 角色隐式 / 不强调显式的 prompt engineer信息利用丢失部分像素细节不扔任何 holy data规划方式隐式 / 抽象高层 chunk 子程序复用Schmidhuber 评价只是提取抽象表示的技术才是通往 AGI 的方向附录原文中文World Model世界模型Controller控制器System Identification系统辨识Artificial Curiosity人工好奇心Predictability Maximization (Pmax)可预测性最大化Predictable Maximization (PMax)同上的不同写法BYOL (Build Your Own Latent)构建你自己的潜空间JEPA / I-JEPA / V-JEPA / Le-JEPA联合嵌入预测架构系列Prompt Engineering提示工程Learning to Think学习思考Holy Data神圣数据不可丢弃的原始数据Collapse表征学习中的坍缩Anti-collapse regularizer抗坍缩正则化项Rollout推演/展开Sub-goal Generator子目标生成器Evaluator评估器DynaSutton 1990 年的经典集成规划与学习的架构