OpenClaw 的 environment 真实用户 OpenClaw App FastAPI Proxy 的组合它是异步、不可控、不可重置的“env” 是异步的、不可控的、不可重置的用户什么时候回复不知道用户回复什么不知道让用户重来不可能传统的 env.step() 接口根本不适用——因为调用方无法主动驱动环境只能被动等待用户发消息。所以 OpenClaw 没有封装成 Environment 类而是用 event-driven 的 FastAPI 处理HTTP 请求到来时才有数据每个请求触发一次完整的接收 obs → 执行 action → 计算 reward → 判断 done流程。6.3 Environment 的隐式边界如果强行画出 Environment 的边界则如下图。FastAPI Proxy 同时扮演了 environment 的接口层 rollout 的数据管道——这两个角色在标准 RL 中是分开的在 OpenClaw 中被合并了。8-Environment 的边界6.4 对训练的影响环境无法封装带来一个直接后果每轮 rollout 的时间不可预测。标准 RL每轮 rollout 时间可预测 → 训练节奏稳定OpenClawrollout 时间取决于用户活跃度 → 训练节奏不稳定 → 需要 submission_enabled pause/resume 机制 → 需要 timeout 和 at-least-one 保障0x07 Environment Scaling业界进展与下一代方向Environment Scaling 扩展RL 训练环境的多样性(任务种类、场景分布)难度(自动适应模型能力)规模(并发环境数量)无限性(是否能持续产生新任务)模型能力f(算法模型规模数据规模环境规模)↑Env Scaling 关注这个维度7.1 三类 Env Scaling类型A水平扩展(并发数量)DeepMind AlphaGo → AlphaGo Zero: 从数千个并发棋局→数万个并发棋局训练速度 ∝ 并发环境数OpenAI Dota 2: 128,000 场/秒 (等于人类打 45,000 年)完全依赖并发环境的超大规模运行类型B垂直扩展(难度Curriculum)手动设计简单 → 中等→困难(固定课程)自动课程Absolute/Relative progress signal (ALP-GMM)自动检测模型刚好能学但还有进步空间的难度区间 → 始终在模型能力边界处训练 → 信号不退化(既非太简单也非太难)类型C多样性扩展(任务空间)SWEBench → OpenHands: 500 ↑ GitHub issue → thousands of real-world tasksWebArena→VisualWebArena→WebArena-Lite: 单一网站→多种Web环境→视觉理解加入OSWorld: GUI操作环境(桌面应用、Web、移动端)代表工作领域 代表性 Env Scaling 工作数学/代码 DeepSeek-Prover无限定理生成 SWEBench 代码执行验证器Web Agent WebArena → WebArena-Infinity 用 LLM 自动生成新任务具身 Agent Habitat 3.0社交具身 Genesis新型物理仿真引擎通用 Agent OpenClaw真实用户 无限多样化环境 RLHF from production无需专门 env7.2 RLAnything 技术详解在强化学习领域我们长期面临两个核心挑战稀疏奖励信号的有效传递以及静态环境与动态策略之间的不匹配。RLAnything框架通过构建环境、策略和奖励模型的闭环优化系统为这些难题提供了创新解决方案。整体架构三组件闭环8-RLAnything三个组件分别用对方的输出作为自己的训练信号Policy用RM的步骤评分 结果奖励联合训练RM用Policy的轨迹 自洽性反馈联合训练Environment用RM的失败分析自动调整任务难度Policy 训练Integration Feedback步骤奖励公式R_τi O_τ (λ/m) * Σ_j S_{T_{i,j}} (λ1 默认)其中:O_τ ∈ {-1, 1}: 轨迹的最终结果奖励 (二元成功/失败)S_{T_{i,j}} ∈ {-1, 1}: RM 对第 i 步的第 j 次评分 (共 m 次)R_{T_i} ∈ [-2, 2]: 步骤 i 的综合质量Advantage计算优势 对同一 step index i 的所有轨迹, 标准化 R_τi(GRPO 风格, 但 baseline 是“同步骤其他轨迹的平均质量“)和标准GRPO的区别标准GRPO RLAnythingReward 序列级标量 步骤级(RM评分结果)Baseline 同组轨迹均值 同步骤的轨迹均值RM 无(或外部固定) 联合训练动态更新Reward Model 训练Consistency FeedbackRM的训练信号R_S_τi,j R_τi · S_τi,j直觉理解:R_τi 0 (步骤质量好) 且 S_τi,j 1 (RM说好) → 1 (正确, 奖励)R_τi 0 (步骤质量好) 且 S_τi,j -1 (RM说坏) → -1 (错误, 惩罚)R_τi 0 (步骤质量坏) 且 S_τi,j -1 (RM说坏) → 1 (正确, 奖励)R_τi 0 (步骤质量坏) 且 S_τi,j 1 (RM说好) → -1 (错误, 惩罚)RM 的 Advantage 计算: 标准化 R_Sτi,j 跨越同一步骤的 m 次评分关键设计RM的训练数据就是Policy 当前跑出来的轨迹。即Policy每次更新→生成新轨迹→RM在这些新轨迹上更新RM每次更新→给Policy更好的步骤信号→Policy在更准确的信号上更新这是真正意义上的联合训练不是两个独立模型的交替训练。数学保证(Theorem1)RM精度 AP(RM对好步骤评分对坏步骤评分)A → 1 当且仅当 μ p p- 1(p P(RM正确识别好步骤), p- P(RM正确识别坏步骤))