这篇论文要解决的问题其实是机器人策略学习里一个看起来很简单、但一直没被真正解决好的问题能不能让机器人直接“说出”它为什么要这么做过去几年视觉语言动作模型VLA已经能做到“看画面、听指令、出动作”但决策过程基本是个黑盒。你问它“你为什么要抓杯子”它答不上来。R^3 这篇工作把强化学习和自然语言推理串在了一起机器人在训练过程中不仅要学会完成任务还要学会用自然语言描述自己的推理过程而且这个推理过程是通过强化学习优化出来的不是靠人工标注硬教出来的。这篇文章我会按下面几条线展开R^3 的核心思路为什么自然语言推理能提升机器人策略而不是只做可视化解释。它和传统 VLA、纯 RL 微调有什么区别改进发生在哪个环节。论文方法拆解推理奖励模型、GRPO 训练、反思 token以及数据生成流程。实操视角如何把一个类似思路用在两阶段训练流程里包含可运行的示例代码。训练效果如何评估、常见失败模式是什么、生产落地有哪些坑。如果你正在做机器人操作策略、VLA 微调或者对“强化学习 自然语言推理”这个交叉方向感兴趣这篇文章值得读完。很多细节不是论文里一眼能看出来的我会尽量用工程视角帮你拆开。1. R^3 到底解决了什么问题先说一个背景。机器人操作领域现在的主流范式是预训练一个视觉语言动作模型然后在具体任务上微调。模型输入是“相机图像 自然语言指令”输出是动作序列。VLA 在很多 benchmark 上表现不错但它有一个很明显的短板模型只会“做”不会“说”。注意这里的“说”不是指语音交互而是指用自然语言形式表达自己的决策依据。比如任务指令是“把红色杯子放到托盘里”我们希望模型不仅能输出动作还能同时输出一句类似“我选择先靠近杯子是因为它是场景中唯一一个红色物体”的推理文本。这类文本在当前系统里一般有两种来源第一种是人工标注。让标注员看着机器人的轨迹写下每一步的 reasoning。成本高不说标注出来的文本还未必和策略的真实决策一致。模型可能根本没按这句话来做只是学会在输出动作的同时“编”一句像模像样的解释。第二种是让大语言模型离线生成。VLM 把场景图和轨迹丢给 GPT-4 之类的模型让模型写出推理过程。这个思路的问题在于生成推理时机器人还没有真正尝试这个任务它不知道哪条路能成功、哪条路会失败。所以这种“先验式”推理经常和实际动作脱节。R^3 换了一个思路不预先写好推理而是在强化学习过程中让机器人边试错边生成推理。推理文本如果能帮助策略拿到更高回报它就会被保留和强化如果推理文本和动作不一致或者导致低回报它就会被抑制。换句话说R^3 把自然语言推理从“事后解释”变成了“在线决策的一部分”。这也是论文标题里 Reason in Natural Language via Reinforcement Learning 的真正含义。从工程角度看这个设计的价值很直接降低标注成本不需要人工写推理文本推理由模型自己生成RL 负责筛选。推理和策略对齐能被保留的推理一定是和成功轨迹高度相关的推理。可解释性不是附加品而是被奖励函数直接优化的目标。2. 核心概念为什么推理能提升机器人策略要理解 R^3必须先想清楚一个问题自然语言推理文本为什么能反过来帮助策略学得更好2.1 语言推理是策略的高层“中间变量”机器人动作空间是高维连续空间一步动作可能有 7 到 14 个自由度。直接在动作空间里探索效率很低因为大量动作是无效的、甚至是有害的。而自然语言推理相当于把动作空间“降维”成一个中间变量模型先推理出“我要先靠近杯子”然后再根据这个意图解码出具体动作。这个中间变量的存在本质上改变了探索的语义粒度。动作层面探索是“我在关节空间里随机试”语言层面探索是“我在策略假设空间里试”。后者更接近人类解决新任务的方式也更利于奖励信号在时间维度上传播。2.2 反思 token让模型能在失败后修正推理R^3 里一个很有工程价值的细节是引入了一个特殊 tokenreflect。模型在生成的推理文本中可能会输出这个 token表示“当前推理可能有问题需要修正”。这个设计的直观理解是不再要求模型一次推理到位而是允许模型在轨迹中途“停下来想一想”重新评估当前状态然后继续。这个机制让推理不是静态的一句话而是动态的、可修正的思维过程。从 RL 训练角度看反思 token 还解决了一个实际问题当模型在长时间 horizon 任务中执行失败时错误可能来自前面的推理也可能来自后面的动作。反思 token 给模型提供了一个“重新开始推理”的支点缩小了 credit assignment 的难度。2.3 推理奖励模型不依赖人工评分R^3 的推理质量不需要人类逐句打分。它用 GPT-4o 预先构建了一个推理奖励模型reasoning reward model训练数据来自随机 Rollout 策略采样并用基于规则的评分逻辑给推理文本打标签。这个设计的巧妙之处在于推理奖励模型不是用来生成推理而是用来评估推理与动作的一致性。在训练时策略模型每输出一个带推理的动作轨迹奖励模型就判断这段推理是否和动作匹配、是否有助于任务成功。这样整个训练循环就变成了策略采样 - 环境反馈 - 任务奖励 推理奖励 - GRPO 更新 - 再采样不再需要人类在循环中标注。3. R^3 的整体架构与数据生成流程3.1 两阶段训练框架R^3 不是一个全新的模型架构它是在 VLA 基础上叠加了一个两阶段训练流程。第一阶段是行为克隆BC预训练第二阶段是强化学习微调。先看阶段的划分阶段训练方式输入输出主要作用第一阶段行为克隆图像 指令 任务描述动作 推理文本让模型学会基础操作和基础语言推理第二阶段强化学习GRPO图像 指令 任务描述动作 推理文本用环境反馈和推理奖励优化策略让推理更可靠为什么不能直接跳过第一阶段因为纯 RL 从随机策略开始训练在真实机器人或高维仿真环境里会非常不稳定。先用 BC 把模型带到“能完成一部分任务”的水平再用 RL 优化是当前机器人 RL 微调的主流做法。3.2 推理数据的生成BC 预训练需要“图像-指令-动作-推理”四元组数据。R^3 的做法是从任务环境中采样随机 Rollout 轨迹。把轨迹片段交给一个大型视觉语言模型如 GPT-4o让它生成对应的推理文本。用规则和评分机制筛选高质量数据。这里有一个关键点LLM 生成的推理文本要经过一轮“贴标签”处理。标签包括推理是否与动作一致、是否逻辑完整、是否能指导后续决策。这些标签后续会作为推理奖励模型的训练目标。这种数据生成方式的好处是成本远低于人工标注坏处是依赖大模型本身的能力上限。如果大模型生成的推理本身质量不高推理奖励模型的上限也会受限。这也是 R^3 这类方法目前在仿真环境表现好、真实环境还需要验证的原因之一。4. 核心训练算法GRPO 与反思 token 的作用R^3 用的强化学习算法是GRPOGroup Relative Policy Optimization这个算法因为 DeepSeek-R1 等语言模型训练工作而被广泛知晓但它同样适合机器人策略训练。4.1 GRPO 与传统 PPO 的区别PPO 在更新策略时需要一个 Critic 网络来估计状态价值函数这个 Critic 网络的训练是一个额外的优化目标而且很容易不稳定。GRPO 的做法更轻量它对同一个状态采样一组动作然后根据这组动作的相对优劣来计算 advantage。公式层面可以这样理解PPO 的 advantage 依赖 Critic 的预测。GRPO 的 advantage 是组内归一化(r_i - mean(r_group)) / std(r_group)。在机器人任务中这个区别的价值在于环境奖励往往非常稀疏Critic 很难准确估计价值。GRPO 用“同一个状态下多个采样结果的相对比较”来替代价值预测训练更稳定超参数也更少。4.2 推理奖励如何进入 GRPOR^3 在 GRPO 更新时总奖励不是单一的任务奖励而是两部分total_reward task_reward alpha * reasoning_rewardtask_reward任务是否成功、是否靠近目标等环境给出的奖励。reasoning_reward推理奖励模型给当前推理文本的打分。alpha两者之间的权重系数。这里值得注意推理奖励不是只在训练结束时算一次而是在每个推理步骤都会算。这样模型能逐步学会“某一步的推理对不对”而不是等到整条轨迹结束才知道自己错在哪里。4.3 反思 token 的训练机制reflecttoken 是通过 RL 自然涌现的不是显式监督出来的。训练时模型发现输出reflect然后修正推理可以提高后续动作的成功概率于是这个 token 的使用频率就会上升。这有点像语言模型训练中“思考” token 的涌现你不需要人为规定模型什么时候该反思只需要让反思行为能带来更高回报模型自己就能学会在什么状态下反思最有利。5. 实操如何搭建一个类似的两阶段训练流程论文的核心方法可以抽象成一套通用流程。下面我用一个最小示例演示如何用 PyTorch 搭建一个“VLA 策略 推理文本 GRPO 微调”的训练雏形。示例不会完整复现论文但会覆盖核心逻辑。先说明环境Python 3.10PyTorch 2.x一个可交互的机器人仿真环境示例用简洁接口代替5.1 模型定义我们定义一个简单的策略模型视觉编码器 文本编码器 动作头 推理头。# 文件路径models/vla_policy.py import torch import torch.nn as nn from transformers import AutoModel, AutoTokenizer, CLIPVisionModel class RLPolicy(nn.Module): 简化版 VLA 策略模型 - visual_encoder: 图像编码器 - text_encoder: 指令和推理文本编码器 - action_head: 输出连续动作 - reasoning_head: 输出推理 token 序列 def __init__(self, vision_model_nameopenai/clip-vit-base-patch32, text_model_namebert-base-uncased, action_dim7, reasoning_tokens64): super().__init__() self.vision_encoder CLIPVisionModel.from_pretrained(vision_model_name) self.text_encoder AutoModel.from_pretrained(text_model_name) self.tokenizer AutoTokenizer.from_pretrained(text_model_name) self.action_dim action_dim self.reasoning_tokens reasoning_tokens # 动作头从多模态特征映射到连续动作 self.action_head nn.Sequential( nn.Linear(768 768, 512), nn.ReLU(), nn.Linear(512, action_dim) ) # 推理头从多模态特征映射到推理 token logits self.reasoning_head nn.Linear(768 768, reasoning_tokens) def forward(self, image, instruction): image: [B, 3, H, W] instruction: list[str] # 图像特征 vision_feat self.vision_encoder(pixel_valuesimage).last_hidden_state # 这里取全局平均池化简化处理 vision_feat vision_feat.mean(dim1) # [B, 768] # 文本特征 encoded self.tokenizer(instruction, return_tensorspt, paddingTrue, truncationTrue) encoded {k: v.to(image.device) for k, v in encoded.items()} text_feat self.text_encoder(**encoded).last_hidden_state text_feat text_feat.mean(dim1) # [B, 768] # 拼接特征 fused torch.cat([vision_feat, text_feat], dim-1) action self.action_head(fused) reasoning_logits self.reasoning_head(fused) return action, reasoning_logits关键说明示例没有使用完整的 transformer decoder 结构而是用简单的 MLP 头目的是让逻辑更清晰。reasoning_logits可以理解为模型对“推理 token 库”的打分实际训练中会将这个分数和语言模型输出结合。5.2 第一阶段行为克隆预训练BC 阶段的目标是让模型学会“看到图像和指令后输出接近专家的动作并生成基础推理文本”。# 文件路径train_bc.py import torch import torch.nn as nn from models.vla_policy import RLPolicy from torch.utils.data import DataLoader, Dataset class RobotDemoDataset(Dataset): 简化数据集图像 指令 专家动作 参考推理文本 def __init__(self, images, instructions, expert_actions, reasoning_texts): self.images images self.instructions instructions self.expert_actions expert_actions self.reasoning_texts reasoning_texts def __len__(self): return len(self.images) def __getitem__(self, idx): return { image: self.images[idx], instruction: self.instructions[idx], action: self.expert_actions[idx], reasoning_text: self.reasoning_texts[idx], } def train_bc(model, dataloader, epochs5, lr1e-4): optimizer torch.optim.AdamW(model.parameters(), lrlr) mse_loss nn.MSELoss() ce_loss nn.CrossEntropyLoss() model.train() for epoch in range(epochs): total_loss 0.0 for batch in dataloader: image batch[image] instruction batch[instruction] expert_action batch[action] reasoning_ids batch[reasoning_ids] pred_action, reasoning_logits model(image, instruction) loss_action mse_loss(pred_action, expert_action) loss_reasoning ce_loss( reasoning_logits.view(-1, reasoning_logits.size(-1)), reasoning_ids.view(-1) ) loss loss_action loss_reasoning optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch 1}, Loss: {total_loss / len(dataloader):.4f})这段代码对应的论文逻辑是BC 阶段同时优化动作误差和推理误差让推理文本不是纯文本生成而是和动作预测共享同一个多模态特征。5.3 第二阶段GRPO 强化学习微调GRPO 的核心是“同状态下采样多个动作基于组内相对优劣计算 advantage”。下面的代码展示一个小型 GRPO 训练循环# 文件路径train_grpo.py import torch import torch.nn as nn def compute_group_advantage(rewards, group_size4): 按组计算相对优势。 rewards: [num_groups, group_size] 每个组内做归一化得到 advantage。 rewards rewards.float() mean rewards.mean(dim-1, keepdimTrue) std rewards.std(dim-1, keepdimTrue) 1e-6 advantage (rewards - mean) / std return advantage def grpo_update(model, optimizer, image, instruction, actions_sampled, rewards, group_size4): 简化的 GRPO 更新流程 1. 带上采样动作重新前向得到新旧策略概率。 2. 计算组内 advantage。 3. 计算 clipped surrogate loss。 # 假设 actions_sampled 形状为 [num_groups, group_size, action_dim] num_groups actions_sampled.size(0) # 将组维度合并重新前向 image_expanded image.unsqueeze(1).expand(-1, group_size, -1, -1, -1).reshape(-1, *image.shape[1:]) instruction_expanded [instr for instr in instruction for _ in range(group_size)] pred_action, reasoning_logits model(image_expanded, instruction_expanded) pred_action pred_action.view(num_groups, group_size, -1) # 简化使用 MSE 作为策略 log 概率的替代实际应使用完整概率分布 log_prob -((pred_action - actions_sampled) ** 2).sum(dim-1) old_log_prob log_prob.detach() ratio torch.exp(log_prob - old_log_prob) advantage compute_group_advantage(rewards, group_size) # PPO 风格 clip clip_epsilon 0.2 surr1 ratio * advantage surr2 torch.clamp(ratio, 1.0 - clip_epsilon, 1.0 clip_epsilon) * advantage policy_loss -torch.min(surr1, surr2).mean() optimizer.zero_grad() policy_loss.backward() optimizer.step() return policy_loss.item()这段代码把 GRPO 最核心的计算逻辑展示出来了组内归一化 advantage 重要性采样比率 clip 操作。真实训练中还需要加入推理奖励、KL 散度约束、反思 token 的动态采样但整体框架是一致的。5.4 推理奖励模型示例推理奖励模型的作用是给“动作轨迹 推理文本”的组合打分。我们用 MLP 做一个简化版# 文件路径models/reasoning_reward.py import torch import torch.nn as nn class ReasoningRewardModel(nn.Module): 推理奖励模型 输入拼接的轨迹特征 推理文本特征 输出一个标量分数表示推理质量和动作一致性。 def __init__(self, input_dim1536, hidden_dim512): super().__init__() self.mlp nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1) ) def forward(self, trajectory_feat, reasoning_feat): fused torch.cat([trajectory_feat, reasoning_feat], dim-1) score self.mlp(fused).squeeze(-1) return score推理奖励模型在第二阶段通过以下方式与 GRPO 协作1. 策略采样一条轨迹包含若干步推理文本和动作。 2. 对每一步用推理奖励模型打分。 3. 将分数加权到 GRPO 的总回报中。 4. 策略梯度根据加权回报更新模型。这样模型不仅会追求任务成功还会追求“每一步的推理都合理”。6. 训练效果如何验证在仿真环境里验证 R^3 风格训练是否有效可以关注三个维度。6.1 任务成功率最直接的指标是任务成功率。论文中 R^3 在 SIMPLER 等基准上相比基线有明显提升。我们在自己的实验里至少要从这三个层面记录BC 预训练后的成功率。只使用任务奖励做 RL 微调后的成功率。使用任务奖励 推理奖励做 RL 微调后的成功率。没有对比就无法判断推理奖励是否真的有效。6.2 推理文本质量光看成功率还不够因为模型可能“成功率高但推理依然在胡说”。可以采样一批成功轨迹让人类评估或让 GPT-4o 评估推理文本的合理性。建议用 1 到 5 分制评估维度包括维度说明一致性推理内容是否与执行动作一致逻辑性推理步骤是否前后连贯可指导性推理是否能为后续动作提供明确指引简洁性是否有大量无关信息或重复内容6.3 反思 token 的使用频率观察模型在训练过程中输出reflecttoken 的频率变化。如果训练有效应该看到前期反思 token 出现频率逐渐上升说明模型在学会识别“自己可能出错”的状态。后期可能维持在一个合理水平而不是越高越好。如果反思过于频繁说明模型初始推理质量太低一直靠反思兜底。7. 常见问题与排查思路以下问题基于实际训练类似框架的常见情况。问题现象可能原因排查方式解决方案GRPO 训练 loss 震荡剧烈组内采样数量太少advantage 方差过大检查 group_size 设置增大 group_size或增大 clip 范围推理奖励一直很低推理奖励模型训练数据质量差检查推理标签是否准确用规则过滤低质量推理样本任务成功率上不去任务奖励过于稀疏检查环境奖励曲线增加奖励 shaping 或缩短任务 horizon模型输出大量无意义推理推理奖励权重太低检查 alpha 参数适当提高推理奖励权重反思 token 被完全忽略模型没有从反思中获得正收益检查鼓励反思的 reward shaping对包含合理反思的轨迹给予额外激励视觉特征和文本特征没有对齐单一融合层容量不足查看训练 loss 曲线使用更深的 transformer 融合层8. 最佳实践与工程建议8.1 先跑通小规模仿真再上大规模训练R^3 这种两阶段训练流程如果第一次接触直接在大型仿真环境或真实机器人上跑训练成本和排错成本都非常高。建议先在一个任务单一、状态空间小的环境中验证整个流水线能跑通再逐步扩大任务范围。8.2 数据质量优先于数据数量推理文本质量直接决定训练上限。与其收集百万条低质量推理样本不如用高质量筛选流程保留十万条。筛选时可以结合规则过滤长度、关键词、重复度。大模型评分用 GPT-4o 打分。动作一致性校验推理文本和实际动作方向的语义相似度。8.3 记录训练轨迹方便回溯RL 训练中只记录 loss 曲线是不够的。建议把每个阶段的采样轨迹、奖励值、推理文本都保存下来训练结束后可以做错误分析。这个习惯在机器人领域尤其重要因为环境交互成本高一次性跑完不好复现。8.4 推理奖励和任务奖励的权重需要调参alpha参数没有万能默认值。建议先固定任务奖励从较小的 alpha 开始观察推理质量变化。如果推理质量提升明显但任务成功率下降说明推理奖励干扰了任务优化需要降低 alpha 或增加训练轮数。8.5 安全边界RL 在真实机器人上要谨慎任何在真实机器人上运行 RL 训练的尝试都必须考虑安全边界。建议所有策略先在仿真环境充分验证。在真实环境部署时设置动作幅度限制和急停机制。推理奖励模型和任务奖励模型都不能单独作为安全判断依据需要额外的规则安全层。训练过程必须全程记录日志便于事故回溯。9. 总结与下一步实践方向R^3 给机器人学习带来的核心启发是自然语言推理不应该是训练后附加的解释层而应该是策略优化过程中被直接优化的中间变量。这个思路在技术上并不复杂但工程上很有价值。它可以复用现有的 VLA 架构只是把训练目标从“动作空间”扩展到“动作 推理空间”再用 GRPO 配合推理奖励模型把两者对齐。对于已经接触过 VLA 微调、RLHF 或 GRPO 的开发者来说这套方法的工程门槛并不高真正的难点在数据生成效率和真实环境稳定性。如果你正准备动手实践我建议从下面几步开始找一个支持并行采样的轻量仿真环境比如 MetaWorld 或 Gymnasium 生态。用你熟悉的 VLA 模型替换本文示例中的简化模型。先跑通 BC 预训练再做小规模 GRPO 微调只比较有无推理奖励的成功率差异。如果条件允许再引入反思 token 机制观察它对长 horizon 任务的影响。后续可以继续关注的三个方向是推理奖励模型的效率如何提升、如何在真实机器人上安全部署 RL 微调、以及反思 token 能否推广到更多需要长序列决策的机器人任务。建议收藏备用。这篇内容把 R^3 的思路、训练流程和落地痛点都梳理了一遍动手做机器人 RL 微调时可以少走一些弯路。 R^3：强化学习驱动的机器人自然语言推理，让VLA策略会“说”会“做”
这篇论文要解决的问题其实是机器人策略学习里一个看起来很简单、但一直没被真正解决好的问题能不能让机器人直接“说出”它为什么要这么做过去几年视觉语言动作模型VLA已经能做到“看画面、听指令、出动作”但决策过程基本是个黑盒。你问它“你为什么要抓杯子”它答不上来。R^3 这篇工作把强化学习和自然语言推理串在了一起机器人在训练过程中不仅要学会完成任务还要学会用自然语言描述自己的推理过程而且这个推理过程是通过强化学习优化出来的不是靠人工标注硬教出来的。这篇文章我会按下面几条线展开R^3 的核心思路为什么自然语言推理能提升机器人策略而不是只做可视化解释。它和传统 VLA、纯 RL 微调有什么区别改进发生在哪个环节。论文方法拆解推理奖励模型、GRPO 训练、反思 token以及数据生成流程。实操视角如何把一个类似思路用在两阶段训练流程里包含可运行的示例代码。训练效果如何评估、常见失败模式是什么、生产落地有哪些坑。如果你正在做机器人操作策略、VLA 微调或者对“强化学习 自然语言推理”这个交叉方向感兴趣这篇文章值得读完。很多细节不是论文里一眼能看出来的我会尽量用工程视角帮你拆开。1. R^3 到底解决了什么问题先说一个背景。机器人操作领域现在的主流范式是预训练一个视觉语言动作模型然后在具体任务上微调。模型输入是“相机图像 自然语言指令”输出是动作序列。VLA 在很多 benchmark 上表现不错但它有一个很明显的短板模型只会“做”不会“说”。注意这里的“说”不是指语音交互而是指用自然语言形式表达自己的决策依据。比如任务指令是“把红色杯子放到托盘里”我们希望模型不仅能输出动作还能同时输出一句类似“我选择先靠近杯子是因为它是场景中唯一一个红色物体”的推理文本。这类文本在当前系统里一般有两种来源第一种是人工标注。让标注员看着机器人的轨迹写下每一步的 reasoning。成本高不说标注出来的文本还未必和策略的真实决策一致。模型可能根本没按这句话来做只是学会在输出动作的同时“编”一句像模像样的解释。第二种是让大语言模型离线生成。VLM 把场景图和轨迹丢给 GPT-4 之类的模型让模型写出推理过程。这个思路的问题在于生成推理时机器人还没有真正尝试这个任务它不知道哪条路能成功、哪条路会失败。所以这种“先验式”推理经常和实际动作脱节。R^3 换了一个思路不预先写好推理而是在强化学习过程中让机器人边试错边生成推理。推理文本如果能帮助策略拿到更高回报它就会被保留和强化如果推理文本和动作不一致或者导致低回报它就会被抑制。换句话说R^3 把自然语言推理从“事后解释”变成了“在线决策的一部分”。这也是论文标题里 Reason in Natural Language via Reinforcement Learning 的真正含义。从工程角度看这个设计的价值很直接降低标注成本不需要人工写推理文本推理由模型自己生成RL 负责筛选。推理和策略对齐能被保留的推理一定是和成功轨迹高度相关的推理。可解释性不是附加品而是被奖励函数直接优化的目标。2. 核心概念为什么推理能提升机器人策略要理解 R^3必须先想清楚一个问题自然语言推理文本为什么能反过来帮助策略学得更好2.1 语言推理是策略的高层“中间变量”机器人动作空间是高维连续空间一步动作可能有 7 到 14 个自由度。直接在动作空间里探索效率很低因为大量动作是无效的、甚至是有害的。而自然语言推理相当于把动作空间“降维”成一个中间变量模型先推理出“我要先靠近杯子”然后再根据这个意图解码出具体动作。这个中间变量的存在本质上改变了探索的语义粒度。动作层面探索是“我在关节空间里随机试”语言层面探索是“我在策略假设空间里试”。后者更接近人类解决新任务的方式也更利于奖励信号在时间维度上传播。2.2 反思 token让模型能在失败后修正推理R^3 里一个很有工程价值的细节是引入了一个特殊 tokenreflect。模型在生成的推理文本中可能会输出这个 token表示“当前推理可能有问题需要修正”。这个设计的直观理解是不再要求模型一次推理到位而是允许模型在轨迹中途“停下来想一想”重新评估当前状态然后继续。这个机制让推理不是静态的一句话而是动态的、可修正的思维过程。从 RL 训练角度看反思 token 还解决了一个实际问题当模型在长时间 horizon 任务中执行失败时错误可能来自前面的推理也可能来自后面的动作。反思 token 给模型提供了一个“重新开始推理”的支点缩小了 credit assignment 的难度。2.3 推理奖励模型不依赖人工评分R^3 的推理质量不需要人类逐句打分。它用 GPT-4o 预先构建了一个推理奖励模型reasoning reward model训练数据来自随机 Rollout 策略采样并用基于规则的评分逻辑给推理文本打标签。这个设计的巧妙之处在于推理奖励模型不是用来生成推理而是用来评估推理与动作的一致性。在训练时策略模型每输出一个带推理的动作轨迹奖励模型就判断这段推理是否和动作匹配、是否有助于任务成功。这样整个训练循环就变成了策略采样 - 环境反馈 - 任务奖励 推理奖励 - GRPO 更新 - 再采样不再需要人类在循环中标注。3. R^3 的整体架构与数据生成流程3.1 两阶段训练框架R^3 不是一个全新的模型架构它是在 VLA 基础上叠加了一个两阶段训练流程。第一阶段是行为克隆BC预训练第二阶段是强化学习微调。先看阶段的划分阶段训练方式输入输出主要作用第一阶段行为克隆图像 指令 任务描述动作 推理文本让模型学会基础操作和基础语言推理第二阶段强化学习GRPO图像 指令 任务描述动作 推理文本用环境反馈和推理奖励优化策略让推理更可靠为什么不能直接跳过第一阶段因为纯 RL 从随机策略开始训练在真实机器人或高维仿真环境里会非常不稳定。先用 BC 把模型带到“能完成一部分任务”的水平再用 RL 优化是当前机器人 RL 微调的主流做法。3.2 推理数据的生成BC 预训练需要“图像-指令-动作-推理”四元组数据。R^3 的做法是从任务环境中采样随机 Rollout 轨迹。把轨迹片段交给一个大型视觉语言模型如 GPT-4o让它生成对应的推理文本。用规则和评分机制筛选高质量数据。这里有一个关键点LLM 生成的推理文本要经过一轮“贴标签”处理。标签包括推理是否与动作一致、是否逻辑完整、是否能指导后续决策。这些标签后续会作为推理奖励模型的训练目标。这种数据生成方式的好处是成本远低于人工标注坏处是依赖大模型本身的能力上限。如果大模型生成的推理本身质量不高推理奖励模型的上限也会受限。这也是 R^3 这类方法目前在仿真环境表现好、真实环境还需要验证的原因之一。4. 核心训练算法GRPO 与反思 token 的作用R^3 用的强化学习算法是GRPOGroup Relative Policy Optimization这个算法因为 DeepSeek-R1 等语言模型训练工作而被广泛知晓但它同样适合机器人策略训练。4.1 GRPO 与传统 PPO 的区别PPO 在更新策略时需要一个 Critic 网络来估计状态价值函数这个 Critic 网络的训练是一个额外的优化目标而且很容易不稳定。GRPO 的做法更轻量它对同一个状态采样一组动作然后根据这组动作的相对优劣来计算 advantage。公式层面可以这样理解PPO 的 advantage 依赖 Critic 的预测。GRPO 的 advantage 是组内归一化(r_i - mean(r_group)) / std(r_group)。在机器人任务中这个区别的价值在于环境奖励往往非常稀疏Critic 很难准确估计价值。GRPO 用“同一个状态下多个采样结果的相对比较”来替代价值预测训练更稳定超参数也更少。4.2 推理奖励如何进入 GRPOR^3 在 GRPO 更新时总奖励不是单一的任务奖励而是两部分total_reward task_reward alpha * reasoning_rewardtask_reward任务是否成功、是否靠近目标等环境给出的奖励。reasoning_reward推理奖励模型给当前推理文本的打分。alpha两者之间的权重系数。这里值得注意推理奖励不是只在训练结束时算一次而是在每个推理步骤都会算。这样模型能逐步学会“某一步的推理对不对”而不是等到整条轨迹结束才知道自己错在哪里。4.3 反思 token 的训练机制reflecttoken 是通过 RL 自然涌现的不是显式监督出来的。训练时模型发现输出reflect然后修正推理可以提高后续动作的成功概率于是这个 token 的使用频率就会上升。这有点像语言模型训练中“思考” token 的涌现你不需要人为规定模型什么时候该反思只需要让反思行为能带来更高回报模型自己就能学会在什么状态下反思最有利。5. 实操如何搭建一个类似的两阶段训练流程论文的核心方法可以抽象成一套通用流程。下面我用一个最小示例演示如何用 PyTorch 搭建一个“VLA 策略 推理文本 GRPO 微调”的训练雏形。示例不会完整复现论文但会覆盖核心逻辑。先说明环境Python 3.10PyTorch 2.x一个可交互的机器人仿真环境示例用简洁接口代替5.1 模型定义我们定义一个简单的策略模型视觉编码器 文本编码器 动作头 推理头。# 文件路径models/vla_policy.py import torch import torch.nn as nn from transformers import AutoModel, AutoTokenizer, CLIPVisionModel class RLPolicy(nn.Module): 简化版 VLA 策略模型 - visual_encoder: 图像编码器 - text_encoder: 指令和推理文本编码器 - action_head: 输出连续动作 - reasoning_head: 输出推理 token 序列 def __init__(self, vision_model_nameopenai/clip-vit-base-patch32, text_model_namebert-base-uncased, action_dim7, reasoning_tokens64): super().__init__() self.vision_encoder CLIPVisionModel.from_pretrained(vision_model_name) self.text_encoder AutoModel.from_pretrained(text_model_name) self.tokenizer AutoTokenizer.from_pretrained(text_model_name) self.action_dim action_dim self.reasoning_tokens reasoning_tokens # 动作头从多模态特征映射到连续动作 self.action_head nn.Sequential( nn.Linear(768 768, 512), nn.ReLU(), nn.Linear(512, action_dim) ) # 推理头从多模态特征映射到推理 token logits self.reasoning_head nn.Linear(768 768, reasoning_tokens) def forward(self, image, instruction): image: [B, 3, H, W] instruction: list[str] # 图像特征 vision_feat self.vision_encoder(pixel_valuesimage).last_hidden_state # 这里取全局平均池化简化处理 vision_feat vision_feat.mean(dim1) # [B, 768] # 文本特征 encoded self.tokenizer(instruction, return_tensorspt, paddingTrue, truncationTrue) encoded {k: v.to(image.device) for k, v in encoded.items()} text_feat self.text_encoder(**encoded).last_hidden_state text_feat text_feat.mean(dim1) # [B, 768] # 拼接特征 fused torch.cat([vision_feat, text_feat], dim-1) action self.action_head(fused) reasoning_logits self.reasoning_head(fused) return action, reasoning_logits关键说明示例没有使用完整的 transformer decoder 结构而是用简单的 MLP 头目的是让逻辑更清晰。reasoning_logits可以理解为模型对“推理 token 库”的打分实际训练中会将这个分数和语言模型输出结合。5.2 第一阶段行为克隆预训练BC 阶段的目标是让模型学会“看到图像和指令后输出接近专家的动作并生成基础推理文本”。# 文件路径train_bc.py import torch import torch.nn as nn from models.vla_policy import RLPolicy from torch.utils.data import DataLoader, Dataset class RobotDemoDataset(Dataset): 简化数据集图像 指令 专家动作 参考推理文本 def __init__(self, images, instructions, expert_actions, reasoning_texts): self.images images self.instructions instructions self.expert_actions expert_actions self.reasoning_texts reasoning_texts def __len__(self): return len(self.images) def __getitem__(self, idx): return { image: self.images[idx], instruction: self.instructions[idx], action: self.expert_actions[idx], reasoning_text: self.reasoning_texts[idx], } def train_bc(model, dataloader, epochs5, lr1e-4): optimizer torch.optim.AdamW(model.parameters(), lrlr) mse_loss nn.MSELoss() ce_loss nn.CrossEntropyLoss() model.train() for epoch in range(epochs): total_loss 0.0 for batch in dataloader: image batch[image] instruction batch[instruction] expert_action batch[action] reasoning_ids batch[reasoning_ids] pred_action, reasoning_logits model(image, instruction) loss_action mse_loss(pred_action, expert_action) loss_reasoning ce_loss( reasoning_logits.view(-1, reasoning_logits.size(-1)), reasoning_ids.view(-1) ) loss loss_action loss_reasoning optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch 1}, Loss: {total_loss / len(dataloader):.4f})这段代码对应的论文逻辑是BC 阶段同时优化动作误差和推理误差让推理文本不是纯文本生成而是和动作预测共享同一个多模态特征。5.3 第二阶段GRPO 强化学习微调GRPO 的核心是“同状态下采样多个动作基于组内相对优劣计算 advantage”。下面的代码展示一个小型 GRPO 训练循环# 文件路径train_grpo.py import torch import torch.nn as nn def compute_group_advantage(rewards, group_size4): 按组计算相对优势。 rewards: [num_groups, group_size] 每个组内做归一化得到 advantage。 rewards rewards.float() mean rewards.mean(dim-1, keepdimTrue) std rewards.std(dim-1, keepdimTrue) 1e-6 advantage (rewards - mean) / std return advantage def grpo_update(model, optimizer, image, instruction, actions_sampled, rewards, group_size4): 简化的 GRPO 更新流程 1. 带上采样动作重新前向得到新旧策略概率。 2. 计算组内 advantage。 3. 计算 clipped surrogate loss。 # 假设 actions_sampled 形状为 [num_groups, group_size, action_dim] num_groups actions_sampled.size(0) # 将组维度合并重新前向 image_expanded image.unsqueeze(1).expand(-1, group_size, -1, -1, -1).reshape(-1, *image.shape[1:]) instruction_expanded [instr for instr in instruction for _ in range(group_size)] pred_action, reasoning_logits model(image_expanded, instruction_expanded) pred_action pred_action.view(num_groups, group_size, -1) # 简化使用 MSE 作为策略 log 概率的替代实际应使用完整概率分布 log_prob -((pred_action - actions_sampled) ** 2).sum(dim-1) old_log_prob log_prob.detach() ratio torch.exp(log_prob - old_log_prob) advantage compute_group_advantage(rewards, group_size) # PPO 风格 clip clip_epsilon 0.2 surr1 ratio * advantage surr2 torch.clamp(ratio, 1.0 - clip_epsilon, 1.0 clip_epsilon) * advantage policy_loss -torch.min(surr1, surr2).mean() optimizer.zero_grad() policy_loss.backward() optimizer.step() return policy_loss.item()这段代码把 GRPO 最核心的计算逻辑展示出来了组内归一化 advantage 重要性采样比率 clip 操作。真实训练中还需要加入推理奖励、KL 散度约束、反思 token 的动态采样但整体框架是一致的。5.4 推理奖励模型示例推理奖励模型的作用是给“动作轨迹 推理文本”的组合打分。我们用 MLP 做一个简化版# 文件路径models/reasoning_reward.py import torch import torch.nn as nn class ReasoningRewardModel(nn.Module): 推理奖励模型 输入拼接的轨迹特征 推理文本特征 输出一个标量分数表示推理质量和动作一致性。 def __init__(self, input_dim1536, hidden_dim512): super().__init__() self.mlp nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1) ) def forward(self, trajectory_feat, reasoning_feat): fused torch.cat([trajectory_feat, reasoning_feat], dim-1) score self.mlp(fused).squeeze(-1) return score推理奖励模型在第二阶段通过以下方式与 GRPO 协作1. 策略采样一条轨迹包含若干步推理文本和动作。 2. 对每一步用推理奖励模型打分。 3. 将分数加权到 GRPO 的总回报中。 4. 策略梯度根据加权回报更新模型。这样模型不仅会追求任务成功还会追求“每一步的推理都合理”。6. 训练效果如何验证在仿真环境里验证 R^3 风格训练是否有效可以关注三个维度。6.1 任务成功率最直接的指标是任务成功率。论文中 R^3 在 SIMPLER 等基准上相比基线有明显提升。我们在自己的实验里至少要从这三个层面记录BC 预训练后的成功率。只使用任务奖励做 RL 微调后的成功率。使用任务奖励 推理奖励做 RL 微调后的成功率。没有对比就无法判断推理奖励是否真的有效。6.2 推理文本质量光看成功率还不够因为模型可能“成功率高但推理依然在胡说”。可以采样一批成功轨迹让人类评估或让 GPT-4o 评估推理文本的合理性。建议用 1 到 5 分制评估维度包括维度说明一致性推理内容是否与执行动作一致逻辑性推理步骤是否前后连贯可指导性推理是否能为后续动作提供明确指引简洁性是否有大量无关信息或重复内容6.3 反思 token 的使用频率观察模型在训练过程中输出reflecttoken 的频率变化。如果训练有效应该看到前期反思 token 出现频率逐渐上升说明模型在学会识别“自己可能出错”的状态。后期可能维持在一个合理水平而不是越高越好。如果反思过于频繁说明模型初始推理质量太低一直靠反思兜底。7. 常见问题与排查思路以下问题基于实际训练类似框架的常见情况。问题现象可能原因排查方式解决方案GRPO 训练 loss 震荡剧烈组内采样数量太少advantage 方差过大检查 group_size 设置增大 group_size或增大 clip 范围推理奖励一直很低推理奖励模型训练数据质量差检查推理标签是否准确用规则过滤低质量推理样本任务成功率上不去任务奖励过于稀疏检查环境奖励曲线增加奖励 shaping 或缩短任务 horizon模型输出大量无意义推理推理奖励权重太低检查 alpha 参数适当提高推理奖励权重反思 token 被完全忽略模型没有从反思中获得正收益检查鼓励反思的 reward shaping对包含合理反思的轨迹给予额外激励视觉特征和文本特征没有对齐单一融合层容量不足查看训练 loss 曲线使用更深的 transformer 融合层8. 最佳实践与工程建议8.1 先跑通小规模仿真再上大规模训练R^3 这种两阶段训练流程如果第一次接触直接在大型仿真环境或真实机器人上跑训练成本和排错成本都非常高。建议先在一个任务单一、状态空间小的环境中验证整个流水线能跑通再逐步扩大任务范围。8.2 数据质量优先于数据数量推理文本质量直接决定训练上限。与其收集百万条低质量推理样本不如用高质量筛选流程保留十万条。筛选时可以结合规则过滤长度、关键词、重复度。大模型评分用 GPT-4o 打分。动作一致性校验推理文本和实际动作方向的语义相似度。8.3 记录训练轨迹方便回溯RL 训练中只记录 loss 曲线是不够的。建议把每个阶段的采样轨迹、奖励值、推理文本都保存下来训练结束后可以做错误分析。这个习惯在机器人领域尤其重要因为环境交互成本高一次性跑完不好复现。8.4 推理奖励和任务奖励的权重需要调参alpha参数没有万能默认值。建议先固定任务奖励从较小的 alpha 开始观察推理质量变化。如果推理质量提升明显但任务成功率下降说明推理奖励干扰了任务优化需要降低 alpha 或增加训练轮数。8.5 安全边界RL 在真实机器人上要谨慎任何在真实机器人上运行 RL 训练的尝试都必须考虑安全边界。建议所有策略先在仿真环境充分验证。在真实环境部署时设置动作幅度限制和急停机制。推理奖励模型和任务奖励模型都不能单独作为安全判断依据需要额外的规则安全层。训练过程必须全程记录日志便于事故回溯。9. 总结与下一步实践方向R^3 给机器人学习带来的核心启发是自然语言推理不应该是训练后附加的解释层而应该是策略优化过程中被直接优化的中间变量。这个思路在技术上并不复杂但工程上很有价值。它可以复用现有的 VLA 架构只是把训练目标从“动作空间”扩展到“动作 推理空间”再用 GRPO 配合推理奖励模型把两者对齐。对于已经接触过 VLA 微调、RLHF 或 GRPO 的开发者来说这套方法的工程门槛并不高真正的难点在数据生成效率和真实环境稳定性。如果你正准备动手实践我建议从下面几步开始找一个支持并行采样的轻量仿真环境比如 MetaWorld 或 Gymnasium 生态。用你熟悉的 VLA 模型替换本文示例中的简化模型。先跑通 BC 预训练再做小规模 GRPO 微调只比较有无推理奖励的成功率差异。如果条件允许再引入反思 token 机制观察它对长 horizon 任务的影响。后续可以继续关注的三个方向是推理奖励模型的效率如何提升、如何在真实机器人上安全部署 RL 微调、以及反思 token 能否推广到更多需要长序列决策的机器人任务。建议收藏备用。这篇内容把 R^3 的思路、训练流程和落地痛点都梳理了一遍动手做机器人 RL 微调时可以少走一些弯路。