1. 从“指令跟随”到“状态感知”为什么LLM智能体需要新的优化范式如果你在过去一年里尝试过用大语言模型LLM构建一个能自主完成复杂任务的智能体Agent大概率会经历一个从兴奋到困惑的过程。初期你可能会惊叹于GPT-4等模型强大的指令理解和规划能力它能将一个“帮我订机票”的模糊指令分解成搜索航班、比价、填写信息等一系列子步骤。然而当你试图让这个智能体在更动态、更长期的环境中稳定运行时比如让它管理一个持续运行的服务器集群或者在一个开放世界的游戏里生存问题就来了。你会发现智能体的行为常常是短视的、不稳定的或者对环境的微小变化反应过度。它像一个记忆力只有三秒的“金鱼”只记得上一步的指令却无法基于当前“状态”做出最优的长期决策。这正是当前LLM智能体研究的核心痛点。我们通常用“强化学习”Reinforcement Learning, RL的框架来思考这个问题智能体Agent在环境Environment中行动观察状态State执行动作Action并获得奖励Reward。传统的微调方法比如监督式微调SFT本质上是让模型模仿“专家轨迹”学习“在某个状态下应该执行什么动作”。这就像教一个新手司机看教学录像——他学会了在特定路口左转但一旦遇到录像里没有的突发状况比如一只猫窜出来就可能完全不知所措。因为SFT没有教会模型理解“为什么”要左转以及左转这个动作对后续旅程长期回报的影响。而强化学习特别是基于策略梯度的方法理论上能解决这个问题。它通过试错让智能体自己去探索动作的长期后果从而学习到一个能最大化累积奖励的策略。但将经典RL直接套用在LLM上成本高得吓人。你需要让LLM在模拟或真实环境中进行海量交互每走一步都要计算一次奖励然后通过复杂的梯度更新来调整其数以百亿计的参数。这不仅是计算资源的无底洞训练过程也极不稳定策略很容易崩溃。于是一个折中的思路出现了能不能用更高效、更稳定的方式为LLM智能体注入“长期规划”和“状态价值评估”的能力这就是“3SPO: State-Score-Supervised Policy Optimization”这类方法试图回答的问题。它不再仅仅依赖于动作层面的模仿什么是对的而是引入了一个更高维的监督信号状态评分State Score。这个评分可以理解为对当前环境状态的一个“整体估值”它综合评估了当前状态的好坏以及未来潜在回报的高低。训练的目标是让LLM不仅学会在某个状态下做出正确动作更要学会理解和预测哪些状态是“好”的从而主动朝着“好状态”去规划和行动。简单来说3SPO试图让LLM智能体从一个被动的“指令执行者”转变为一个主动的“状态管理者”。它关心的不是单一动作的得失而是整个任务轨迹的走向。这听起来有点抽象但我们可以用一个生活中的例子来类比教孩子整理房间。SFT的方法是“看到地上的玩具捡起来放进箱子。”而3SPO的思路是除了教他捡玩具的动作还会告诉他“一个整洁的房间好状态会让你心情舒畅、更容易找到东西而杂乱无章的房间坏状态会带来麻烦。”孩子理解了“整洁”这个状态的价值后他可能不仅会捡玩具还会主动把书摆齐、把床铺好甚至预防房间变乱——因为他内在追求的是“好状态”本身。接下来我们将深入拆解3SPO这个听起来很学术的名字背后每一个核心部分是如何运作的以及它如何在实际中解决LLM智能体的优化难题。2. 拆解3SPO状态、评分与策略优化的三位一体要理解3SPO我们必须把它拆开来看State状态Score评分Supervised Policy Optimization监督式策略优化。这三者构成了一个完整的优化闭环。2.1 State超越文本上下文的“环境表征”在LLM的典型语境中“状态”往往被简化为当前的对话历史或任务描述文本。但在智能体场景中状态State的定义必须更加丰富和结构化。它应该是一个能够充分表征当前环境所有相关信息的数据结构。对于一个网页浏览智能体状态可能包括当前URL、页面DOM树的简化表示、屏幕上可见的文本和按钮、之前的操作历史如点击了哪个链接、以及任务目标如“找到产品价格”。对于一个代码生成智能体状态可能是当前的代码文件内容、编译错误信息、测试用例运行结果、以及用户的需求描述。3SPO方法首先需要解决的就是如何为LLM构建一个有效的状态表征。这通常不是简单地把所有信息拼接成一段文本扔给模型。更有效的做法是进行状态编码State Encoding结构化提取从原始环境如浏览器、IDE、游戏引擎中提取关键的结构化特征。例如从网页中提取出所有的按钮文本、链接和输入框并保留它们的层级关系和可交互属性。序列化压缩将这些结构化特征序列化成一种LLM易于理解的格式。这可能是一种自定义的标记语言或者是经过设计的自然语言描述模板。关键在于保持信息的完整性和模型解析的便利性。历史集成将当前时刻的观察Observation与过去若干步的动作-状态对历史进行融合。这相当于为LLM提供了短期记忆使其能够理解当前状态的来龙去脉。一个常见的实践是使用一个轻量级的“状态编码器”模块可能是一个小型的Transformer或LSTM先将原始环境数据编码成一个固定维度的向量再将这个向量与任务的文本描述一起作为LLM的输入。这样LLM接收到的就是一个融合了环境感知和任务意图的增强型“状态”提示。2.2 Score驱动智能体进化的“价值罗盘”如果说状态是智能体感知世界的“眼睛”那么评分Score就是指引其行动的“罗盘”。这个评分在RL术语中非常接近于“状态价值函数V(s)”或“优势函数A(s, a)”。它量化了当前状态或状态-动作对的“好坏”。为状态生成高质量、可学习的评分是3SPO成功的关键。评分来源通常有以下几种环境原生奖励Sparse Reward环境直接提供的奖励信号比如游戏得分、任务完成标志成功/失败。这种奖励通常非常稀疏只在任务结束时才有且包含噪音直接用于监督学习效果很差。人工标注或规则奖励Dense Reward为了提供更密集的指导我们可以设计一套规则或请人类专家为中间状态打分。例如在网页导航任务中可以设定“离目标页面链接的点击距离越近得分越高”。这能提供每一步的反馈但规则设计成本高且难以覆盖所有复杂情况。学习得到的价值模型Learned Value Model这是更主流且 scalable 的方法。我们可以先用少量数据可以是专家演示、随机探索轨迹等训练一个独立的“价值评估模型”。这个模型以状态或状态-动作对为输入输出一个标量分数预测从该状态出发所能获得的期望累积回报。这个模型一旦训练好就可以为海量的新状态自动生成评分。在3SPO框架中我们通常采用第三种方式或者将其与第二种结合。具体流程是先收集一批初始轨迹数据可能质量不高用它们预训练一个初始的价值模型然后用这个价值模型去评估新的状态生成评分标签再用这些“状态-评分”对去优化策略LLM优化后的策略能产生更好的轨迹反过来又可以用来迭代更新价值模型。这就形成了一个数据飞轮。注意评分模型的质量直接决定了策略优化的上限。一个糟糕的评分模型会给出错误的指引导致策略学偏。因此在初期需要投入精力确保评分模型的相对准确性例如通过混合稀疏环境奖励和少量高质量人工标注来进行校准。2.3 Supervised Policy Optimization用评分标签“教”会LLM规划有了状态表征和对应的评分最核心的一步来了如何用这些信息来优化LLM策略这就是“监督式策略优化”的部分。它与传统的SFT和RL都有区别。传统SFT的标签是“动作”Action给定状态s正确的动作a是什么。而3SPO的监督信号是“评分”Score给定状态s它的价值分数v是多少。训练目标从“模仿动作”变成了“预测状态价值”。那么如何通过让LLM“预测评分”来优化其“生成动作”的能力呢这里有两种主流的实现思路思路一基于评分过滤的轨迹重放Score-filtered Trajectory Replay这种方法相对直观。我们让LLM在环境中运行收集大量轨迹状态序列。然后用评分模型为轨迹中的每一个状态打上分数。接着我们筛选出高评分状态对应的状态动作对将这些数据作为高质量正例用于对LLM进行SFT。同时也可以将低评分状态对应的动作作为负例进行对比学习Contrastive Learning或负例抑制。这个过程本质上是在进行“经验选择”。它教会LLM“在类似这样的好状态下你之前做的那个动作是值得鼓励的而在那种坏状态下你做的动作要避免。”通过反复迭代LLM的策略会逐渐向能够导致高评分状态的动作分布靠拢。思路二将评分作为推理过程的隐式约束Score-as-a-Supervision这是一种更“端到端”的做法。我们修改LLM的推理过程或训练目标使其在生成动作时必须同时或隐式地考虑对后续状态的评分预测。一种实现方式是“Critic-in-the-Loop”。在LLM内部除了生成动作的主干网络额外训练一个“价值头”Value Head。这个价值头以LLM的中间层表示即对当前状态的理解为输入输出一个评分预测。在训练时我们有两个损失动作损失如果是基于专家数据的SFT则计算动作预测的交叉熵损失。评分损失计算价值头预测的评分与目标评分来自评分模型之间的均方误差MSE。这两个损失联合优化。这样LLM的内部表示在训练过程中会被迫学习到那些与高评分相关的状态特征。在推理时我们虽然只使用动作输出但这个输出已经是由一个“懂得评估状态价值”的模型所生成的因此其长期规划能力更强。另一种更前沿的思路是使用“搜索增强”。在LLM生成动作时不直接输出第一个token而是进行一个轻量的内部搜索例如使用蒙特卡洛树搜索MCTS的简化版。在搜索的每一步用内置的或外部的评分模型来评估候选动作可能导致的后继状态的价值从而选择预期价值最高的动作路径。这种方法的训练可以是通过让LLM学习搜索得到的最优路径来进行的。3. 实战构建手把手实现一个简易的3SPO训练流程理论可能有些烧脑我们通过一个具体的简化案例——训练一个“文本冒险游戏智能体”——来勾勒3SPO的实现骨架。假设游戏环境很简单智能体在一个房间里可以通过动作如“向东走”、“拿起剑”、“攻击怪物”来探索目标是找到宝藏并离开房间。3.1 第一步定义状态、动作与评分模型状态State定义 我们不能直接把游戏引擎的内部状态丢给LLM。需要设计一个文本化的状态描述模板例如[房间描述] 你身处一个石室东边有一扇木门西边墙上有一个火把。地上有一把生锈的剑。 [背包物品] 空。 [任务目标] 找到宝藏并离开房间。 [历史动作] 你刚刚从入口进入这个房间。这就是我们给LLM的输入状态s_t。动作Action空间 定义一组可用的动作如[向北走, 向南走, 向东走, 向西走, 拿起[物品], 使用[物品], 攻击[目标], 观察]。LLM需要根据状态生成这些动作之一。评分模型Score Model训练数据收集先让一个随机策略或基础规则的智能体在游戏里跑N轮收集大量轨迹数据(s_0, a_0, r_0, s_1, a_1, r_1, ..., s_T)。这里的r_t是环境给的稀疏奖励比如找到宝藏100被怪物打败-50其他步骤为0。计算目标评分对于轨迹中的每一个状态s_t我们计算其“回报Return”G_t r_t γ * r_{t1} γ^2 * r_{t2} ...其中γ是折扣因子比如0.99。这个G_t就是从状态s_t出发所能获得的期望累积奖励它就是我们的目标评分v_t。训练评分模型用一个相对小型的神经网络比如一个3层的MLP作为评分模型V_φ(s)。输入是状态的文本描述经过一个预训练文本编码器如BERT得到的向量输出是一个标量。我们用收集到的(s_t, v_t)数据对来训练这个模型最小化预测评分和v_t之间的均方误差。训练完成后这个V_φ(s)就可以为任意新状态s预测一个评分。3.2 第二步基于评分优化LLM策略我们采用前面提到的“思路一基于评分过滤的轨迹重放”。运行旧策略收集新数据用当前的LLM策略初始可以是SFT过的在环境中运行收集一批新的轨迹。评分过滤用训练好的评分模型V_φ(s)为这批新轨迹中的每一个状态s_t计算预测评分v_t。构建训练数据集设定一个评分阈值τ比如所有状态评分的前30%分位数。将所有v_t τ的高评分状态及其对应的动作(s_t, a_t)筛选出来作为优质正例。同时可以随机采样一些低评分状态的动作作为负例。监督式微调LLM使用筛选出的正例数据(s_t, a_t)以标准的语言模型下一个token预测交叉熵损失对LLM进行微调。目标是让LLM在看到高评分状态s_t时更大概率生成当时采取的成功动作a_t。对于负例可以采用类似“unlikelihood training”的方法降低LLM生成这些失败动作的概率。迭代用微调后的新LLM策略回到第1步收集新数据如此循环。随着迭代进行LLM策略越来越倾向于访问高评分状态评分模型V_φ(s)也可以定期用新旧混合数据重新训练以更准确地评估新策略探索到的状态空间。3.3 第三步关键实现细节与避坑指南在实际编码中有几个细节决定了成败细节1状态文本化的信息损失直接将游戏内部状态用自然语言模板描述可能会丢失关键的结构化信息比如物品之间的空间关系。解决方案是尝试不同的描述格式比如使用类似JSON的键值对或者模仿物体清单的格式确保所有关键属性都被列出。也可以考虑在将状态文本输入LLM之前先用一个图神经网络GNN处理游戏内部的状态图然后将图编码的向量作为额外提示信息注入给LLM。细节2评分模型的分布偏移初始评分模型是用随机策略的数据训练的。当LLM策略优化后它访问的状态分布会发生变化更多访问好状态。用旧数据训练的评分模型可能无法准确评估这些新状态导致评分不准。这就是**分布偏移Distribution Shift**问题。应对策略定期每轮或每两轮迭代用新旧策略混合收集的数据重新训练或微调评分模型。也可以使用更鲁棒的离线强化学习算法来训练评分模型如Conservative Q-Learning (CQL) 的思路防止对分布外状态给出过于乐观的估计。细节3稀疏奖励下的评分信噪比低在我们的游戏例子里只有找到宝藏或死亡才有显著奖励中间步骤的回报G_t计算出来可能都很接近导致评分标签的区分度不高。这会使得评分模型难以学习筛选出的“高评分”状态也不够有代表性。应对策略可以引入基于模型的奖励塑形Reward Shaping。例如设计一些启发式中间奖励距离宝藏的预估步数减少 1发现新区域 0.5。将这些塑形奖励加到环境原始奖励上再计算G_t可以显著提高评分信号的密度和质量。但要注意塑形奖励不能改变原始任务的最优解。细节4LLM微调的不稳定性直接对大型LLM进行全参数微调成本高且容易遗忘原有能力。推荐使用参数高效微调PEFT技术如LoRA (Low-Rank Adaptation)。只为LLM的注意力层添加低秩适配器只训练这部分新增参数。这能极大减少显存消耗和过拟合风险保持模型原有知识的稳定性。一个简化的训练循环伪代码框架如下# 伪代码示意核心循环 llm_policy initialize_policy() # 加载预训练LLM value_model initialize_value_model() # 随机初始化评分模型 replay_buffer [] # 经验回放池 for iteration in range(total_iterations): # 1. 收集数据 trajectories [] for episode in range(episodes_per_iter): state env.reset() trajectory [] while not done: action llm_policy.generate(state) # LLM生成动作 next_state, reward, done, _ env.step(action) trajectory.append((state, action, reward, next_state)) state next_state trajectories.append(trajectory) replay_buffer.extend(process_trajectory(trajectory)) # 处理后存入缓冲池 # 2. 更新评分模型 (每隔K轮) if iteration % update_value_freq 0: # 从缓冲池采样数据计算回报G_t作为标签 train_data sample_from_buffer(replay_buffer) value_model.train(train_data) # 训练V_φ(s)逼近G_t # 3. 筛选优质数据 high_score_pairs [] for traj in trajectories: for (s, a, _, _) in traj: predicted_score value_model.predict(s) if predicted_score threshold: high_score_pairs.append((s, a)) # 4. 优化LLM策略 if len(high_score_pairs) 0: # 使用LoRA等方式微调LLM输入s目标输出a llm_policy.supervised_update(high_score_pairs)4. 3SPO的优劣分析与适用边界任何一种方法都有其适用的场景和局限性3SPO也不例外。理解它的边界能帮助我们在正确的场景下选择它。优势训练稳定性高相比于需要在线交互、策略可能剧烈震荡的经典RL如PPO3SPO基于监督学习优化过程更平滑、更可控。它避免了RL中复杂的优势函数估计、重要性采样等高方差操作。样本效率相对较好通过评分模型对状态进行估值它能够从有限的成功轨迹中提取出“好状态”的抽象特征并让策略去模仿导致这些好状态的动作。这比纯RL需要大量试错去探索要高效一些。兼容现有LLM生态整个流程可以构建在现有的LLM和SFT基础设施之上。不需要对LLM的架构或训练框架做颠覆性改动主要新增的是一个独立的评分模型训练环节。可解释性较强评分模型V_φ(s)的输出是一个标量我们可以分析哪些状态获得了高分从而理解智能体认为的“好”是什么。这为调试和优化提供了抓手。劣势与挑战依赖于评分模型的质量这是最大的瓶颈。如果评分模型不准整个优化方向就是错的。而训练一个准确、泛化能力强的评分模型本身就是一个难题尤其是在稀疏奖励和复杂状态空间下。可能陷入局部最优3SPO本质上是一种“模仿学习”的进阶版——模仿那些导致高评分状态的行为。如果初始数据或评分模型未能覆盖真正最优的路径策略可能会学会一个“次优但评分高”的局部最优解而无法发现全局最优解。探索能力有限监督学习范式天生倾向于利用exploit已知的好模式而非探索explore未知的可能性。虽然可以通过在数据收集中引入随机性如ε-greedy来缓解但其探索效率通常低于专门设计探索策略的RL算法。对长程依赖任务依然吃力评分模型评估的是状态的长期价值这要求它具备很强的长程推理和预测能力。对于需要数百步规划才能获得奖励的任务评分模型的预测误差会随着步数指数级累积导致远期状态评分极不可靠。适用场景判断适合任务有相对明确的“好状态”定义如游戏关卡、明确的业务流程可以获得中等数量的专家演示或能通过规则定义出密集的中间奖励计算资源有限无法承受大规模在线RL训练。不适合奖励信号极其稀疏且难以设计中间奖励如某些创造性设计任务状态空间极其复杂且动态变化极快对探索能力要求极高需要发现颠覆性新策略的场景。5. 超越3SPO与Agentic RL及更前沿思路的对比3SPO是LLM智能体优化浪潮中的一朵浪花。了解它与其它前沿思路的关系能帮助我们更好地定位它。最近随着Lilian Weng等研究者提出“Agentic RL”的概念关于如何让LLM成为更好的“智能体”的讨论更加热烈。与经典在线RL如PPO的对比 经典RL是“在交互中学习”。智能体通过试错直接根据获得的奖励信号更新策略。其优势是理论完备探索能力强可能发现超出人类预设的最优解。劣势是样本效率极低、训练不稳定、超参数敏感且不适合直接用于大参数量的LLM。3SPO可以看作是将RL问题“降维”成了一个监督学习问题用评分模型来近似RL中的价值函数从而规避了在线交互的高成本和高方差。与纯监督模仿学习Behavior Cloning的对比 纯模仿学习BC直接克隆专家动作简单稳定但存在“复合误差”一步错步步错问题且无法超越专家水平。3SPO引入了“状态价值”这个维度让智能体学习的是“什么样的状态值得追求”而不仅仅是“在某个状态下该做什么”。这赋予了智能体一定的泛化和纠错能力当偏离专家轨迹时它仍能尝试朝着高价值状态回归。与离线强化学习Offline RL的对比 3SPO在精神上与离线RL非常接近都是利用静态数据集而非在线交互来优化策略。许多离线RL算法如IQLImplicit Q-Learning、CQL其核心也是学习一个价值函数或Q函数然后通过这个价值函数来提取策略。3SPO可以视为一种为LLM定制的、更简单的离线RL实现。它没有显式地学习Q(s,a)而是学习V(s)并通过状态过滤的方式来隐式地优化策略。这种方式更易于与LLM的生成范式结合。与搜索增强生成Search-Augmented Generation的结合 这是目前一个非常有力的补充方向。3SPO可以训练出一个具备“价值感知”的LLM基策略。在推理时我们可以在这个基策略之上运行一个搜索算法如MCTS、Beam Search。在搜索树的每个节点用训练好的评分模型V_φ(s)来快速评估状态价值作为剪枝或引导搜索的依据。这样既利用了3SPO学到的价值先验又通过搜索弥补了其探索能力的不足往往能产生更优的最终策略。未来的演进方向 我个人认为纯粹的3SPO或任何一种单一方法都难以解决LLM智能体的所有问题。未来的方向必然是混合范式。例如3SPO 在线微调用3SPO快速得到一个不错的初始策略再辅以极少量、精心设计的在线RL微调进行“点睛之笔”的优化。分层3SPO高层LLM负责制定目标产生高价值的状态描述底层LLM或传统控制器负责执行具体动作。3SPO分别用于训练高层和底层。社会化的评分模型评分模型不仅考虑任务奖励还可以融入人类偏好、安全约束、社会规范等让智能体学习的“好状态”更符合我们的综合期望。构建一个强大、可靠的LLM智能体我们仍在摸着石头过河。3SPO提供了一条将RL的长期价值思想与LLM的监督学习优势相结合的务实路径。它或许不是终极答案但无疑是当前工具箱里一件值得深入理解和尝试的利器。在实际项目中我的建议是从一个定义清晰、规模可控的子任务开始搭建起3SPO的最小可行管道亲身体验其数据流转和模型迭代的全过程。只有亲手调试过评分模型的偏差处理过状态表征的信息丢失你才能真正把握这种方法的脉搏知道何时该用它以及如何让它更好地为你服务。 LLM智能体优化新范式：从指令跟随到状态感知的3SPO方法详解
1. 从“指令跟随”到“状态感知”为什么LLM智能体需要新的优化范式如果你在过去一年里尝试过用大语言模型LLM构建一个能自主完成复杂任务的智能体Agent大概率会经历一个从兴奋到困惑的过程。初期你可能会惊叹于GPT-4等模型强大的指令理解和规划能力它能将一个“帮我订机票”的模糊指令分解成搜索航班、比价、填写信息等一系列子步骤。然而当你试图让这个智能体在更动态、更长期的环境中稳定运行时比如让它管理一个持续运行的服务器集群或者在一个开放世界的游戏里生存问题就来了。你会发现智能体的行为常常是短视的、不稳定的或者对环境的微小变化反应过度。它像一个记忆力只有三秒的“金鱼”只记得上一步的指令却无法基于当前“状态”做出最优的长期决策。这正是当前LLM智能体研究的核心痛点。我们通常用“强化学习”Reinforcement Learning, RL的框架来思考这个问题智能体Agent在环境Environment中行动观察状态State执行动作Action并获得奖励Reward。传统的微调方法比如监督式微调SFT本质上是让模型模仿“专家轨迹”学习“在某个状态下应该执行什么动作”。这就像教一个新手司机看教学录像——他学会了在特定路口左转但一旦遇到录像里没有的突发状况比如一只猫窜出来就可能完全不知所措。因为SFT没有教会模型理解“为什么”要左转以及左转这个动作对后续旅程长期回报的影响。而强化学习特别是基于策略梯度的方法理论上能解决这个问题。它通过试错让智能体自己去探索动作的长期后果从而学习到一个能最大化累积奖励的策略。但将经典RL直接套用在LLM上成本高得吓人。你需要让LLM在模拟或真实环境中进行海量交互每走一步都要计算一次奖励然后通过复杂的梯度更新来调整其数以百亿计的参数。这不仅是计算资源的无底洞训练过程也极不稳定策略很容易崩溃。于是一个折中的思路出现了能不能用更高效、更稳定的方式为LLM智能体注入“长期规划”和“状态价值评估”的能力这就是“3SPO: State-Score-Supervised Policy Optimization”这类方法试图回答的问题。它不再仅仅依赖于动作层面的模仿什么是对的而是引入了一个更高维的监督信号状态评分State Score。这个评分可以理解为对当前环境状态的一个“整体估值”它综合评估了当前状态的好坏以及未来潜在回报的高低。训练的目标是让LLM不仅学会在某个状态下做出正确动作更要学会理解和预测哪些状态是“好”的从而主动朝着“好状态”去规划和行动。简单来说3SPO试图让LLM智能体从一个被动的“指令执行者”转变为一个主动的“状态管理者”。它关心的不是单一动作的得失而是整个任务轨迹的走向。这听起来有点抽象但我们可以用一个生活中的例子来类比教孩子整理房间。SFT的方法是“看到地上的玩具捡起来放进箱子。”而3SPO的思路是除了教他捡玩具的动作还会告诉他“一个整洁的房间好状态会让你心情舒畅、更容易找到东西而杂乱无章的房间坏状态会带来麻烦。”孩子理解了“整洁”这个状态的价值后他可能不仅会捡玩具还会主动把书摆齐、把床铺好甚至预防房间变乱——因为他内在追求的是“好状态”本身。接下来我们将深入拆解3SPO这个听起来很学术的名字背后每一个核心部分是如何运作的以及它如何在实际中解决LLM智能体的优化难题。2. 拆解3SPO状态、评分与策略优化的三位一体要理解3SPO我们必须把它拆开来看State状态Score评分Supervised Policy Optimization监督式策略优化。这三者构成了一个完整的优化闭环。2.1 State超越文本上下文的“环境表征”在LLM的典型语境中“状态”往往被简化为当前的对话历史或任务描述文本。但在智能体场景中状态State的定义必须更加丰富和结构化。它应该是一个能够充分表征当前环境所有相关信息的数据结构。对于一个网页浏览智能体状态可能包括当前URL、页面DOM树的简化表示、屏幕上可见的文本和按钮、之前的操作历史如点击了哪个链接、以及任务目标如“找到产品价格”。对于一个代码生成智能体状态可能是当前的代码文件内容、编译错误信息、测试用例运行结果、以及用户的需求描述。3SPO方法首先需要解决的就是如何为LLM构建一个有效的状态表征。这通常不是简单地把所有信息拼接成一段文本扔给模型。更有效的做法是进行状态编码State Encoding结构化提取从原始环境如浏览器、IDE、游戏引擎中提取关键的结构化特征。例如从网页中提取出所有的按钮文本、链接和输入框并保留它们的层级关系和可交互属性。序列化压缩将这些结构化特征序列化成一种LLM易于理解的格式。这可能是一种自定义的标记语言或者是经过设计的自然语言描述模板。关键在于保持信息的完整性和模型解析的便利性。历史集成将当前时刻的观察Observation与过去若干步的动作-状态对历史进行融合。这相当于为LLM提供了短期记忆使其能够理解当前状态的来龙去脉。一个常见的实践是使用一个轻量级的“状态编码器”模块可能是一个小型的Transformer或LSTM先将原始环境数据编码成一个固定维度的向量再将这个向量与任务的文本描述一起作为LLM的输入。这样LLM接收到的就是一个融合了环境感知和任务意图的增强型“状态”提示。2.2 Score驱动智能体进化的“价值罗盘”如果说状态是智能体感知世界的“眼睛”那么评分Score就是指引其行动的“罗盘”。这个评分在RL术语中非常接近于“状态价值函数V(s)”或“优势函数A(s, a)”。它量化了当前状态或状态-动作对的“好坏”。为状态生成高质量、可学习的评分是3SPO成功的关键。评分来源通常有以下几种环境原生奖励Sparse Reward环境直接提供的奖励信号比如游戏得分、任务完成标志成功/失败。这种奖励通常非常稀疏只在任务结束时才有且包含噪音直接用于监督学习效果很差。人工标注或规则奖励Dense Reward为了提供更密集的指导我们可以设计一套规则或请人类专家为中间状态打分。例如在网页导航任务中可以设定“离目标页面链接的点击距离越近得分越高”。这能提供每一步的反馈但规则设计成本高且难以覆盖所有复杂情况。学习得到的价值模型Learned Value Model这是更主流且 scalable 的方法。我们可以先用少量数据可以是专家演示、随机探索轨迹等训练一个独立的“价值评估模型”。这个模型以状态或状态-动作对为输入输出一个标量分数预测从该状态出发所能获得的期望累积回报。这个模型一旦训练好就可以为海量的新状态自动生成评分。在3SPO框架中我们通常采用第三种方式或者将其与第二种结合。具体流程是先收集一批初始轨迹数据可能质量不高用它们预训练一个初始的价值模型然后用这个价值模型去评估新的状态生成评分标签再用这些“状态-评分”对去优化策略LLM优化后的策略能产生更好的轨迹反过来又可以用来迭代更新价值模型。这就形成了一个数据飞轮。注意评分模型的质量直接决定了策略优化的上限。一个糟糕的评分模型会给出错误的指引导致策略学偏。因此在初期需要投入精力确保评分模型的相对准确性例如通过混合稀疏环境奖励和少量高质量人工标注来进行校准。2.3 Supervised Policy Optimization用评分标签“教”会LLM规划有了状态表征和对应的评分最核心的一步来了如何用这些信息来优化LLM策略这就是“监督式策略优化”的部分。它与传统的SFT和RL都有区别。传统SFT的标签是“动作”Action给定状态s正确的动作a是什么。而3SPO的监督信号是“评分”Score给定状态s它的价值分数v是多少。训练目标从“模仿动作”变成了“预测状态价值”。那么如何通过让LLM“预测评分”来优化其“生成动作”的能力呢这里有两种主流的实现思路思路一基于评分过滤的轨迹重放Score-filtered Trajectory Replay这种方法相对直观。我们让LLM在环境中运行收集大量轨迹状态序列。然后用评分模型为轨迹中的每一个状态打上分数。接着我们筛选出高评分状态对应的状态动作对将这些数据作为高质量正例用于对LLM进行SFT。同时也可以将低评分状态对应的动作作为负例进行对比学习Contrastive Learning或负例抑制。这个过程本质上是在进行“经验选择”。它教会LLM“在类似这样的好状态下你之前做的那个动作是值得鼓励的而在那种坏状态下你做的动作要避免。”通过反复迭代LLM的策略会逐渐向能够导致高评分状态的动作分布靠拢。思路二将评分作为推理过程的隐式约束Score-as-a-Supervision这是一种更“端到端”的做法。我们修改LLM的推理过程或训练目标使其在生成动作时必须同时或隐式地考虑对后续状态的评分预测。一种实现方式是“Critic-in-the-Loop”。在LLM内部除了生成动作的主干网络额外训练一个“价值头”Value Head。这个价值头以LLM的中间层表示即对当前状态的理解为输入输出一个评分预测。在训练时我们有两个损失动作损失如果是基于专家数据的SFT则计算动作预测的交叉熵损失。评分损失计算价值头预测的评分与目标评分来自评分模型之间的均方误差MSE。这两个损失联合优化。这样LLM的内部表示在训练过程中会被迫学习到那些与高评分相关的状态特征。在推理时我们虽然只使用动作输出但这个输出已经是由一个“懂得评估状态价值”的模型所生成的因此其长期规划能力更强。另一种更前沿的思路是使用“搜索增强”。在LLM生成动作时不直接输出第一个token而是进行一个轻量的内部搜索例如使用蒙特卡洛树搜索MCTS的简化版。在搜索的每一步用内置的或外部的评分模型来评估候选动作可能导致的后继状态的价值从而选择预期价值最高的动作路径。这种方法的训练可以是通过让LLM学习搜索得到的最优路径来进行的。3. 实战构建手把手实现一个简易的3SPO训练流程理论可能有些烧脑我们通过一个具体的简化案例——训练一个“文本冒险游戏智能体”——来勾勒3SPO的实现骨架。假设游戏环境很简单智能体在一个房间里可以通过动作如“向东走”、“拿起剑”、“攻击怪物”来探索目标是找到宝藏并离开房间。3.1 第一步定义状态、动作与评分模型状态State定义 我们不能直接把游戏引擎的内部状态丢给LLM。需要设计一个文本化的状态描述模板例如[房间描述] 你身处一个石室东边有一扇木门西边墙上有一个火把。地上有一把生锈的剑。 [背包物品] 空。 [任务目标] 找到宝藏并离开房间。 [历史动作] 你刚刚从入口进入这个房间。这就是我们给LLM的输入状态s_t。动作Action空间 定义一组可用的动作如[向北走, 向南走, 向东走, 向西走, 拿起[物品], 使用[物品], 攻击[目标], 观察]。LLM需要根据状态生成这些动作之一。评分模型Score Model训练数据收集先让一个随机策略或基础规则的智能体在游戏里跑N轮收集大量轨迹数据(s_0, a_0, r_0, s_1, a_1, r_1, ..., s_T)。这里的r_t是环境给的稀疏奖励比如找到宝藏100被怪物打败-50其他步骤为0。计算目标评分对于轨迹中的每一个状态s_t我们计算其“回报Return”G_t r_t γ * r_{t1} γ^2 * r_{t2} ...其中γ是折扣因子比如0.99。这个G_t就是从状态s_t出发所能获得的期望累积奖励它就是我们的目标评分v_t。训练评分模型用一个相对小型的神经网络比如一个3层的MLP作为评分模型V_φ(s)。输入是状态的文本描述经过一个预训练文本编码器如BERT得到的向量输出是一个标量。我们用收集到的(s_t, v_t)数据对来训练这个模型最小化预测评分和v_t之间的均方误差。训练完成后这个V_φ(s)就可以为任意新状态s预测一个评分。3.2 第二步基于评分优化LLM策略我们采用前面提到的“思路一基于评分过滤的轨迹重放”。运行旧策略收集新数据用当前的LLM策略初始可以是SFT过的在环境中运行收集一批新的轨迹。评分过滤用训练好的评分模型V_φ(s)为这批新轨迹中的每一个状态s_t计算预测评分v_t。构建训练数据集设定一个评分阈值τ比如所有状态评分的前30%分位数。将所有v_t τ的高评分状态及其对应的动作(s_t, a_t)筛选出来作为优质正例。同时可以随机采样一些低评分状态的动作作为负例。监督式微调LLM使用筛选出的正例数据(s_t, a_t)以标准的语言模型下一个token预测交叉熵损失对LLM进行微调。目标是让LLM在看到高评分状态s_t时更大概率生成当时采取的成功动作a_t。对于负例可以采用类似“unlikelihood training”的方法降低LLM生成这些失败动作的概率。迭代用微调后的新LLM策略回到第1步收集新数据如此循环。随着迭代进行LLM策略越来越倾向于访问高评分状态评分模型V_φ(s)也可以定期用新旧混合数据重新训练以更准确地评估新策略探索到的状态空间。3.3 第三步关键实现细节与避坑指南在实际编码中有几个细节决定了成败细节1状态文本化的信息损失直接将游戏内部状态用自然语言模板描述可能会丢失关键的结构化信息比如物品之间的空间关系。解决方案是尝试不同的描述格式比如使用类似JSON的键值对或者模仿物体清单的格式确保所有关键属性都被列出。也可以考虑在将状态文本输入LLM之前先用一个图神经网络GNN处理游戏内部的状态图然后将图编码的向量作为额外提示信息注入给LLM。细节2评分模型的分布偏移初始评分模型是用随机策略的数据训练的。当LLM策略优化后它访问的状态分布会发生变化更多访问好状态。用旧数据训练的评分模型可能无法准确评估这些新状态导致评分不准。这就是**分布偏移Distribution Shift**问题。应对策略定期每轮或每两轮迭代用新旧策略混合收集的数据重新训练或微调评分模型。也可以使用更鲁棒的离线强化学习算法来训练评分模型如Conservative Q-Learning (CQL) 的思路防止对分布外状态给出过于乐观的估计。细节3稀疏奖励下的评分信噪比低在我们的游戏例子里只有找到宝藏或死亡才有显著奖励中间步骤的回报G_t计算出来可能都很接近导致评分标签的区分度不高。这会使得评分模型难以学习筛选出的“高评分”状态也不够有代表性。应对策略可以引入基于模型的奖励塑形Reward Shaping。例如设计一些启发式中间奖励距离宝藏的预估步数减少 1发现新区域 0.5。将这些塑形奖励加到环境原始奖励上再计算G_t可以显著提高评分信号的密度和质量。但要注意塑形奖励不能改变原始任务的最优解。细节4LLM微调的不稳定性直接对大型LLM进行全参数微调成本高且容易遗忘原有能力。推荐使用参数高效微调PEFT技术如LoRA (Low-Rank Adaptation)。只为LLM的注意力层添加低秩适配器只训练这部分新增参数。这能极大减少显存消耗和过拟合风险保持模型原有知识的稳定性。一个简化的训练循环伪代码框架如下# 伪代码示意核心循环 llm_policy initialize_policy() # 加载预训练LLM value_model initialize_value_model() # 随机初始化评分模型 replay_buffer [] # 经验回放池 for iteration in range(total_iterations): # 1. 收集数据 trajectories [] for episode in range(episodes_per_iter): state env.reset() trajectory [] while not done: action llm_policy.generate(state) # LLM生成动作 next_state, reward, done, _ env.step(action) trajectory.append((state, action, reward, next_state)) state next_state trajectories.append(trajectory) replay_buffer.extend(process_trajectory(trajectory)) # 处理后存入缓冲池 # 2. 更新评分模型 (每隔K轮) if iteration % update_value_freq 0: # 从缓冲池采样数据计算回报G_t作为标签 train_data sample_from_buffer(replay_buffer) value_model.train(train_data) # 训练V_φ(s)逼近G_t # 3. 筛选优质数据 high_score_pairs [] for traj in trajectories: for (s, a, _, _) in traj: predicted_score value_model.predict(s) if predicted_score threshold: high_score_pairs.append((s, a)) # 4. 优化LLM策略 if len(high_score_pairs) 0: # 使用LoRA等方式微调LLM输入s目标输出a llm_policy.supervised_update(high_score_pairs)4. 3SPO的优劣分析与适用边界任何一种方法都有其适用的场景和局限性3SPO也不例外。理解它的边界能帮助我们在正确的场景下选择它。优势训练稳定性高相比于需要在线交互、策略可能剧烈震荡的经典RL如PPO3SPO基于监督学习优化过程更平滑、更可控。它避免了RL中复杂的优势函数估计、重要性采样等高方差操作。样本效率相对较好通过评分模型对状态进行估值它能够从有限的成功轨迹中提取出“好状态”的抽象特征并让策略去模仿导致这些好状态的动作。这比纯RL需要大量试错去探索要高效一些。兼容现有LLM生态整个流程可以构建在现有的LLM和SFT基础设施之上。不需要对LLM的架构或训练框架做颠覆性改动主要新增的是一个独立的评分模型训练环节。可解释性较强评分模型V_φ(s)的输出是一个标量我们可以分析哪些状态获得了高分从而理解智能体认为的“好”是什么。这为调试和优化提供了抓手。劣势与挑战依赖于评分模型的质量这是最大的瓶颈。如果评分模型不准整个优化方向就是错的。而训练一个准确、泛化能力强的评分模型本身就是一个难题尤其是在稀疏奖励和复杂状态空间下。可能陷入局部最优3SPO本质上是一种“模仿学习”的进阶版——模仿那些导致高评分状态的行为。如果初始数据或评分模型未能覆盖真正最优的路径策略可能会学会一个“次优但评分高”的局部最优解而无法发现全局最优解。探索能力有限监督学习范式天生倾向于利用exploit已知的好模式而非探索explore未知的可能性。虽然可以通过在数据收集中引入随机性如ε-greedy来缓解但其探索效率通常低于专门设计探索策略的RL算法。对长程依赖任务依然吃力评分模型评估的是状态的长期价值这要求它具备很强的长程推理和预测能力。对于需要数百步规划才能获得奖励的任务评分模型的预测误差会随着步数指数级累积导致远期状态评分极不可靠。适用场景判断适合任务有相对明确的“好状态”定义如游戏关卡、明确的业务流程可以获得中等数量的专家演示或能通过规则定义出密集的中间奖励计算资源有限无法承受大规模在线RL训练。不适合奖励信号极其稀疏且难以设计中间奖励如某些创造性设计任务状态空间极其复杂且动态变化极快对探索能力要求极高需要发现颠覆性新策略的场景。5. 超越3SPO与Agentic RL及更前沿思路的对比3SPO是LLM智能体优化浪潮中的一朵浪花。了解它与其它前沿思路的关系能帮助我们更好地定位它。最近随着Lilian Weng等研究者提出“Agentic RL”的概念关于如何让LLM成为更好的“智能体”的讨论更加热烈。与经典在线RL如PPO的对比 经典RL是“在交互中学习”。智能体通过试错直接根据获得的奖励信号更新策略。其优势是理论完备探索能力强可能发现超出人类预设的最优解。劣势是样本效率极低、训练不稳定、超参数敏感且不适合直接用于大参数量的LLM。3SPO可以看作是将RL问题“降维”成了一个监督学习问题用评分模型来近似RL中的价值函数从而规避了在线交互的高成本和高方差。与纯监督模仿学习Behavior Cloning的对比 纯模仿学习BC直接克隆专家动作简单稳定但存在“复合误差”一步错步步错问题且无法超越专家水平。3SPO引入了“状态价值”这个维度让智能体学习的是“什么样的状态值得追求”而不仅仅是“在某个状态下该做什么”。这赋予了智能体一定的泛化和纠错能力当偏离专家轨迹时它仍能尝试朝着高价值状态回归。与离线强化学习Offline RL的对比 3SPO在精神上与离线RL非常接近都是利用静态数据集而非在线交互来优化策略。许多离线RL算法如IQLImplicit Q-Learning、CQL其核心也是学习一个价值函数或Q函数然后通过这个价值函数来提取策略。3SPO可以视为一种为LLM定制的、更简单的离线RL实现。它没有显式地学习Q(s,a)而是学习V(s)并通过状态过滤的方式来隐式地优化策略。这种方式更易于与LLM的生成范式结合。与搜索增强生成Search-Augmented Generation的结合 这是目前一个非常有力的补充方向。3SPO可以训练出一个具备“价值感知”的LLM基策略。在推理时我们可以在这个基策略之上运行一个搜索算法如MCTS、Beam Search。在搜索树的每个节点用训练好的评分模型V_φ(s)来快速评估状态价值作为剪枝或引导搜索的依据。这样既利用了3SPO学到的价值先验又通过搜索弥补了其探索能力的不足往往能产生更优的最终策略。未来的演进方向 我个人认为纯粹的3SPO或任何一种单一方法都难以解决LLM智能体的所有问题。未来的方向必然是混合范式。例如3SPO 在线微调用3SPO快速得到一个不错的初始策略再辅以极少量、精心设计的在线RL微调进行“点睛之笔”的优化。分层3SPO高层LLM负责制定目标产生高价值的状态描述底层LLM或传统控制器负责执行具体动作。3SPO分别用于训练高层和底层。社会化的评分模型评分模型不仅考虑任务奖励还可以融入人类偏好、安全约束、社会规范等让智能体学习的“好状态”更符合我们的综合期望。构建一个强大、可靠的LLM智能体我们仍在摸着石头过河。3SPO提供了一条将RL的长期价值思想与LLM的监督学习优势相结合的务实路径。它或许不是终极答案但无疑是当前工具箱里一件值得深入理解和尝试的利器。在实际项目中我的建议是从一个定义清晰、规模可控的子任务开始搭建起3SPO的最小可行管道亲身体验其数据流转和模型迭代的全过程。只有亲手调试过评分模型的偏差处理过状态表征的信息丢失你才能真正把握这种方法的脉搏知道何时该用它以及如何让它更好地为你服务。