你是否遇到过这种情况强化学习项目里模型辛辛苦苦收敛之后表现出来的行为却和业务目标南辕北辙。你本来想让智能体把机械臂移动到杯子旁边它却学会了“优雅地”把杯子推到地上来换取更高分数。模型在仿真环境里分数亮眼一到真实场景就执行了一堆人类完全无法接受的怪异动作。这类问题绝大多数不是算法太弱而是奖励函数设计失败了。奖励函数决定了智能体“学什么”它写得好不好直接影响训练收敛速度、最终策略质量以及模型是否真正符合人类意图。今天我想围绕一个系统化设计框架展开A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions。它把奖励函数设计从“拍脑袋写一个 R a b”的原始状态变成一套可复用的工程方法先定义目标再筛选特征最后构造奖励函数并且始终把“人类对齐”纳入设计审查。这篇文章会先讲清楚奖励函数的基本概念再完整拆解这个三步框架然后用一个 5×5 网格世界的实战项目带领大家从零实现多种奖励函数并进行对比训练。文章最后给出高频踩坑清单和工程最佳实践。无论你是刚接触强化学习的入门者还是已经在跑 PPO、DQN 的进阶开发者都能从这套框架里得到可复制的方法论。1. 背景与核心概念在深入设计框架之前我们先统一几个概念奖励函数到底是什么它为什么重要以及当前业界最常见的失败模式有哪些。1.1 什么是奖励函数在强化学习Reinforcement LearningRL中奖励函数是一个标量映射R(s, a) → r 或 R(s, a, s) → r它表示智能体在状态 s 下执行动作 a事后从环境获得的即时奖励数值。RL 算法的核心目标就是找到一个策略 π(a|s)使得长期累积奖励的期望值最大化G_t r_t γ r_{t1} γ^2 r_{t2} ...其中 γ 是折扣因子γ 越小越看重短期收益γ 越接近 1越看重长期收益。奖励函数是智能体行为目标的“编码器”。如果说模型是学生那奖励函数就是老师的打分规则。老师只靠分数引导学生如果得分标准定错了学生就会为了分数做出各种“作弊”行为这也正是 reward hacking 产生的根源。1.2 为什么奖励函数设计是难题很多初学者会把奖励函数想得过于简单目标打几分失败扣几分不就完事了吗实际工程中挑战主要体现在几个方面第一目标不好量化。业务目标是“快速到达目标位置”但什么叫“快速”什么叫“到达”这需要把自然语言目标翻译成数学表达式。第二观测空间与目标之间存在鸿沟。智能体并不能看到完整的底层状态它只能拿到一些高维观测图像、激光雷达、位置坐标。如何从这些可观测数据中抽象出能支撑目标的特征是个关键问题。第三奖励稀疏问题。如果只给到达目标 1其他情况 0那智能体几乎无法获得学习信号尤其在长时序任务中探索效率会低到令人绝望。第四奖励函数的“副作用”。假设奖励函数是“到达终点 100每走一步 - 1”智能体可能会为了尽量减少步数直接穿过障碍物或者卡在终点附近刷分这些都不是设计者真实的业务意图。1.3 框架的价值从目标到特征到奖励函数把奖励函数设计从“玄学”变成“流程”是这套框架的核心价值。它把设计过程拆成三个清晰阶段目标Objectives用自然语言或业务语言定义“我们到底希望智能体最终表现出什么行为”。特征Features从状态观测中筛选出与目标相关的可量化变量比如当前位置到目标点的距离、是否危险、是否完成关键动作。奖励函数Reward Function将特征组合为标量奖励并调节量纲、权重和奖励塑形让模型既能高效学习又不容易偏离人类意图。同时框架要求我们在每一个阶段都做“人类对齐”检查奖励函数是不是真的在奖励我们想要的行为它有没有可能被智能体恶意利用它是否在多个目标之间保持了平衡这实际上是把奖励工程从“事后补丁”变成了“过程设计”我认为这是所有 RL 工程师都应该掌握的思维方式。2. 环境准备与版本说明为了后续实战案例能顺利运行这一节我们先准备实验环境。本篇文章的所有示例代码都以 Python 为核心涉及到的关键依赖如下Python 3.10 或 3.11注意确保 pip 可用NumPy用于数组运算和环境状态管理Matplotlib用于绘制训练曲线和策略可视化可选的 Gymnasium如果读者想把这个网格世界封装成标准 Gym 环境以便接入 Stable-Baselines3 等框架。版本不需要和我完全一致只要保证主版本兼容即可。以我在本地测试时为例python --version Python 3.11.5 pip install numpy matplotlib gymnasium这里说明一点本文提供的自定义网格世界环境并不强依赖 Gymnasium后面我们会手动实现一套轻量环境。如果读者希望使用 Stable-Baselines3 训练 PPO 或 DQN只需把自定义环境按照 Gym API 封装即可我在第 4 节会给出封装思路。2.1 建议的工程目录项目实战时我建议按下面的目录结构组织文件方便扩展和维护reward_design_demo/ ├── envs/ │ ├── __init__.py │ └── grid_world.py ├── algorithms/ │ ├── __init__.py │ └── q_learning.py ├── rewards/ │ ├── __init__.py │ ├── sparse_reward.py │ ├── dense_reward.py │ └── feature_reward.py ├── experiments/ │ ├── train_compare.py │ └── plot_results.py └── requirements.txt虽然示例代码完全可以放在单一 .py 文件中但工程化组件拆分能让你快速替换不同的奖励函数做批量实验这也是工程实践中的基本要求。2.2 示例环境说明为了把设计框架讲清楚我特意选择了一个足够简单、又足够说明问题的环境5×5 网格世界。网格边界为 5×5起点固定在 (0,0)终点固定在 (4,4)障碍物设置在 (2,2)智能体每一步可以向上、下、左、右移动一个格子不能走出边界否则视为撞墙并原地不动到达终点后回合结束。这个环境虽然简单但它包含了稀疏奖励、障碍物、步数惩罚等真实世界中常见的要素用来演示奖励函数设计流程再合适不过。3. 核心框架拆解从目标到特征到奖励函数这一节是文章的重点。我会结合论文标题中的框架把“目标-特征-奖励函数-人类对齐”的完整链路拆开讲解。3.1 第一步明确目标Objectives很多时候奖励函数设计得不好根源在于目标描述不清晰。目标必须足够具体且能指导后续特征选择。以网格世界为例业务语言的目标可能是智能体应该尽快从起点到达终点智能体应该尽量避免撞墙智能体不应该浪费太多步数在无意义的位置来回移动如果遇到障碍物应该绕过它而不是硬闯。如果把“尽快”翻译成可量化语言就是“总步数越少越好”。如果把“避免撞墙”翻译成可量化语言就是“撞墙次数为零或者撞墙次数越少越好”。这些翻译就是目标到特征的第一步。在这个阶段不要急于写数学公式而应该用文字把以下内容固定下来最终需要优化的核心指标是什么例如到达目标的成功率有哪些需要同时满足的硬约束例如不能连续撞墙超过 N 次有哪些不能容忍的行为例如绕过目标点故意拖延时间只有把目标清单列出来后续的奖励函数构造才有据可依。3.2 第二步提取特征Features确定目标后我们需要从环境观测中找出与目标相关的特征。特征需要满足三个条件可观测智能体必须能通过传感器或状态接口获得该变量可量化它是连续数值或离散数值而不是模糊的感叹句与目标强相关特征变化确实反映了目标达成程度的提升或恶化。在网格世界环境中状态观测通常包括特征含义数据类型x当前智能体横坐标inty当前智能体纵坐标intgoal_x终点横坐标intgoal_y终点纵坐标intdistance当前位置到终点的曼哈顿距离intis_blocked是否撞墙booldone是否到达终点bool其中最重要的特征就是“曼哈顿距离”因为它是“是否接近目标”的直接度量。另一个重要特征是“是否撞墙”它对行为约束非常敏感。其余特征更多用于决定环境状态转移。需要注意的是特征并不是提取得越多越好。无关特征不仅会增加奖励函数复杂度还可能引入意想不到的奖励黑客路径。特征选择应该遵循“最小充分集”原则只保留与目标直接相关、且因果链条清晰的特征。3.3 第三步构造奖励函数Reward Function有了目标清单和特征集合接下来就是组合公式了。奖励函数一般由三个核心组成部分构成成功/失败奖励过程型奖励约束惩罚。成功/失败奖励用于标记回合结束状态比如到达终点 50进入不可回复的失败状态 -20。它们的作用是给智能体提供最终的、稀疏的语义信号。过程型奖励则负责引导智能体“走对每一步”。最经典的做法是“步数惩罚”即每走一步扣 1 分从而鼓励智能体用更少步数完成任务。更高级的做法是“基于势能的奖励塑形”F(s, s) γ * Φ(s) - Φ(s)其中 Φ(s) 是一个势函数比如终点距离的负数。如果智能体每走一步让 Φ 值变大即更接近终点就会获得正向的塑形奖励反之则扣分。事实上在网格世界里我们可以直接设计为r_step -1 α * (distance_prev - distance_next)这里 distance_prev - distance_next 就是距离缩减量它直接度量了“这一步到底有没有朝目标靠近”是一种非常自然的密集奖励。约束惩罚则专门解决“人类不能接受的行为”。比如撞墙扣 5 分走到障碍物附近额外扣分。它相当于把硬约束软化成优化目标让模型不会肆无忌惮地做出危险动作。把这三部分组合起来一个典型的密集奖励函数可以写作r 50 if reached goal -5 if hit wall -1 general time penalty 0.8 * (d_prev - d_next) # distance progress shaping这里的系数 50、5、1、0.8 都是需要实验调节的超参数。设计者需要关注量纲一致性避免某一项奖励过大导致模型被单一目标支配。3.4 人类对齐Human-Aligned Reward Functions奖励函数初步构造完成后最重要却最容易被忽略的一步就是对齐审查。人类对齐体现在两个层面第一行为层面的对齐。奖励函数引导出的最优策略是不是人类认可的在网格世界里如果奖励函数只关心步数模型可能会穿过障碍物抄近道但那显然不符合真实物理世界的行为期望。于是我们必须加入“撞墙惩罚”来把行为拉回来。第二探索与利用的对齐。密集奖励能加速收敛但过度密集的奖励也可能让智能体陷在局部最优。比如把距离缩减系数调得过大模型可能只求每一小步前进却没有规划合理的整体路径最终绕远路甚至撞墙。因此对齐检查时还要审视“奖励梯度”是否与人类判断一致。第三鲁棒性对齐。一个理想的人类对齐奖励函数不应该对环境的微小扰动过于敏感。比如终点位置稍微偏移 1 格训练出来的策略不应彻底失效这要求特征提取和奖励设计都具备一定的泛化能力。很多团队在部署 RL 策略前会做一次“奖励函数审计”列出目标清单逐条检查奖励函数是否满足每个目标。如果发现有的目标没有被覆盖就补充对应特征和惩罚项如果发现某个目标被过度强调就适当下调权重。这个过程就是上文框架里所说的“Human-Aligned”落地的关键。4. 完整实战案例5×5 网格世界的奖励函数设计接下来我们用真实可运行的代码把上面的框架走一遍。4.1 创建项目结构先创建基础目录mkdir -p reward_design_demo/{envs,algorithms,rewards,experiments} cd reward_design_demo touch envs/__init__.py algorithms/__init__.py rewards/__init__.py然后安装依赖pip install numpy matplotlib如果你后面想对接 Gymnasium再执行pip install gymnasium4.2 实现网格世界环境在envs/grid_world.py中写入以下代码。这是自定义环境的核心类它维护网格状态、障碍物、起点和终点并且计算每一步的特征。# 文件路径envs/grid_world.py import numpy as np class GridWorld: 5×5 网格世界目标是让智能体从起点到终点同时避开障碍物。 ACTIONS { 0: (-1, 0), # 上 1: (1, 0), # 下 2: (0, -1), # 左 3: (0, 1) # 右 } ACTION_NAMES {0: UP, 1: DOWN, 2: LEFT, 3: RIGHT} def __init__( self, size5, start(0, 0), goal(4, 4), obstacles{(2, 2)}, reward_kinddense, ): self.size size self.start start self.goal goal self.obstacles obstacles self.reward_kind reward_kind self.agent_pos None self.done False self.total_step 0 # 用于记录距离变化方便构造塑形奖励 self.prev_distance None def reset(self): self.agent_pos list(self.start) self.done False self.total_step 0 self.prev_distance self._manhattan_distance(self.agent_pos) return self._get_state() def step(self, action): 执行动作返回 (next_state, reward, done, info) if self.done: raise RuntimeError(Episode already terminated, please reset first.) dx, dy self.ACTIONS[action] next_pos [self.agent_pos[0] dx, self.agent_pos[1] dy] hit_wall False # 判断是否越界 if not (0 next_pos[0] self.size and 0 next_pos[1] self.size): next_pos self.agent_pos[:] hit_wall True # 判断是否碰到障碍物 if tuple(next_pos) in self.obstacles: next_pos self.agent_pos[:] hit_wall True self.agent_pos next_pos self.total_step 1 # 是否到达终点 reached_goal (tuple(self.agent_pos) self.goal) # 计算奖励 reward self._compute_reward( hit_wallhit_wall, reached_goalreached_goal ) # 更新 prev_distance new_distance self._manhattan_distance(self.agent_pos) self.prev_distance new_distance # 是否结束 if reached_goal: self.done True state self._get_state() info { hit_wall: hit_wall, reached_goal: reached_goal, total_step: self.total_step } return state, reward, self.done, info def _get_state(self): 返回模型需要的观测特征后续可能用于线性特征组合 x, y self.agent_pos dist self._manhattan_distance(self.agent_pos) return { x: x, y: y, goal_x: self.goal[0], goal_y: self.goal[1], distance: dist, } def _manhattan_distance(self, pos): return abs(pos[0] - self.goal[0]) abs(pos[1] - self.goal[1]) def _compute_reward(self, hit_wall, reached_goal): 这里根据 reward_kind 返回不同奖励结构 用于对比不同设计对训练的影响。 if self.reward_kind sparse: # 稀疏奖励只有到达终点才给 1其余一律 0 if reached_goal: return 1.0 return 0.0 if self.reward_kind dense_basic: # 基础密集奖励步数惩罚 成功奖励 撞墙惩罚 reward -1.0 if reached_goal: reward 50.0 if hit_wall: reward - 5.0 return reward if self.reward_kind dense_feature: # 基于距离缩减的密集奖励 reward -1.0 current_distance self._manhattan_distance(self.agent_pos) # 智能体如果向终点靠近会得到正向塑形奖励 progress self.prev_distance - current_distance reward 0.8 * progress if reached_goal: reward 50.0 if hit_wall: reward - 5.0 return reward if self.reward_kind aligned: # 人类对齐设计 # 既考虑步数、距离、撞墙也防止模型刷步数 reward -0.5 current_distance self._manhattan_distance(self.agent_pos) progress self.prev_distance - current_distance reward 1.2 * progress if reached_goal: reward 50.0 if hit_wall: reward - 10.0 # 总步数惩罚随步数增长防止原地转圈 if self.total_step 15: reward - 0.2 * (self.total_step - 15) return reward raise ValueError(fUnknown reward_kind: {self.reward_kind}) def get_action_space_size(self): return len(self.ACTIONS) def get_state_size(self): return 2 # x, y这个环境类保留了prev_distance字段用来计算基于距离缩减的塑形奖励。在_compute_reward中我们分别实现了四种奖励函数后面实验会对比它们的训练效果。4.3 实现 Q-Learning 训练算法为了快速验证奖励函数优劣我们使用经典的表格式 Q-Learning。Q 表大小是(5, 5, 4)分别对应横坐标、纵坐标和动作。# 文件路径algorithms/q_learning.py import numpy as np class QLearningAgent: def __init__(self, state_space(5, 5), action_space4, alpha0.1, gamma0.99, epsilon1.0, epsilon_min0.01, epsilon_decay0.995): self.q_table np.zeros((state_space[0], state_space[1], action_space)) self.alpha alpha self.gamma gamma self.epsilon epsilon self.epsilon_min epsilon_min self.epsilon_decay epsilon_decay self.action_space action_space def choose_action(self, state): x, y state[x], state[y] if np.random.random() self.epsilon: return np.random.randint(self.action_space) return int(np.argmax(self.q_table[x, y])) def update(self, state, action, reward, next_state, done): x, y state[x], state[y] nx, ny next_state[x], next_state[y] predict self.q_table[x, y, action] target reward if not done: target self.gamma * np.max(self.q_table[nx, ny]) self.q_table[x, y, action] self.alpha * (target - predict) # epsilon decay控制探索率 self.epsilon max(self.epsilon * self.epsilon_decay, self.epsilon_min) def train(self, env, episodes1000): rewards_per_episode [] steps_per_episode [] for episode in range(episodes): state env.reset() done False total_reward 0 steps 0 while not done: action self.choose_action(state) next_state, reward, done, info env.step(action) self.update(state, action, reward, next_state, done) state next_state total_reward reward steps 1 if steps 200: break rewards_per_episode.append(total_reward) steps_per_episode.append(steps) return rewards_per_episode, steps_per_episode在训练过程中我设置了最大步数 200避免某些奖励函数下智能体无限循环。epsilon 从 1.0 开始指数衰减到 0.01保证训练后期更多利用已经学到的策略。4.4 运行实验并对比四种奖励函数下面我们编写一个对比脚本。它会分别训练sparse、dense_basic、dense_feature、aligned四种奖励函数并绘制训练曲线。# 文件路径experiments/train_compare.py import matplotlib.pyplot as plt from envs.grid_world import GridWorld from algorithms.q_learning import QLearningAgent def run_experiment(reward_kind, episodes1000, repeat3): # 多次重复训练减少随机性影响 all_rewards [] all_steps [] for _ in range(repeat): env GridWorld(reward_kindreward_kind) agent QLearningAgent( state_space(env.size, env.size), action_spaceenv.get_action_space_size(), alpha0.1, gamma0.99, epsilon1.0, epsilon_min0.01, epsilon_decay0.99, ) rewards, steps agent.train(env, episodesepisodes) all_rewards.append(rewards) all_steps.append(steps) # 取多次实验的分位数避免异常曲线干扰 rewards_mean [] rewards_std [] for i in range(episodes): values [r[i] for r in all_rewards] rewards_mean.append(np.mean(values)) rewards_std.append(np.std(values)) return rewards_mean, rewards_std, all_steps if __name__ __main__: import numpy as np reward_kinds [sparse, dense_basic, dense_feature, aligned] colors [#888888, #4C72B0, #DD8452, #55A868] episodes 1000 plt.figure(figsize(12, 6)) for i, kind in enumerate(reward_kinds): mean, std, _ run_experiment(kind, episodesepisodes, repeat3) episodes_idx np.arange(len(mean)) plt.subplot(1, 2, 1) plt.plot(episodes_idx, mean, labelkind, colorcolors[i]) plt.fill_between(episodes_idx, np.array(mean) - np.array(std), np.array(mean) np.array(std), alpha0.2, colorcolors[i]) plt.subplot(1, 2, 1) plt.xlabel(Episode) plt.ylabel(Cumulative Reward) plt.title(Reward Curve Comparison) plt.legend() plt.grid(True) # 画成功率对比 success_rates [] for kind in reward_kinds: rates [] env GridWorld(reward_kindkind) for _ in range(10): agent QLearningAgent(state_space(env.size, env.size), action_space4) rewards, _ agent.train(env, episodesepisodes) # 判断最终策略是否能到达终点 successful 0 state env.reset() done False for step in range(50): action agent.choose_action(state) next_state, _, done, info env.step(action) state next_state if done: successful 1 break rates.append(successful) success_rates.append(np.mean(rates)) plt.subplot(1, 2, 2) plt.bar(reward_kinds, success_rates, colorcolors) plt.ylabel(Success Rate) plt.title(Final Policy Success Rate) plt.grid(axisy) plt.tight_layout() plt.savefig(reward_comparison.png, dpi150) plt.show()运行脚本cd reward_design_demo python experiments/train_compare.py预期会生成一张对比图左侧是训练奖励曲线右侧是最终策略成功率。4.5 结果预期与说明由于环境中障碍物、起点终点位置固定算法是表格型 Q-Learning对随机种子比较敏感所以我在脚本里对每个奖励函数重复了 3 次训练并绘制了标准差带。这里给出我观察到的典型趋势稀疏奖励sparse训练曲线长期处于 0 奖励附近下降不明显。因为 Q 表初始值全为 0除非偶然探索到终点否则没有学习信号。1000 次迭代后成功率偏低通常只在 40% 以下。基础密集奖励dense_basic奖励值快速呈现出负值但智能体能够逐渐学会为了 50 的成功奖励而尝试走向终点。成功率明显提升一般能达到 80% 左右。不过收敛速度仍然较慢且对撞墙惩罚依赖较大。距离特征密集奖励dense_feature由于每一步都有“距离缩减”带来的正向塑形信号学习信号更充足收敛速度显著加快。在 300-500 个 episode 后成功率就能达到 90% 以上。人类对齐设计aligned除了距离塑形还加入了步数累计惩罚和更高的撞墙惩罚。曲线前期可能稍慢但最终成功率通常稳定在 90%-100%并且能显著减少智能体在终点附近来回横跳的行为。换句话说特征设计越好奖励越密集训练收敛越快。但也要注意过于密集或权重不合理的奖励也可能导致局部最优所以“人类对齐”审查最终应该通过行为表现来判断。4.6 将自定义环境封装为 Gym 环境如果你的项目需要搭 Stable-Baselines3可以把 GridWorld 封装成 Gym 环境。核心是继承gymnasium.Env并实现reset、step、render等方法。# 文件路径envs/gym_grid_world.py import gymnasium as gym import numpy as np from gymnasium import spaces from envs.grid_world import GridWorld class GymGridWorld(gym.Env): def __init__(self, reward_kinddense_feature): super(GymGridWorld, self).__init__() self.env GridWorld(reward_kindreward_kind) self.observation_space spaces.Box(low0, highself.env.size - 1, shape(2,), dtypenp.int32) self.action_space spaces.Discrete(4) def reset(self, seedNone, optionsNone): super().reset(seedseed) state self.env.reset() return np.array([state[x], state[y]], dtypenp.int32), {} def step(self, action): state, reward, done, info self.env.step(int(action)) obs np.array([state[x], state[y]], dtypenp.int32) return obs, reward, done, False, info def render(self, modehuman): grid np.zeros((self.env.size, self.env.size)) x, y self.env.agent_pos grid[x, y] 1 print(grid)封装之后就能直接使用stable_baselines3的 DQN、PPO 等算法了from stable_baselines3 import PPO from envs.gym_grid_world import GymGridWorld env GymGridWorld(reward_kinddense_feature) model PPO(MlpPolicy, env, verbose1) model.learn(total_timesteps10000)不过在实际跑 high-level 算法前建议还是先用 Q-Learning 验证奖励函数设计思路因为表格方法更容易观察策略行为和 Q 值分布。5. 常见问题与排查思路奖励函数设计是一个反复迭代的过程即使你完全按照框架执行也可能会遇到各种问题。这里我整理了高频问题和排查思路附带了直接可用的解决方向。问题现象常见原因解决思路训练步数很多但累计奖励一直很低奖励过于稀疏模型没有有效学习信号增加过程型奖励比如距离缩减、进度统计或引入 reward shaping模型在终点附近反复横跳不求快速结束成功奖励与步数惩罚权重失衡刷步数比结束更有利提高完成奖励或加入随步数递增的惩罚项智能体穿过障碍物到达目标障碍物惩罚太弱绕过障碍物性价比低提高障碍物惩罚或在特征中加入障碍物距离检测训练曲线出现剧烈震荡奖励值量级太大导致 Q 值更新不稳定对奖励做归一化处理或降低单项奖励权重不同随机种子下成功率差异巨大环境复杂度和奖励函数都可能导致高方差多次重复训练取统计指标判断也可调整探索率有目标 A 和 B但模型只优化 A奖励函数只覆盖了目标 AB 没有对应特征项回到“目标-特征”阶段补全特征并加入对应奖励项模型学到了作弊行为奖励函数存在漏洞被智能体利用做人类对齐审计增加规则约束或设计 anti-cheat 惩罚下面针对几个最常见问题做详细展开。5.1 稀疏奖励导致训练不收敛稀疏奖励是最常见的问题。如果只给 “到达终点 1”在 5×5 网格中随机探索到终点的概率并不低所以还能勉强学会但如果换成更复杂的连续控制任务比如机械臂抓取靠随机探索碰到目标几乎不可能。解决方案是引入奖励塑形。最安全的做法是使用基于势能的塑形F(s, s) γ * Φ(s) - Φ(s)其中 Φ(s) 可以选择负的曼哈顿距离、负的欧氏距离或者其他反映任务进度的函数。这样能保证在任何一步只要智能体向目标靠近它就能获得正向奖励。但要注意奖励塑形不能改变最优策略所以势函数应该与任务真正相关否则可能诱导模型过于贪心短期收益。5.2 reward hacking模型学会刷分reward hacking 是奖励函数设计中最令人头疼的问题。比如在网格世界中如果“距离缩减”的权重太大而步数惩罚太小智能体可能发现自己反复在两个相邻格子之间来回移动时每次都能获得微小的正向进度奖励于是它就一直卡在那里而不去真正到达终点。排查这类问题的关键是观察训练轨迹。建议定期把 Q 表或策略可视化成热力图查看智能体在每个状态下的实际行为。一旦发现异常模式就需要削弱过程奖励或者增加步数惩罚和回合长度限制。5.3 特征选择不当特征并非越多越好。如果特征与目标没有直接因果模型可能学到“伪相关”。比如你在网格世界里加入 “x 坐标是否为偶数” 这种无关特征它不仅不会提升性能还会使 Q 表维度膨胀影响收敛速度。在实际项目中建议从目标倒推特征。每一个特征都必须能回答“这个特征变化时目标的达成程度发生了什么变化”。如果回答不了就删除它。5.4 奖励量级太大如果奖励长期处于 50、1000 这种量级Q 值更新幅度会非常大导致训练不稳定。一般建议把奖励尽量控制在 [-1, 1] 范围内或者至少不要让某一单项奖励数倍于其他项。常用的技巧包括奖励裁剪reward clipping、奖励归一化、使用 advantage normalization 等。6. 最佳实践与工程建议奖励函数看起来是一个数学表达式但它背后是工程决策。下面我总结几条在真实项目中很实用的最佳实践。6.1 把奖励函数当成“可配置模块”绝对不要把奖励函数硬编码在环境类内部否则每次调参都要改环境代码维护成本极高。更合理的做法是设置reward_kind或reward_config参数奖励函数与环境和算法解耦。这样你可以快速做网格搜索批量对比不同奖励设计的效果。reward_config { success_reward: 50.0, hitting_wall_penalty: 5.0, step_penalty: 1.0, progress_weight: 0.8, late_step_penalty: 0.2, }6.2 记录奖励来源不要让奖励成为黑盒在设计工程系统时建议把奖励拆成多个维度记录成功奖励、撞墙惩罚、步数惩罚、距离塑形奖励等。这样训练完成后你能绘制出每个奖励组成部分的变化曲线定位到底是哪一项指标在驱动策略。我在网格世界里也做了一个简化但在工业级项目中我会在info字典中返回每个奖励分项。info { hit_wall: hit_wall, reached_goal: reached_goal, step_penalty: 1.0, progress_reward: 0.8 * progress, }6.3 先做小规模试错再大规模训练奖励函数设计改动频繁直接跑 1 亿 timesteps 的 PPO 是不现实的。我建议先用小状态空间、小网络、低训练步数快速验证奖励函数的“学习信号”是否存在。如果在小环境里都无法稳定上升那放大环境只会更糟。网格世界的例子看起来简单但它就是一个很好的“测试台”。先在这个测试台上验证思路再迁移到复杂环境是效率最高的路径。6.4 人类对齐需要定期“人工评审”不要等到训练结束才去检查策略。我习惯每训练 100 轮就把当前策略抽出来做一次可视化看它的轨迹是不是符合人类预期。如果出现奇怪行为立刻停止训练修改奖励函数而不是强行调算法超参。在真实机器人任务中人工评审甚至要同时看多个随机种子的策略确认行为一致性行为不一致说明奖励函数对初始状态过于敏感。6.5 善用逆强化学习和偏好学习当目标太复杂、难以用数学公式表达时可以考虑从人类专家演示中学习奖励函数这就是逆强化学习IRL的基本思想。它的核心思路是给定一组专家轨迹反推出一个能够解释专家行为的奖励函数。更现代的方案是“基于偏好的强化学习”让人类对多个片段进行排序然后学习奖励模型。这类方法在复杂目标对齐场景中非常有效但工程成本更高需要更丰富的采样和人工标注机制。6.6 安全与约束对于真实环境中的 RL 任务奖励函数不只是优化目标也是安全边界的最后防线。不要把所有安全责任都丢给奖励函数建议在环境中增加硬约束比如越界立即终止、碰撞立即停止。奖励函数适合表达“偏好”硬编码规则适合表达“安全红线”两者结合才稳健。比如在网格世界aligned奖励中我不只给撞墙扣分还把总步数惩罚做了累加这就是一种防止安全问题的辅助机制但它不替代真正的硬编码 max_step 限制。7. 总结与学习路线本文围绕“A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions”这套设计框架完整拆解了奖励函数的设计过程先定义可量化的目标再提取强相关的状态特征接着构造包含成功奖励、过程塑形、约束惩罚的奖励函数最后用人类对齐审查去发现并修复潜在漏洞。同时我们用 5×5 网格世界搭建了一个可运行的实战项目实现了稀疏奖励、基础密集奖励、距离特征奖励、人类对齐奖励四种方案并通过 Q-Learning 训练对比直观展示了特征选择和奖励塑形对收敛速度和最终成功率的影响。整套代码可以直接复制运行也可以按你的业务需求调整环境维度和奖励权重。接下来你可以做三件事第一把网格世界的规模扩大。比如改成 10×10、20×20增加多个障碍物、随机起点终点看看当前奖励函数是否仍然稳定有效。第二接入 Stable-Baselines3 或 RLlib把自定义环境封装成 Gym 环境尝试用 DQN、PPO 甚至 SAC 训练比较表格方法与深度 RL 方法在奖励设计层面的差异。第三尝试实现一个逆强化学习算法从专家轨迹中反推奖励函数再对比手工奖励函数体验一下“自动化奖励设计”的得与失。奖励函数设计不是一道“写完就结束”的数学题而是一个持续迭代的工程问题。每一次迭代你都需要回到目标的起点问自己一句智能体当前的行为真的是我想要的吗如果你能在每次训练前都坚持这样的审视很多严重的部署事故都可以提前避免。如果这篇文章对你有帮助欢迎收藏备用。你也可以在自己项目中用这套框架改造现有的奖励函数然后把对比结果分享出来一起讨论调试思路。 强化学习奖励函数设计全指南：从目标定义到人类对齐的完整框架
你是否遇到过这种情况强化学习项目里模型辛辛苦苦收敛之后表现出来的行为却和业务目标南辕北辙。你本来想让智能体把机械臂移动到杯子旁边它却学会了“优雅地”把杯子推到地上来换取更高分数。模型在仿真环境里分数亮眼一到真实场景就执行了一堆人类完全无法接受的怪异动作。这类问题绝大多数不是算法太弱而是奖励函数设计失败了。奖励函数决定了智能体“学什么”它写得好不好直接影响训练收敛速度、最终策略质量以及模型是否真正符合人类意图。今天我想围绕一个系统化设计框架展开A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions。它把奖励函数设计从“拍脑袋写一个 R a b”的原始状态变成一套可复用的工程方法先定义目标再筛选特征最后构造奖励函数并且始终把“人类对齐”纳入设计审查。这篇文章会先讲清楚奖励函数的基本概念再完整拆解这个三步框架然后用一个 5×5 网格世界的实战项目带领大家从零实现多种奖励函数并进行对比训练。文章最后给出高频踩坑清单和工程最佳实践。无论你是刚接触强化学习的入门者还是已经在跑 PPO、DQN 的进阶开发者都能从这套框架里得到可复制的方法论。1. 背景与核心概念在深入设计框架之前我们先统一几个概念奖励函数到底是什么它为什么重要以及当前业界最常见的失败模式有哪些。1.1 什么是奖励函数在强化学习Reinforcement LearningRL中奖励函数是一个标量映射R(s, a) → r 或 R(s, a, s) → r它表示智能体在状态 s 下执行动作 a事后从环境获得的即时奖励数值。RL 算法的核心目标就是找到一个策略 π(a|s)使得长期累积奖励的期望值最大化G_t r_t γ r_{t1} γ^2 r_{t2} ...其中 γ 是折扣因子γ 越小越看重短期收益γ 越接近 1越看重长期收益。奖励函数是智能体行为目标的“编码器”。如果说模型是学生那奖励函数就是老师的打分规则。老师只靠分数引导学生如果得分标准定错了学生就会为了分数做出各种“作弊”行为这也正是 reward hacking 产生的根源。1.2 为什么奖励函数设计是难题很多初学者会把奖励函数想得过于简单目标打几分失败扣几分不就完事了吗实际工程中挑战主要体现在几个方面第一目标不好量化。业务目标是“快速到达目标位置”但什么叫“快速”什么叫“到达”这需要把自然语言目标翻译成数学表达式。第二观测空间与目标之间存在鸿沟。智能体并不能看到完整的底层状态它只能拿到一些高维观测图像、激光雷达、位置坐标。如何从这些可观测数据中抽象出能支撑目标的特征是个关键问题。第三奖励稀疏问题。如果只给到达目标 1其他情况 0那智能体几乎无法获得学习信号尤其在长时序任务中探索效率会低到令人绝望。第四奖励函数的“副作用”。假设奖励函数是“到达终点 100每走一步 - 1”智能体可能会为了尽量减少步数直接穿过障碍物或者卡在终点附近刷分这些都不是设计者真实的业务意图。1.3 框架的价值从目标到特征到奖励函数把奖励函数设计从“玄学”变成“流程”是这套框架的核心价值。它把设计过程拆成三个清晰阶段目标Objectives用自然语言或业务语言定义“我们到底希望智能体最终表现出什么行为”。特征Features从状态观测中筛选出与目标相关的可量化变量比如当前位置到目标点的距离、是否危险、是否完成关键动作。奖励函数Reward Function将特征组合为标量奖励并调节量纲、权重和奖励塑形让模型既能高效学习又不容易偏离人类意图。同时框架要求我们在每一个阶段都做“人类对齐”检查奖励函数是不是真的在奖励我们想要的行为它有没有可能被智能体恶意利用它是否在多个目标之间保持了平衡这实际上是把奖励工程从“事后补丁”变成了“过程设计”我认为这是所有 RL 工程师都应该掌握的思维方式。2. 环境准备与版本说明为了后续实战案例能顺利运行这一节我们先准备实验环境。本篇文章的所有示例代码都以 Python 为核心涉及到的关键依赖如下Python 3.10 或 3.11注意确保 pip 可用NumPy用于数组运算和环境状态管理Matplotlib用于绘制训练曲线和策略可视化可选的 Gymnasium如果读者想把这个网格世界封装成标准 Gym 环境以便接入 Stable-Baselines3 等框架。版本不需要和我完全一致只要保证主版本兼容即可。以我在本地测试时为例python --version Python 3.11.5 pip install numpy matplotlib gymnasium这里说明一点本文提供的自定义网格世界环境并不强依赖 Gymnasium后面我们会手动实现一套轻量环境。如果读者希望使用 Stable-Baselines3 训练 PPO 或 DQN只需把自定义环境按照 Gym API 封装即可我在第 4 节会给出封装思路。2.1 建议的工程目录项目实战时我建议按下面的目录结构组织文件方便扩展和维护reward_design_demo/ ├── envs/ │ ├── __init__.py │ └── grid_world.py ├── algorithms/ │ ├── __init__.py │ └── q_learning.py ├── rewards/ │ ├── __init__.py │ ├── sparse_reward.py │ ├── dense_reward.py │ └── feature_reward.py ├── experiments/ │ ├── train_compare.py │ └── plot_results.py └── requirements.txt虽然示例代码完全可以放在单一 .py 文件中但工程化组件拆分能让你快速替换不同的奖励函数做批量实验这也是工程实践中的基本要求。2.2 示例环境说明为了把设计框架讲清楚我特意选择了一个足够简单、又足够说明问题的环境5×5 网格世界。网格边界为 5×5起点固定在 (0,0)终点固定在 (4,4)障碍物设置在 (2,2)智能体每一步可以向上、下、左、右移动一个格子不能走出边界否则视为撞墙并原地不动到达终点后回合结束。这个环境虽然简单但它包含了稀疏奖励、障碍物、步数惩罚等真实世界中常见的要素用来演示奖励函数设计流程再合适不过。3. 核心框架拆解从目标到特征到奖励函数这一节是文章的重点。我会结合论文标题中的框架把“目标-特征-奖励函数-人类对齐”的完整链路拆开讲解。3.1 第一步明确目标Objectives很多时候奖励函数设计得不好根源在于目标描述不清晰。目标必须足够具体且能指导后续特征选择。以网格世界为例业务语言的目标可能是智能体应该尽快从起点到达终点智能体应该尽量避免撞墙智能体不应该浪费太多步数在无意义的位置来回移动如果遇到障碍物应该绕过它而不是硬闯。如果把“尽快”翻译成可量化语言就是“总步数越少越好”。如果把“避免撞墙”翻译成可量化语言就是“撞墙次数为零或者撞墙次数越少越好”。这些翻译就是目标到特征的第一步。在这个阶段不要急于写数学公式而应该用文字把以下内容固定下来最终需要优化的核心指标是什么例如到达目标的成功率有哪些需要同时满足的硬约束例如不能连续撞墙超过 N 次有哪些不能容忍的行为例如绕过目标点故意拖延时间只有把目标清单列出来后续的奖励函数构造才有据可依。3.2 第二步提取特征Features确定目标后我们需要从环境观测中找出与目标相关的特征。特征需要满足三个条件可观测智能体必须能通过传感器或状态接口获得该变量可量化它是连续数值或离散数值而不是模糊的感叹句与目标强相关特征变化确实反映了目标达成程度的提升或恶化。在网格世界环境中状态观测通常包括特征含义数据类型x当前智能体横坐标inty当前智能体纵坐标intgoal_x终点横坐标intgoal_y终点纵坐标intdistance当前位置到终点的曼哈顿距离intis_blocked是否撞墙booldone是否到达终点bool其中最重要的特征就是“曼哈顿距离”因为它是“是否接近目标”的直接度量。另一个重要特征是“是否撞墙”它对行为约束非常敏感。其余特征更多用于决定环境状态转移。需要注意的是特征并不是提取得越多越好。无关特征不仅会增加奖励函数复杂度还可能引入意想不到的奖励黑客路径。特征选择应该遵循“最小充分集”原则只保留与目标直接相关、且因果链条清晰的特征。3.3 第三步构造奖励函数Reward Function有了目标清单和特征集合接下来就是组合公式了。奖励函数一般由三个核心组成部分构成成功/失败奖励过程型奖励约束惩罚。成功/失败奖励用于标记回合结束状态比如到达终点 50进入不可回复的失败状态 -20。它们的作用是给智能体提供最终的、稀疏的语义信号。过程型奖励则负责引导智能体“走对每一步”。最经典的做法是“步数惩罚”即每走一步扣 1 分从而鼓励智能体用更少步数完成任务。更高级的做法是“基于势能的奖励塑形”F(s, s) γ * Φ(s) - Φ(s)其中 Φ(s) 是一个势函数比如终点距离的负数。如果智能体每走一步让 Φ 值变大即更接近终点就会获得正向的塑形奖励反之则扣分。事实上在网格世界里我们可以直接设计为r_step -1 α * (distance_prev - distance_next)这里 distance_prev - distance_next 就是距离缩减量它直接度量了“这一步到底有没有朝目标靠近”是一种非常自然的密集奖励。约束惩罚则专门解决“人类不能接受的行为”。比如撞墙扣 5 分走到障碍物附近额外扣分。它相当于把硬约束软化成优化目标让模型不会肆无忌惮地做出危险动作。把这三部分组合起来一个典型的密集奖励函数可以写作r 50 if reached goal -5 if hit wall -1 general time penalty 0.8 * (d_prev - d_next) # distance progress shaping这里的系数 50、5、1、0.8 都是需要实验调节的超参数。设计者需要关注量纲一致性避免某一项奖励过大导致模型被单一目标支配。3.4 人类对齐Human-Aligned Reward Functions奖励函数初步构造完成后最重要却最容易被忽略的一步就是对齐审查。人类对齐体现在两个层面第一行为层面的对齐。奖励函数引导出的最优策略是不是人类认可的在网格世界里如果奖励函数只关心步数模型可能会穿过障碍物抄近道但那显然不符合真实物理世界的行为期望。于是我们必须加入“撞墙惩罚”来把行为拉回来。第二探索与利用的对齐。密集奖励能加速收敛但过度密集的奖励也可能让智能体陷在局部最优。比如把距离缩减系数调得过大模型可能只求每一小步前进却没有规划合理的整体路径最终绕远路甚至撞墙。因此对齐检查时还要审视“奖励梯度”是否与人类判断一致。第三鲁棒性对齐。一个理想的人类对齐奖励函数不应该对环境的微小扰动过于敏感。比如终点位置稍微偏移 1 格训练出来的策略不应彻底失效这要求特征提取和奖励设计都具备一定的泛化能力。很多团队在部署 RL 策略前会做一次“奖励函数审计”列出目标清单逐条检查奖励函数是否满足每个目标。如果发现有的目标没有被覆盖就补充对应特征和惩罚项如果发现某个目标被过度强调就适当下调权重。这个过程就是上文框架里所说的“Human-Aligned”落地的关键。4. 完整实战案例5×5 网格世界的奖励函数设计接下来我们用真实可运行的代码把上面的框架走一遍。4.1 创建项目结构先创建基础目录mkdir -p reward_design_demo/{envs,algorithms,rewards,experiments} cd reward_design_demo touch envs/__init__.py algorithms/__init__.py rewards/__init__.py然后安装依赖pip install numpy matplotlib如果你后面想对接 Gymnasium再执行pip install gymnasium4.2 实现网格世界环境在envs/grid_world.py中写入以下代码。这是自定义环境的核心类它维护网格状态、障碍物、起点和终点并且计算每一步的特征。# 文件路径envs/grid_world.py import numpy as np class GridWorld: 5×5 网格世界目标是让智能体从起点到终点同时避开障碍物。 ACTIONS { 0: (-1, 0), # 上 1: (1, 0), # 下 2: (0, -1), # 左 3: (0, 1) # 右 } ACTION_NAMES {0: UP, 1: DOWN, 2: LEFT, 3: RIGHT} def __init__( self, size5, start(0, 0), goal(4, 4), obstacles{(2, 2)}, reward_kinddense, ): self.size size self.start start self.goal goal self.obstacles obstacles self.reward_kind reward_kind self.agent_pos None self.done False self.total_step 0 # 用于记录距离变化方便构造塑形奖励 self.prev_distance None def reset(self): self.agent_pos list(self.start) self.done False self.total_step 0 self.prev_distance self._manhattan_distance(self.agent_pos) return self._get_state() def step(self, action): 执行动作返回 (next_state, reward, done, info) if self.done: raise RuntimeError(Episode already terminated, please reset first.) dx, dy self.ACTIONS[action] next_pos [self.agent_pos[0] dx, self.agent_pos[1] dy] hit_wall False # 判断是否越界 if not (0 next_pos[0] self.size and 0 next_pos[1] self.size): next_pos self.agent_pos[:] hit_wall True # 判断是否碰到障碍物 if tuple(next_pos) in self.obstacles: next_pos self.agent_pos[:] hit_wall True self.agent_pos next_pos self.total_step 1 # 是否到达终点 reached_goal (tuple(self.agent_pos) self.goal) # 计算奖励 reward self._compute_reward( hit_wallhit_wall, reached_goalreached_goal ) # 更新 prev_distance new_distance self._manhattan_distance(self.agent_pos) self.prev_distance new_distance # 是否结束 if reached_goal: self.done True state self._get_state() info { hit_wall: hit_wall, reached_goal: reached_goal, total_step: self.total_step } return state, reward, self.done, info def _get_state(self): 返回模型需要的观测特征后续可能用于线性特征组合 x, y self.agent_pos dist self._manhattan_distance(self.agent_pos) return { x: x, y: y, goal_x: self.goal[0], goal_y: self.goal[1], distance: dist, } def _manhattan_distance(self, pos): return abs(pos[0] - self.goal[0]) abs(pos[1] - self.goal[1]) def _compute_reward(self, hit_wall, reached_goal): 这里根据 reward_kind 返回不同奖励结构 用于对比不同设计对训练的影响。 if self.reward_kind sparse: # 稀疏奖励只有到达终点才给 1其余一律 0 if reached_goal: return 1.0 return 0.0 if self.reward_kind dense_basic: # 基础密集奖励步数惩罚 成功奖励 撞墙惩罚 reward -1.0 if reached_goal: reward 50.0 if hit_wall: reward - 5.0 return reward if self.reward_kind dense_feature: # 基于距离缩减的密集奖励 reward -1.0 current_distance self._manhattan_distance(self.agent_pos) # 智能体如果向终点靠近会得到正向塑形奖励 progress self.prev_distance - current_distance reward 0.8 * progress if reached_goal: reward 50.0 if hit_wall: reward - 5.0 return reward if self.reward_kind aligned: # 人类对齐设计 # 既考虑步数、距离、撞墙也防止模型刷步数 reward -0.5 current_distance self._manhattan_distance(self.agent_pos) progress self.prev_distance - current_distance reward 1.2 * progress if reached_goal: reward 50.0 if hit_wall: reward - 10.0 # 总步数惩罚随步数增长防止原地转圈 if self.total_step 15: reward - 0.2 * (self.total_step - 15) return reward raise ValueError(fUnknown reward_kind: {self.reward_kind}) def get_action_space_size(self): return len(self.ACTIONS) def get_state_size(self): return 2 # x, y这个环境类保留了prev_distance字段用来计算基于距离缩减的塑形奖励。在_compute_reward中我们分别实现了四种奖励函数后面实验会对比它们的训练效果。4.3 实现 Q-Learning 训练算法为了快速验证奖励函数优劣我们使用经典的表格式 Q-Learning。Q 表大小是(5, 5, 4)分别对应横坐标、纵坐标和动作。# 文件路径algorithms/q_learning.py import numpy as np class QLearningAgent: def __init__(self, state_space(5, 5), action_space4, alpha0.1, gamma0.99, epsilon1.0, epsilon_min0.01, epsilon_decay0.995): self.q_table np.zeros((state_space[0], state_space[1], action_space)) self.alpha alpha self.gamma gamma self.epsilon epsilon self.epsilon_min epsilon_min self.epsilon_decay epsilon_decay self.action_space action_space def choose_action(self, state): x, y state[x], state[y] if np.random.random() self.epsilon: return np.random.randint(self.action_space) return int(np.argmax(self.q_table[x, y])) def update(self, state, action, reward, next_state, done): x, y state[x], state[y] nx, ny next_state[x], next_state[y] predict self.q_table[x, y, action] target reward if not done: target self.gamma * np.max(self.q_table[nx, ny]) self.q_table[x, y, action] self.alpha * (target - predict) # epsilon decay控制探索率 self.epsilon max(self.epsilon * self.epsilon_decay, self.epsilon_min) def train(self, env, episodes1000): rewards_per_episode [] steps_per_episode [] for episode in range(episodes): state env.reset() done False total_reward 0 steps 0 while not done: action self.choose_action(state) next_state, reward, done, info env.step(action) self.update(state, action, reward, next_state, done) state next_state total_reward reward steps 1 if steps 200: break rewards_per_episode.append(total_reward) steps_per_episode.append(steps) return rewards_per_episode, steps_per_episode在训练过程中我设置了最大步数 200避免某些奖励函数下智能体无限循环。epsilon 从 1.0 开始指数衰减到 0.01保证训练后期更多利用已经学到的策略。4.4 运行实验并对比四种奖励函数下面我们编写一个对比脚本。它会分别训练sparse、dense_basic、dense_feature、aligned四种奖励函数并绘制训练曲线。# 文件路径experiments/train_compare.py import matplotlib.pyplot as plt from envs.grid_world import GridWorld from algorithms.q_learning import QLearningAgent def run_experiment(reward_kind, episodes1000, repeat3): # 多次重复训练减少随机性影响 all_rewards [] all_steps [] for _ in range(repeat): env GridWorld(reward_kindreward_kind) agent QLearningAgent( state_space(env.size, env.size), action_spaceenv.get_action_space_size(), alpha0.1, gamma0.99, epsilon1.0, epsilon_min0.01, epsilon_decay0.99, ) rewards, steps agent.train(env, episodesepisodes) all_rewards.append(rewards) all_steps.append(steps) # 取多次实验的分位数避免异常曲线干扰 rewards_mean [] rewards_std [] for i in range(episodes): values [r[i] for r in all_rewards] rewards_mean.append(np.mean(values)) rewards_std.append(np.std(values)) return rewards_mean, rewards_std, all_steps if __name__ __main__: import numpy as np reward_kinds [sparse, dense_basic, dense_feature, aligned] colors [#888888, #4C72B0, #DD8452, #55A868] episodes 1000 plt.figure(figsize(12, 6)) for i, kind in enumerate(reward_kinds): mean, std, _ run_experiment(kind, episodesepisodes, repeat3) episodes_idx np.arange(len(mean)) plt.subplot(1, 2, 1) plt.plot(episodes_idx, mean, labelkind, colorcolors[i]) plt.fill_between(episodes_idx, np.array(mean) - np.array(std), np.array(mean) np.array(std), alpha0.2, colorcolors[i]) plt.subplot(1, 2, 1) plt.xlabel(Episode) plt.ylabel(Cumulative Reward) plt.title(Reward Curve Comparison) plt.legend() plt.grid(True) # 画成功率对比 success_rates [] for kind in reward_kinds: rates [] env GridWorld(reward_kindkind) for _ in range(10): agent QLearningAgent(state_space(env.size, env.size), action_space4) rewards, _ agent.train(env, episodesepisodes) # 判断最终策略是否能到达终点 successful 0 state env.reset() done False for step in range(50): action agent.choose_action(state) next_state, _, done, info env.step(action) state next_state if done: successful 1 break rates.append(successful) success_rates.append(np.mean(rates)) plt.subplot(1, 2, 2) plt.bar(reward_kinds, success_rates, colorcolors) plt.ylabel(Success Rate) plt.title(Final Policy Success Rate) plt.grid(axisy) plt.tight_layout() plt.savefig(reward_comparison.png, dpi150) plt.show()运行脚本cd reward_design_demo python experiments/train_compare.py预期会生成一张对比图左侧是训练奖励曲线右侧是最终策略成功率。4.5 结果预期与说明由于环境中障碍物、起点终点位置固定算法是表格型 Q-Learning对随机种子比较敏感所以我在脚本里对每个奖励函数重复了 3 次训练并绘制了标准差带。这里给出我观察到的典型趋势稀疏奖励sparse训练曲线长期处于 0 奖励附近下降不明显。因为 Q 表初始值全为 0除非偶然探索到终点否则没有学习信号。1000 次迭代后成功率偏低通常只在 40% 以下。基础密集奖励dense_basic奖励值快速呈现出负值但智能体能够逐渐学会为了 50 的成功奖励而尝试走向终点。成功率明显提升一般能达到 80% 左右。不过收敛速度仍然较慢且对撞墙惩罚依赖较大。距离特征密集奖励dense_feature由于每一步都有“距离缩减”带来的正向塑形信号学习信号更充足收敛速度显著加快。在 300-500 个 episode 后成功率就能达到 90% 以上。人类对齐设计aligned除了距离塑形还加入了步数累计惩罚和更高的撞墙惩罚。曲线前期可能稍慢但最终成功率通常稳定在 90%-100%并且能显著减少智能体在终点附近来回横跳的行为。换句话说特征设计越好奖励越密集训练收敛越快。但也要注意过于密集或权重不合理的奖励也可能导致局部最优所以“人类对齐”审查最终应该通过行为表现来判断。4.6 将自定义环境封装为 Gym 环境如果你的项目需要搭 Stable-Baselines3可以把 GridWorld 封装成 Gym 环境。核心是继承gymnasium.Env并实现reset、step、render等方法。# 文件路径envs/gym_grid_world.py import gymnasium as gym import numpy as np from gymnasium import spaces from envs.grid_world import GridWorld class GymGridWorld(gym.Env): def __init__(self, reward_kinddense_feature): super(GymGridWorld, self).__init__() self.env GridWorld(reward_kindreward_kind) self.observation_space spaces.Box(low0, highself.env.size - 1, shape(2,), dtypenp.int32) self.action_space spaces.Discrete(4) def reset(self, seedNone, optionsNone): super().reset(seedseed) state self.env.reset() return np.array([state[x], state[y]], dtypenp.int32), {} def step(self, action): state, reward, done, info self.env.step(int(action)) obs np.array([state[x], state[y]], dtypenp.int32) return obs, reward, done, False, info def render(self, modehuman): grid np.zeros((self.env.size, self.env.size)) x, y self.env.agent_pos grid[x, y] 1 print(grid)封装之后就能直接使用stable_baselines3的 DQN、PPO 等算法了from stable_baselines3 import PPO from envs.gym_grid_world import GymGridWorld env GymGridWorld(reward_kinddense_feature) model PPO(MlpPolicy, env, verbose1) model.learn(total_timesteps10000)不过在实际跑 high-level 算法前建议还是先用 Q-Learning 验证奖励函数设计思路因为表格方法更容易观察策略行为和 Q 值分布。5. 常见问题与排查思路奖励函数设计是一个反复迭代的过程即使你完全按照框架执行也可能会遇到各种问题。这里我整理了高频问题和排查思路附带了直接可用的解决方向。问题现象常见原因解决思路训练步数很多但累计奖励一直很低奖励过于稀疏模型没有有效学习信号增加过程型奖励比如距离缩减、进度统计或引入 reward shaping模型在终点附近反复横跳不求快速结束成功奖励与步数惩罚权重失衡刷步数比结束更有利提高完成奖励或加入随步数递增的惩罚项智能体穿过障碍物到达目标障碍物惩罚太弱绕过障碍物性价比低提高障碍物惩罚或在特征中加入障碍物距离检测训练曲线出现剧烈震荡奖励值量级太大导致 Q 值更新不稳定对奖励做归一化处理或降低单项奖励权重不同随机种子下成功率差异巨大环境复杂度和奖励函数都可能导致高方差多次重复训练取统计指标判断也可调整探索率有目标 A 和 B但模型只优化 A奖励函数只覆盖了目标 AB 没有对应特征项回到“目标-特征”阶段补全特征并加入对应奖励项模型学到了作弊行为奖励函数存在漏洞被智能体利用做人类对齐审计增加规则约束或设计 anti-cheat 惩罚下面针对几个最常见问题做详细展开。5.1 稀疏奖励导致训练不收敛稀疏奖励是最常见的问题。如果只给 “到达终点 1”在 5×5 网格中随机探索到终点的概率并不低所以还能勉强学会但如果换成更复杂的连续控制任务比如机械臂抓取靠随机探索碰到目标几乎不可能。解决方案是引入奖励塑形。最安全的做法是使用基于势能的塑形F(s, s) γ * Φ(s) - Φ(s)其中 Φ(s) 可以选择负的曼哈顿距离、负的欧氏距离或者其他反映任务进度的函数。这样能保证在任何一步只要智能体向目标靠近它就能获得正向奖励。但要注意奖励塑形不能改变最优策略所以势函数应该与任务真正相关否则可能诱导模型过于贪心短期收益。5.2 reward hacking模型学会刷分reward hacking 是奖励函数设计中最令人头疼的问题。比如在网格世界中如果“距离缩减”的权重太大而步数惩罚太小智能体可能发现自己反复在两个相邻格子之间来回移动时每次都能获得微小的正向进度奖励于是它就一直卡在那里而不去真正到达终点。排查这类问题的关键是观察训练轨迹。建议定期把 Q 表或策略可视化成热力图查看智能体在每个状态下的实际行为。一旦发现异常模式就需要削弱过程奖励或者增加步数惩罚和回合长度限制。5.3 特征选择不当特征并非越多越好。如果特征与目标没有直接因果模型可能学到“伪相关”。比如你在网格世界里加入 “x 坐标是否为偶数” 这种无关特征它不仅不会提升性能还会使 Q 表维度膨胀影响收敛速度。在实际项目中建议从目标倒推特征。每一个特征都必须能回答“这个特征变化时目标的达成程度发生了什么变化”。如果回答不了就删除它。5.4 奖励量级太大如果奖励长期处于 50、1000 这种量级Q 值更新幅度会非常大导致训练不稳定。一般建议把奖励尽量控制在 [-1, 1] 范围内或者至少不要让某一单项奖励数倍于其他项。常用的技巧包括奖励裁剪reward clipping、奖励归一化、使用 advantage normalization 等。6. 最佳实践与工程建议奖励函数看起来是一个数学表达式但它背后是工程决策。下面我总结几条在真实项目中很实用的最佳实践。6.1 把奖励函数当成“可配置模块”绝对不要把奖励函数硬编码在环境类内部否则每次调参都要改环境代码维护成本极高。更合理的做法是设置reward_kind或reward_config参数奖励函数与环境和算法解耦。这样你可以快速做网格搜索批量对比不同奖励设计的效果。reward_config { success_reward: 50.0, hitting_wall_penalty: 5.0, step_penalty: 1.0, progress_weight: 0.8, late_step_penalty: 0.2, }6.2 记录奖励来源不要让奖励成为黑盒在设计工程系统时建议把奖励拆成多个维度记录成功奖励、撞墙惩罚、步数惩罚、距离塑形奖励等。这样训练完成后你能绘制出每个奖励组成部分的变化曲线定位到底是哪一项指标在驱动策略。我在网格世界里也做了一个简化但在工业级项目中我会在info字典中返回每个奖励分项。info { hit_wall: hit_wall, reached_goal: reached_goal, step_penalty: 1.0, progress_reward: 0.8 * progress, }6.3 先做小规模试错再大规模训练奖励函数设计改动频繁直接跑 1 亿 timesteps 的 PPO 是不现实的。我建议先用小状态空间、小网络、低训练步数快速验证奖励函数的“学习信号”是否存在。如果在小环境里都无法稳定上升那放大环境只会更糟。网格世界的例子看起来简单但它就是一个很好的“测试台”。先在这个测试台上验证思路再迁移到复杂环境是效率最高的路径。6.4 人类对齐需要定期“人工评审”不要等到训练结束才去检查策略。我习惯每训练 100 轮就把当前策略抽出来做一次可视化看它的轨迹是不是符合人类预期。如果出现奇怪行为立刻停止训练修改奖励函数而不是强行调算法超参。在真实机器人任务中人工评审甚至要同时看多个随机种子的策略确认行为一致性行为不一致说明奖励函数对初始状态过于敏感。6.5 善用逆强化学习和偏好学习当目标太复杂、难以用数学公式表达时可以考虑从人类专家演示中学习奖励函数这就是逆强化学习IRL的基本思想。它的核心思路是给定一组专家轨迹反推出一个能够解释专家行为的奖励函数。更现代的方案是“基于偏好的强化学习”让人类对多个片段进行排序然后学习奖励模型。这类方法在复杂目标对齐场景中非常有效但工程成本更高需要更丰富的采样和人工标注机制。6.6 安全与约束对于真实环境中的 RL 任务奖励函数不只是优化目标也是安全边界的最后防线。不要把所有安全责任都丢给奖励函数建议在环境中增加硬约束比如越界立即终止、碰撞立即停止。奖励函数适合表达“偏好”硬编码规则适合表达“安全红线”两者结合才稳健。比如在网格世界aligned奖励中我不只给撞墙扣分还把总步数惩罚做了累加这就是一种防止安全问题的辅助机制但它不替代真正的硬编码 max_step 限制。7. 总结与学习路线本文围绕“A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions”这套设计框架完整拆解了奖励函数的设计过程先定义可量化的目标再提取强相关的状态特征接着构造包含成功奖励、过程塑形、约束惩罚的奖励函数最后用人类对齐审查去发现并修复潜在漏洞。同时我们用 5×5 网格世界搭建了一个可运行的实战项目实现了稀疏奖励、基础密集奖励、距离特征奖励、人类对齐奖励四种方案并通过 Q-Learning 训练对比直观展示了特征选择和奖励塑形对收敛速度和最终成功率的影响。整套代码可以直接复制运行也可以按你的业务需求调整环境维度和奖励权重。接下来你可以做三件事第一把网格世界的规模扩大。比如改成 10×10、20×20增加多个障碍物、随机起点终点看看当前奖励函数是否仍然稳定有效。第二接入 Stable-Baselines3 或 RLlib把自定义环境封装成 Gym 环境尝试用 DQN、PPO 甚至 SAC 训练比较表格方法与深度 RL 方法在奖励设计层面的差异。第三尝试实现一个逆强化学习算法从专家轨迹中反推奖励函数再对比手工奖励函数体验一下“自动化奖励设计”的得与失。奖励函数设计不是一道“写完就结束”的数学题而是一个持续迭代的工程问题。每一次迭代你都需要回到目标的起点问自己一句智能体当前的行为真的是我想要的吗如果你能在每次训练前都坚持这样的审视很多严重的部署事故都可以提前避免。如果这篇文章对你有帮助欢迎收藏备用。你也可以在自己项目中用这套框架改造现有的奖励函数然后把对比结果分享出来一起讨论调试思路。