1. 为什么需要确定性策略梯度在传统的强化学习中随机策略梯度Stochastic Policy Gradient是最常用的方法之一。它的核心思想是通过一个概率分布函数来表示最优策略在每一步根据该分布进行动作采样。听起来很合理对吧但当我第一次在实际项目中尝试用它处理机械臂控制问题时发现了一个致命缺陷——每次动作都需要从高维连续空间采样计算开销大得惊人。举个例子假设我们要控制一个20自由度的机械臂每个关节的动作范围是[-1,1]。随机策略需要在这个20维空间反复采样就像在黑暗的房间里蒙着眼睛找钥匙。更糟的是计算策略梯度时还需要在整个动作空间积分这在工程实践中几乎不可行。确定性策略梯度Deterministic Policy Gradient, DPG的突破性在于给定状态后策略直接输出确定的动作值。这就好比突然有了夜视仪能直接看到钥匙的位置。从数学上看DPG的梯度计算不再需要对动作空间积分样本效率提升了一个数量级。我在实验中发现同样的机械臂任务DPG的训练速度比随机策略快8-10倍。2. DDPG的核心创新点2.1 当DPG遇上深度学习深度确定性策略梯度DDPG最大的魅力在于它巧妙融合了两种技术DPG处理连续动作空间的能力以及DQN从原始输入直接学习的端到端能力。记得2016年我第一次复现DDPG论文时被它的设计美学震撼到了——就像看到瑞士军刀一样精致。具体来说DDPG用四个神经网络构建了一个双重AC架构Actor网络输入状态输出确定性的动作Critic网络输入状态和动作输出Q值对应的两个目标网络后面会解释为什么需要它们class DDPG: def __init__(self, state_dim, action_dim): self.actor PolicyNet(state_dim, hidden_dim, action_dim) self.critic QValueNet(state_dim action_dim, hidden_dim) self.target_actor copy.deepcopy(self.actor) # 目标网络 self.target_critic copy.deepcopy(self.critic)2.2 三大稳定训练的黑科技DDPG能成功的关键在于解决了深度强化学习的三大顽疾经验回放Experience Replay这个技术我形象地称为记忆宫殿。智能体将经历的状态转移(st,at,rt1,st1)存入固定大小的缓存池训练时随机抽取小批量样本。这样做有两个好处打破数据相关性以及重复利用旧数据。在我的实验中合理设置回放缓冲区大小通常1e6能使样本效率提升3倍以上。目标网络分离这是防止追尾现象的绝妙设计。如果直接用正在训练的Critic网络来评估目标Q值就像用移动的靶子来校准枪支。DDPG引入了独立的目标网络其参数通过软更新soft update缓慢跟踪主网络def soft_update(net, target_net, tau0.005): for param, target_param in zip(net.parameters(), target_net.parameters()): target_param.data.copy_(tau*param.data (1-tau)*target_param.data)探索噪声设计确定性策略天生缺乏探索能力。DDPG采用奥恩斯坦-乌伦贝克OU过程生成相关性噪声比白噪声更适合物理系统。不过实践中我发现简单的高斯噪声配合线性衰减也能取得不错效果def take_action(self, state, noise_scale0.1): action self.actor(state) action noise_scale * torch.randn_like(action) return action.clamp(-1, 1) # 假设动作范围在[-1,1]3. 手把手实现DDPG3.1 倒立摆实战让我们以经典的倒立摆Pendulum-v0环境为例。这个任务需要控制力矩使摆杆保持直立动作空间是连续的扭矩值-2到2。首先定义网络结构class PolicyNet(nn.Module): def __init__(self, state_dim, hidden_dim, action_dim, action_bound): super().__init__() self.fc1 nn.Linear(state_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, action_dim) self.action_bound action_bound # 动作最大值 def forward(self, x): x F.relu(self.fc1(x)) return torch.tanh(self.fc2(x)) * self.action_boundCritic网络的设计有个小技巧——先将状态和动作拼接再输入class QValueNet(nn.Module): def __init__(self, state_dim, hidden_dim, action_dim): super().__init__() self.fc1 nn.Linear(state_dim action_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, 1) def forward(self, x, a): cat torch.cat([x, a], dim1) x F.relu(self.fc1(cat)) return self.fc2(x)训练循环中需要注意三个关键点延迟更新先积累足够经验再开始训练梯度裁剪防止Critic网络梯度爆炸噪声衰减随着训练逐步减小探索噪声for episode in range(1000): state env.reset() episode_reward 0 for t in range(200): action agent.take_action(state) next_state, reward, done, _ env.step(action) replay_buffer.add(state, action, reward, next_state, done) if len(replay_buffer) batch_size: transitions replay_buffer.sample(batch_size) agent.update(transitions) state next_state episode_reward reward3.2 调参经验分享经过数十次实验我总结出这些黄金参数组合Actor学习率1e-4到5e-4Critic学习率1e-3到5e-3通常比Actor大10倍软更新系数τ0.001到0.01折扣因子γ0.95到0.99批量大小64到256有个容易踩的坑是Critic网络的损失值震荡。这时可以尝试增加批归一化BatchNorm降低学习率增大回放缓冲区4. 超越DDPG进阶技巧4.1 多智能体扩展MADDPG当需要多个智能体协同工作时标准的DDPG会面临环境非平稳性问题。MADDPG的解决方案是让每个智能体的Critic网络能够观测其他智能体的状态和动作。我在无人机编队项目中验证过相比原始DDPGMADDPG的协作成功率提升了40%。class MADDPG: def __init__(self, n_agents, state_dims, action_dims): self.agents [DDPG(state_dims[i], action_dims[i]) for i in range(n_agents)] def update(self, samples): # 集中式Critic训练 all_actions [] for i, agent in enumerate(self.agents): all_actions.append(agent.actor(samples[states][i])) for i, agent in enumerate(self.agents): agent.critic_optimizer.zero_grad() # 输入所有智能体的状态和动作 q_input torch.cat(samples[states] all_actions, dim1) q_value agent.critic(q_input) # ...计算损失并反向传播4.2 混合离散-连续动作空间有些场景需要同时处理离散和连续动作比如游戏中的移动攻击。这时可以采用分支架构Branched Architecture离散动作用Gumbel-Softmax采样连续动作保持原始DDPG设计def gumbel_softmax(logits, temperature1.0): y logits torch.randn_like(logits) # 添加Gumbel噪声 return F.softmax(y / temperature, dim-1) class HybridPolicyNet(nn.Module): def __init__(self, state_dim, disc_dim, cont_dim): super().__init__() self.shared nn.Linear(state_dim, 256) self.disc_head nn.Linear(256, disc_dim) self.cont_head nn.Linear(256, cont_dim) def forward(self, x): x F.relu(self.shared(x)) disc_logits self.disc_head(x) cont_action torch.tanh(self.cont_head(x)) return gumbel_softmax(disc_logits), cont_action在实际机器人控制任务中我发现DDPG对超参数非常敏感。一个实用的技巧是先用网格搜索确定大致范围再用贝叶斯优化精细调整。记住没有放之四海而皆准的最优参数关键是根据具体任务特点进行适配。