面向高效多智能体协同的回报保持型通信遗忘

MUTE面向高效多智能体协同的回报保持型通信遗忘摘要本文提出了一种名为 MUTE (Message Unlearning for Targeted Efficiency) 的新框架旨在解决多智能体强化学习MARL中的高效通信问题。与以往通过优化信息论代理目标来减少通信的方法不同MUTE 将通信减少视为一个价值引导的机器遗忘问题。该框架首先训练一个无通信约束的专家策略然后通过一个消息价值估计器MVE来量化每条消息的反事实价值CMV并系统性地“遗忘”那些对团队联合回报贡献较低的消息。本文从理论上推导了因通信稀疏化导致的性能差距上界保证了回报的受控退化。在多种复杂的多智能体环境如 SMAC、Traffic Junction中的实验表明MUTE 能够在保持与最先进基线相当性能的同时实现 80% 至 90% 的带宽缩减。1. 引言多智能体强化学习MARL在解决自动驾驶、星际争霸II微操等复杂协同问题中表现出色。集中训练与分散执行CTDE框架已成为标准范式但在部分可观测环境下分散执行常因信息不足而失效。显式通信成为解决此问题的关键允许智能体交换观测、意图或经验等信息。然而现实世界中的带宽资源是有限的。现有方法主要通过优化信息瓶颈等辅助目标来减少通信但这些方法往往优化的是统计显著性而非任务回报可能导致保留了信息量大但对回报无益的消息。本文提出 MUTE 框架其核心思想是问题重构将通信减少视为一个回报优化问题而非简单的成本权衡。反事实消息价值CMV通过比较发送消息与屏蔽消息两种情况下的联合动作价值函数差异来衡量消息的边际贡献。价值引导的遗忘利用机器遗忘Machine Unlearning技术在保持原始策略回报的前提下逐步“遗忘”低价值的消息传输。2. 相关工作无通信方法如 QMIX、MAPPO依赖隐式协调在部分可观测下表现受限。无限制通信如 TarMAC、MAIC使用注意力机制选择信息但忽略了带宽限制。基于互信息的方法如 NDQ、IMAC通过最小化互信息压缩消息但可能牺牲关键回报信息。基于沙普利值的方法如 SMS计算消息的边际贡献但计算复杂度高需依赖近似。MUTE (本文)采用“遗忘”范式先训练无约束策略再通过价值估计进行剪枝平衡了效率与性能。3. 问题定义我们将任务建模为 Dec-POMDP记为G ⟨ N , S , A , P , r , Ω , O , γ , M ⟩ \mathcal{G}\langle\mathcal{N},\mathcal{S},\mathcal{A},P,r,\Omega,O,\gamma,\mathcal{M}\rangleG⟨N,S,A,P,r,Ω,O,γ,M⟩。通信协议采用广播协议。智能体i ii基于局部历史τ i \tau_iτi​生成消息m i f ψ ( τ i ) m_i f_\psi(\tau_i)mi​fψ​(τi​)。目标学习一个稀疏通信策略π \boldsymbol{\pi}π在最小化通信开销的同时约束回报差距J ( π ∗ ) − J ( π ) ≤ ϵ J(\boldsymbol{\pi}^{*})-J(\boldsymbol{\pi})\leq\epsilonJ(π∗)−J(π)≤ϵ。4. 方法4.1 通信减少的回报保持视角现有方法在训练时同时优化任务回报和通信成本容易导致次优策略。MUTE 主张先训练一个全通信的专家策略然后识别并移除冗余消息。4.2 反事实消息价值CMV估计CMV 定义为屏蔽某条消息前后联合动作价值函数的差值Δ Q i ( τ , m ) Q tot ∗ ( τ , a ) − Q tot ∗ ( τ , a ~ ) \Delta Q_{i}(\boldsymbol{\tau},\mathbf{m})Q_{\text{tot}}^{*}(\boldsymbol{\tau},\mathbf{a})-Q_{\text{tot}}^{*}(\boldsymbol{\tau},\tilde{\mathbf{a}})ΔQi​(τ,m)Qtot∗​(τ,a)−Qtot∗​(τ,a~)其中a ~ \tilde{\mathbf{a}}a~是在屏蔽消息m i m_imi​后重采样的反事实动作。为了高效估计 CMV我们设计了基于注意力机制的消息价值估计器MVE其损失函数为L MVE ( ϕ ) 1 N ∑ i 1 N ( V ϕ ( m ) i − y i ) 2 \mathcal{L}_{\text{MVE}}(\phi)\frac{1}{N}\sum_{i1}^{N}\left(V_{\phi}(\mathbf{m})_{i}-y_{i}\right)^{2}LMVE​(ϕ)N1​i1∑N​(Vϕ​(m)i​−yi​)24.3 通信遗忘遗忘过程通过双重目标损失函数实现稀疏性损失L sparse \mathcal{L}_{\text{sparse}}Lsparse​对低价值消息V ϕ ( m ) i ≤ λ V_\phi(\mathbf{m})_i \le \lambdaVϕ​(m)i​≤λ施加 L1 正则化惩罚。锚定损失L anchor \mathcal{L}_{\text{anchor}}Lanchor​防止策略崩塌约束当前策略的 Q 值向原始专家策略Q ∗ Q^*Q∗对齐。总损失函数为L ( θ , ψ ) L sparse ( ψ ) β L anchor ( θ , ψ ) \mathcal{L}(\theta,\psi)\mathcal{L}_{\text{sparse}}(\psi)\beta\mathcal{L}_{\text{anchor}}(\theta,\psi)L(θ,ψ)Lsparse​(ψ)βLanchor​(θ,ψ)理论保证论文推导了性能差距的上界Theorem 4.2证明在 MVE 估计误差和动作价值近似误差有界的情况下遗忘过程导致的回报下降是可控的。5. 实验5.1 实验设置环境Hallway, StarCraft Multi-Agent Challenge (SMAC), Traffic Junction (TJ), SMAC-Communication, SMACv2。基线QMIX, MAPPO, TarMAC, MAIC, MASIA, IC3Net, SMS。训练流程MUTE 经历三个阶段预训练2M步、MVE训练0.5M步、通信遗忘1.5M步。5.2 实验结果通信效率RQ1MUTE 在所有基准测试中均实现了最低的通信开销。例如在 Hallway 环境中减少了 99% 的通信在 MMM2 地图中通信率低于 5% 且保持了 94% 的胜率。选择性RQ2通过消息丢弃实验Message DropoutMUTE 在消息丢失率增加时表现出最强的鲁棒性AUC 指标最高证明其保留的消息确实是性能关键的。消融实验RQ3无锚定w/o Anchoring移除锚定损失导致策略在遗忘阶段立即崩塌胜率骤降。无 MVEw/o MVE随机移除消息会导致性能显著下降验证了价值引导的必要性。6. 结论MUTE 通过价值引导的遗忘机制在保持近最优性能的同时显著降低了通信带宽。未来的工作将探索更高阶的消息交互估计。附录与资源代码仓库https://anonymous.4open.science/r/mute-2540/算法细节完整算法流程见附录 B。环境配置StarCraft II 版本SC2.4.6.2.69232环境包括 Hallway, SMAC, TJ 等详见附录 C。超参数稀疏性阈值λ 1.0 \lambda 1.0λ1.0锚定系数β 10 \beta 10β10MVE 学习率η 0.0005 \eta 0.0005η0.0005