Learning Large-Scale Competitive Team Behaviors with Mean-Field Interactions¶

会议: NeurIPS 2026
arXiv: 2504.21164
代码: https://github.com/bhavini-jeloka/mf-env
领域: 强化学习 / Reinforcement Learning
关键词: 平均场博弈, 零和多智能体强化学习, 团队竞争对抗, 邻域共识估计, 策略正则化

一句话总结¶

针对成百上千智能体的大规模团队对抗维度爆炸难题，本文建立了零和平均场团队博弈理论，提出基于极小信息 Critic 与共享 Actor 的 MF-MAPPO 算法，并在部分可观测下设计了兼具理论收敛保证与鲁棒性的动态投影共识估计机制。

研究背景与动机¶

大规模多智能体强化学习（MARL）面临着严峻的可扩展性瓶颈：联合状态与动作空间的规模随智能体数量呈指数级膨胀，导致 MADDPG、MAPPO 等经典算法在面对上百甚至上千个智能体时难以有效训练。平均场理论（Mean-Field Theory）为打破这一维数诅咒提供了强有力的数学工具，其核心在于用具有代表性的个体与整体群体经验分布（Empirical Distribution）之间的代理交互，来替代智能体之间复杂的成对直接交互。然而，现有的平均场强化学习多局限于完全合作（平均场控制 MFC）或纯粹的个体非合作博弈（平均场博弈 MFG），无法直接适用于团队内部紧密协同、团队之间零和殊死对抗的混合合作-竞争结构（如球类对抗、战场攻防）。

引入团队对抗会从根本上重塑平均场的交互逻辑。传统平均场设定下的纳什均衡通常仅依赖单智能体的单边偏离，而团队对抗博弈则必须面对团队级别的整体偏离。在此情形下，团队的最优策略必须实时依赖于对手种群分布的动态反馈。以往关于平均场团队博弈的数值求解方法大多局限于线性二次高斯（LQG）结构或简单的状态离散化动态规划，遇到高维非线性状态转移便难以求解；同时，先验工作多依赖于无限种群神谕（Oracle）提供确切轨迹，缺乏直接在有限智能体仿真环境中端到端落地的闭环学习范式。

此外，在现实对抗场景中，智能体通常无法在执行期全局观测到敌方全局种群分布，面临着严峻的部分可观测性。现有基于通信的平均场估计方法不仅通信轮数收敛慢，且遇到通信噪声时极易输出非法的概率分布，使得下游策略发生剧烈抖动。核心 idea：证明有限种群零和团队博弈在相同策略限制下具备向无限种群渐进收敛的 \(\mathcal{O}(1/\sqrt{\underline{N}})\) 近似最优性保证，并提出以双方经验分布为唯一输入的极小信息 Critic 和共享 Actor 的 MF-MAPPO 算法，配合梯度正则化与动态投影共识（D-PC）估计器，实现对数千规模智能体对抗行为的高效、鲁棒训练与直接泛化。

方法详解¶

整体框架¶

本文针对由红蓝两队（规模分别为 \(N_1, N_2\)）构成的零和平均场团队博弈（ZS-MFTG）建立闭环学习体系。蓝方智能体状态与动作为 \(X_{i,t} \in \mathcal{X}, U_{i,t} \in \mathcal{U}\)，红方为 \(Y_{j,t} \in \mathcal{Y}, V_{j,t} \in \mathcal{V}\)。两队经验分布记为 \(\mathcal{M}^{N_1}_t \in \mathcal{P}(\mathcal{X})\) 与 \(\mathcal{N}^{N_2}_t \in \mathcal{P}(\mathcal{Y})\)。智能体状态转移弱耦合于双方经验分布 \(f_t(x'|x,u,\mu,\nu)\)，团队共享零和回报 \(r_t(\mu_t, \nu_t)\)。整体算法 MF-MAPPO 采用集中式训练与分布式执行架构：在有限种群仿真器中采集轨迹，每队维护一个仅以双方经验分布 \((\mu_t, \nu_t)\) 为输入的极小信息 Critic，以及一个以个体局部状态和经验分布为输入的共享 Actor；在部分可观测执行时，通过局部通信网络运行动态投影共识（D-PC）算法估计敌方分布，输入给梯度正则化约束的 Actor 进行鲁棒决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境局部交互采样<br/>状态 (x, y) 与动作 (u, v)"] --> B["经验分布计算<br/>统计双方群体分布 (μ, ν)"]
    B --> C["极小信息 Critic 评估<br/>仅以种群分布计算优势函数"]
    C --> D["共享 Actor 策略优化<br/>PPO 目标 + 梯度正则化约束"]
    D --> E["动态投影共识 D-PC<br/>局部感知加权平均 + 投影保凸"]
    E --> F["端到端策略部署<br/>鲁棒应对部分可观测与规模迁移"]

关键设计¶

1. 极小信息 Critic：以群体经验分布解耦智能体规模维数

传统多智能体集中式训练分布式执行（CTDE）框架的 Critic 必须拼接所有智能体的联合状态与动作 \((\mathbf{X}^{N_1}_t, \mathbf{Y}^{N_2}_t)\)，其输入维度随智能体数量线性暴增，在大规模集群中彻底失效。本文利用团队零和收益只取决于群体宏观分布 \(r_t(\mu_t, \nu_t)\) 以及团队内策略同质化的特性，理论证明了单个智能体的状态价值函数等价于团队级别的宏观分布价值函数 \(V_{i,t}(x_{i,t}, \mu_t, \nu_t) = V_{\text{Blue},t}(\mu_t, \nu_t)\)。因此，蓝方 Critic 网络 \(\zeta_{\text{Blue}}\) 的输入仅为二维通道形式的全局分布 \((\mu, \nu)\)，完全与智能体数量 \(N\) 解耦。Critic 采用均方误差损失函数更新：

\[L_{\text{critic}}(\zeta_{\text{Blue}}) = \frac{1}{|B|} \sum_{k=1}^{|B|} \left( V_{\zeta_{\text{Blue}}}(\mu_k, \nu_k) - \hat{R}_{\text{Blue},k} \right)^2\]

该设计使得网络参数量和计算复杂度在智能体数量扩展至数千时保持恒定，极大压缩了训练内存开销并消除了冗余的状态信噪。

2. 共享 Actor 与可转移性理论保证：支撑跨种群规模零样本部署

基于团队内部对称性与可交换性，蓝方全队共享同一 Actor 参数 \(\theta_{\text{Blue}}\)，其动作采样根据个体自身观测与宏观分布联合决定 \(u_{i,t} \sim \phi(u|x_{i,t}, \mu_t, \nu_t)\)。针对“在有限种群仿真器中训练是否能泛化至真实博弈”的理论质疑，本文证明了：在有限种群中受限于相同策略的最优解 \(\tilde{\phi}^*\)，面对红方任意非相同策略的恶意剥削时，其可剥削度上界为 \(\mathcal{O}(1/\sqrt{\underline{N}})\)（其中 \(\underline{N} = \min\{N_1, N_2\}\)）；且从规模为 \((N_1, N_2)\) 的环境训练得到的策略，在保持规模比例 \(N_1/N_2 = \tilde{N}_1/\tilde{N}_2\) 且 \(\tilde{N}_1 \ge N_1\) 时，无需重新微调即可在更大规模的 \(\tilde{N}\) 种群博弈中保持 \(\epsilon\)-近似最优。这使算法可以在小规模仿真器中高效训练，直接部署至数千规模的大型集群。

3. 梯度正则化（GR）：保障面对估计噪声的 Lipschitz 平滑性

在真实环境中，智能体只能获得带有噪声或局部通信延迟的敌方分布估计值 \((\hat{\mu}, \hat{\nu})\)。为防止估计误差诱发动作概率的剧烈震荡，本文在 PPO 裁剪目标与熵衰减正则项之外，引入了对种群分布输入的梯度范数惩罚（Gradient Regularization, GR）：

\[L_{\text{actor}}^{\text{GR}}(\theta_{\text{Blue}}) = L_{\text{actor}}(\theta_{\text{Blue}}) + \frac{\lambda^{\text{GR}}}{|B|} \sum_{k=1}^{|B|} \left\| \nabla_{\eta} \log \phi(u_k | x_k, \eta)\big|_{\eta = (\mu_k, \nu_k)} \right\|_2^2\]

理论证明，只要对数策略梯度的 \(L_2\) 范数被一致有界约束在 \(L_\phi / (2|\mathcal{U}|)\) 内，策略分布在全变差（Total Variation, TV）距离下即满足 \(L_\phi\)-Lipschitz 连续性。由此保证了当智能体调用 \(\epsilon\)-精度的敌方平均场估计器时，整个对抗博弈的累积悔差（Cumulative Regret）满足 \(\Delta J \le K\epsilon + \mathcal{O}(1/\sqrt{\underline{N}})\) 的线性有界退化。

4. 动态投影共识（D-PC）：通信受限下的高精度分布式状态估计

为在去中心化局部通信条件下实时估计敌方经验分布，本文提出了动态投影共识（Dynamic-Projected Consensus）算法。每个蓝方智能体仅能看到局部可见图 \(\mathcal{G}_t^{\text{viz}}\) 内的红方智能体，确定性获得可见集合内的精确计数，并构成闭合凸约束集 \(\mathcal{R}(x_i) \subseteq \mathcal{P}(\mathcal{Y})\)。在每一步的 \(R_{\text{com}}\) 轮邻域通信中，智能体先与通信图 \(\mathcal{G}_t^{\text{comm}}\) 邻居交换敌方分布估计并按双随机 Metropolis 权重加权平均：\(\xi_{x,t}^{(\tau)} = \sum_{z} w_{(x,z)} \hat{\nu}_{z,t}^{(\tau-1)}\)，随后立即将其投影到本地观测一致的约束凸集 \(\mathcal{R}(x)\) 上：

\[\hat{\nu}_{x,t}^{(\tau)} = \Omega_{\mathcal{R}(x)}\left[ \xi_{x,t}^{(\tau)} \right] = \arg\min_{\omega \in \mathcal{R}(x)} \left\| \xi_{x,t}^{(\tau)} - \omega \right\|_2\]

相比于传统仅交换计数且对未观测区域作均匀填补、导致收敛速率仅为 \(\mathcal{O}(R_{\text{com}}/|\mathcal{X}|)\) 的经典共识算法，D-PC 实现了指数级快速收敛 \(\mathcal{O}(e^{-c R_{\text{com}}})\)，且投影步骤天然滤除了通信高斯噪声，杜绝了非法概率分布的产生。

损失函数 / 训练策略¶

蓝方 Actor 的总体训练损失为结合了广义优势估计（GAE）的 PPO 目标、动态衰减的熵正则项与梯度惩罚项：

\[L_{\text{actor}}^{\text{GR}}(\theta_{\text{Blue}}) = \frac{1}{|B|} \sum_{k=1}^{|B|} \left[ \min\left( g_k(\theta) A_k, \operatorname{clip}_{[1-\epsilon, 1+\epsilon]}(g_k(\theta)) A_k \right) + \omega S(\phi_\theta(x_k, \mu_k, \nu_k)) \right] + \frac{\lambda^{\text{GR}}}{|B|} \sum_{k=1}^{|B|} \|\nabla_\eta \log\phi\|_2^2\]

其中 \(g_k(\theta) = \frac{\phi_\theta(u_k|x_k,\mu_k,\nu_k)}{\phi_{\theta^{\text{old}}}(u_k|x_k,\mu_k,\nu_k)}\) 为重要性采样比率，\(\omega\) 为随训练步数几何衰减的探索熵权重。网络采用 Adam 优化器，学习率初始设置为 \(5 \times 10^{-4}\)（Actor）与 \(1 \times 10^{-3}\)（Critic），并以 0.999 的衰减因子定期衰减，训练过程使用正交初始化来稳定多智能体价值传播。

实验关键数据¶

主实验¶

论文在自研的开源多智能体平均场基准平台 MFEnv 上进行了验证，涵盖受约束剪刀石头布（cRPS）、网格战场攻防博弈（Battlefield，100 vs 100）及流行病学追逐博弈（Epidemiology，100 vs 100）。

首先在 cRPS 解析博弈中对比纳什均衡收敛性与训练耗时（理论解析均衡回报为 \(-1/3 \approx -0.333\)）：

算法	Critic 输入	平均回报	达到纳什均衡 (NE)	训练耗时 (小时:分:秒)
MF-IPPO	\(\{(x_{i,t}^{N_1}, \mu_t)\}_{i=1}^{N_1}\)	-0.340	✓	2:45:11
MAPPO-PS	\(\{(x_{i,t}^{N_1}, \mu_t, \nu_t)\}_{i=1}^{N_1}\)	-0.313	✓	2:47:54
MAPPO-CC	\((\mathbf{x}_t^{N_1}, \mathbf{y}_t^{N_2}, \mu_t, \nu_t)\)	-0.342	✓	3:20:46
DDPG-MFTG	\((\phi_t, \mu_t, \nu_t)\)	3.774	✗ (发散)	60:49:35
MF-MAPPO (本文)	\((\mu_t, \nu_t)\)	-0.331	✓	2:17:15

在复杂网格战场博弈（Battlefield）中进行双边交叉对抗评估（10次随机种子平均回报，行代表红方策略，列代表蓝方策略，蓝方得分越高越好）：

红方策略 \ 蓝方策略	MF-IPPO	MAPPO-PS	MAPPO-CC	DDPG-MFTG	MF-MAPPO (本文)
MF-IPPO	61.54	73.85	70.60	0.00	86.26
MAPPO-PS	55.82	72.78	71.64	0.00	86.22
MAPPO-CC	51.60	68.81	65.58	0.00	82.58
DDPG-MFTG	65.26	75.14	77.21	0.00	85.95
MF-MAPPO (本文)	36.10	54.43	62.00	0.00	76.26

在战场攻防中进一步测试样本效率（总回报 / 环境步数）与平均回合长度：

算法	Critic 输入	样本效率 (Reward / Steps)	平均回合步长
MF-IPPO	\(\{(x_{i,t}^{N_1}, \mu_t)\}\)	6.3392	9.2580
MAPPO-PS	\(\{(x_{i,t}^{N_1}, \mu_t, \nu_t)\}\)	5.4581	12.0840
MAPPO-CC	\((\mathbf{x}_t^{N_1}, \mathbf{y}_t^{N_2}, \mu_t, \nu_t)\)	5.7878	9.8808
DDPG-MFTG	\((\phi_t, \mu_t, \nu_t)\)	0.0548	20.0000
MF-MAPPO (本文)	\((\mu_t, \nu_t)\)	14.6238	4.8448

消融实验¶

在部分可观测 Battlefield 环境下评估不同通信轮数 \(R_{\text{com}}\) 对 GR-MF-MAPPO 搭配 D-PC 估计器时累积悔差（Cumulative Regret）的影响：

通信轮数 \(R_{\text{com}}\)	平均累积悔差	95% 置信区间	置信区间宽度 (CI Width)
3	4.563 ± 0.621	[3.021, 6.105]	3.084
5	4.967 ± 0.517	[3.682, 6.252]	2.570
10	4.687 ± 0.408	[3.674, 5.699]	2.026
12	4.530 ± 0.333	[3.703, 5.357]	1.654

关键发现¶

极小信息 Critic 兼具收敛速度与求解精度：在 cRPS 实验中，MF-MAPPO 仅用 2 小时 17 分即收敛到理论纳什值 -0.331（理论值为 -0.333），而基线 DDPG-MFTG 训练超 60 小时依然严重发散（回报为 3.774）。MAPPO-CC 拼接所有智能体具体坐标不仅导致耗时增加近 50%，精度反而因为维度过大受到干扰。
全方位主导双边跨博弈评估：在 Battlefield 场景中，无论对手采取何种策略，蓝方切换为 MF-MAPPO 时回报均达到全列最高（对 MF-IPPO 为 86.26，对 MAPPO-PS 为 86.22）；当红方采取 MF-MAPPO 时，能将蓝方得分压制到全行最低（压制 MF-IPPO 至 36.10，压制 MAPPO-PS 至 54.43）。
样本利用效率大幅倍增：MF-MAPPO 达到了 14.62 的高样本效率，比最强基线（MF-IPPO 的 6.34）提升了 130% 以上，且平均回合步数缩短至 4.84 步，表明策略能够极快地通过群体合流实现战术突破或合围歼灭。
群体突现协同行为丰富：在 \(8 \times 8\) 双目标战场中，完全相同的策略网络自发突现出“声东击西（假装攻击上方目标随后变轨突袭下方）”、“分兵包抄”与“动态增援堵截”等高度非同质化的宏观战术。

亮点与洞察¶

解耦智能体数量的极小信息 Critic 架构：巧妙证明了团队全局回报结构下宏观分布已构成状态价值的充分统计量，从而把集中式 Critic 的输入维数彻底锁定在宏观网格通道上，使数千个体的联合学习开销降低至单智能体水平。
理论完备的有限种群到无限种群可转移性：填补了以往平均场理论要求在理论极限空间求解的鸿沟，建立了有限种群采样更新与无限种群纳什均衡之间的渐进等价桥梁，使得在小种群中训练出的网络可零样本直接泛化到超大集群。
投影保凸共识与策略平滑性协同防御：将分布式估计器 D-PC 的投影步骤与 Actor 的梯度正则化约束结合，从估计端确保输出严格属于概率单纯形，从控制端限制 Lipschitz 变化率，从机制上杜绝了部分可观测及通信信道噪声引发的级联崩溃。

局限与展望¶

状态空间扩展性受限：目前群体分布输入以离散网格张量通道形式组织，若扩展到连续无界物理状态或超高维观测空间，经验分布的直方图构建将面临新的维数灾难。
非对称环境下的完全纳什均衡存在性：在战场场景中，红方策略的可剥削度仍有 26.11，论文指出当环境缺乏独立转移假设或存在动作禁入区（红方禁止进基地）时，博弈价值不一定存在理论鞍点，未来需进一步研究非独立转移下的理论保证。
通信拓扑的强连通性假设：D-PC 估计器依然假设通信网络在所有时刻全局连通，在遭遇严重通信断连、网络拓扑动态分裂等极端通信恶化场景下的自愈机制仍有待探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将平均场理论与 PPO 深度结合并严格扩展至有限种群零和团队博弈，提出了极小信息 Critic 与 D-PC 估计器。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾了具有严格解析解的博弈验证、大规模网格对抗、跨规模泛化（100至1500智能体）以及真实噪声消融。
写作质量: ⭐⭐⭐⭐⭐ 理论证明系统严密，从纳什存在性到转移误差界、悔差界层层递进，动机叙述清晰。
价值: ⭐⭐⭐⭐⭐ 为超大规模无人集群对抗、游戏 AI 及多群体博弈的实用落地提供了兼备理论安全边界与高执行效率的新范式。