Generalized Intention Modeling in Multi-Agent Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2605.31318
代码: https://github.com/uoe-agents/LIAM
领域: 强化学习
关键词: 多智能体强化学习、对手建模、专家混合模型、对比学习、互信息最大化

一句话总结¶

针对传统对手建模预设固定意图特征无法泛化到不同环境的缺陷，本文提出了自适应意图专家混合框架 MIX，通过门控网络动态融合动作、观测、未来状态及基于 InfoNCE 对比学习的未来收益表征，在部分可观测及高维多智能体场景中显著超越现有基线。

研究背景与动机¶

在无显式通信、部分可观测以及收益结构通用的多智能体强化学习（MARL）中，自身智能体（ego-agent）的决策效果高度依赖于对环境中其他智能体策略意图的准确推断。受认知科学中“心智理论”（Theory of Mind）的启发，深度多智能体对手建模通常将对手的历史交互序列编码为紧凑的低维潜空间表征，进而指导主智能体的策略学习。现有主流工作（如 LIAM、MeLIBA 与 OMG）在构建表征时，均人为预设了固定的轨迹特征作为对手“意图”的代理指标，例如将对手的下一步动作、当前局部观测或未来的全局环境状态作为唯一的预测重建目标。

然而，这种先验预设暗含了一个极强的假设，即某种特定的轨迹分量对刻画意图具有普适代表性，但在多智能体交互中，意图的最优表征形式天然取决于任务结构与环境动力学。在类似石头剪刀布的无状态重复博弈中，预测对手即时动作至关重要，预测未来状态则毫无意义；而在国际象棋或高维追逃等长程规划场景中，推理未来的棋盘演变或对手长期战术意图才能决定胜负。若在所有环境中机械套用单一先验，不仅引入大量与任务无关的冗余噪声，更会严重制约策略在跨任务与异构对手下的泛化能力。

更为关键的是，现有方案普遍忽视了多智能体强化学习的根本目标——最大化主智能体的累积收益。对手的一切行为意图最终都是通过环境动力学与收益函数映射到自身的回报中。本文的核心 idea：打破单一先验意图表征的束缚，提出自适应专家混合架构 MIX 动态加权动作、观测、状态与收益多路意图，并首次利用 InfoNCE 互信息最大化建立显式的未来收益意图表征以约束价值估计不确定度。

方法详解¶

整体框架¶

MIX (Mixer of Intention eXperts) 采用端到端自适应意图建模架构。在去中心化执行阶段，自身智能体仅接收自身的局部时序观测 $o^1_t$ 与上一时刻动作 $a^1_{t-1}$，将其分别输入到 $K$ 个并行的循环编码器 $\{f^k\}_{k=1}^K$ 中，分别提取对应不同交互分量（对手即时动作、对手即时观测、环境未来状态、自身未来收益）的潜空间意图嵌入。随后，各嵌入通过特征投影层映射到对齐的 $D$ 维潜空间中，经由特征级软门控网络计算动态重要性权重，加权生成综合意图表征 $z_t^{\text{MIX}}$，并最终输入主行动器策略网络 $\pi^1(a^1_t \mid o^1_t, z_t^{\text{MIX}})$ 中指导动作选择。在集中式训练阶段（CTDE），各编码器由专用的特权解码器辅助监督训练，并在测试推理阶段完全丢弃解码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["主智能体局部输入<br/>(o¹ₜ, a¹ₜ₋₁)"] --> B["1. 专用循环编码器集<br/>LSTM 并行提取潜向量 {zᵃ, zᵒ, zˢ, zʳ}"]
    B --> C["2. 统一投影与特征级门控混合<br/>LayerNorm 对齐 + Softmax 动态加权聚合"]
    C --> D["3. 收益预测意图对比学习<br/>InfoNCE 极大化未来累积收益互信息"]
    D --> E["主策略决策执行<br/>π¹(a¹ₜ | o¹ₜ, z_MIX) 驱动最优动作"]

关键设计¶

1. 专用多轨迹分量循环编码器：解耦建模异质交互信息 针对单一表征维度单一的缺陷，MIX 显式解耦并维护四组平行的专用编码-解码分支，各分支基于 LSTM 递归处理自身历史交互序列。具体而言，前三类传统轨迹分量由均方误差（MSE）驱动监督学习： $$\mathcal{L}_k = \mathbb{E}\left[ \|h^k(f^k(o^1_t, a^1_{t-1})) - y^k\|^2 \right], \quad k \in \{a, o, s\}$$ 其中目标 $y^a$ 对应对手当前联合动作 $a^{-1}_t$，$y^o$ 对应对手真实局部观测 $o^{-1}_t$，而未来状态分支 $y^s$ 则预测前瞻 $n$ 步的全局联合观测状态 $s_{t+n} \approx [o^1_{t+n}, o^{-1}_{t+n}]$。此举在训练期利用集中式回放池中的特权轨迹全局监督解码器，赋予各编码器纯粹而互补的专用语义表征能力。

2. 统一投影与特征级门控混合机制：消除冗余并自适应任务瓶颈 若仅将多分支编码向量简单拼接输入策略网络，会造成输入维度爆炸，并带入与当前任务无关的噪声信号。MIX 设计了共享潜空间对齐与特征级门控网络：各编码器输出 $z^k_t$ 首先经过投影层 $p^k$ 与归一化操作得到专家特征 $e^k_t = \text{LayerNorm}(p^k(z^k_t)) \in \mathbb{R}^D$；随后门控网络 $g$ 摄取所有拼接特征 $[e^1_t, \dots, e^K_t]$，通过沿专家维度的 Softmax 运算生成逐特征权重向量 $[w^1, \dots, w^K] = \text{softmax}(g([e^1_t, \dots, e^K_t]))$。最终意图表征通过按元素加权求和生成： $$z_t^{\text{MIX}} = \sum_{k=1}^K w^k \odot e^k_t$$ 门控网络直接伴随 PPO 策略梯度进行端到端反向传播，使其充当端到端信息瓶颈（Information Bottleneck），使智能体能够根据不同博弈环境自主学习在动作、观测、状态或收益之间动态转移注意力。

3. 收益预测意图对比学习：最大化未来回报互信息以收敛价值方差 针对现有方法均无法度量对手行为对自身价值函数实质性影响的缺陷，本文首次提出建模主智能体自身的未来收益作为核心意图分量。由于局部状态与远期收益间的映射存在强多模态和复杂依赖，简单的回归 MSE 极易发散并引入震荡。MIX 引入基于 InfoNCE 的对比学习目标，拉近当前表征与真实前瞻 $H$ 步的累积收益 $R^H_t = \sum_{k=1}^H r^1_{t+k}$ 的相似度，同时排斥批次内的其他负样本收益投影： $$\mathcal{L}_{\text{InfoNCE}} = -\mathbb{E}\left[ \log \frac{\exp\left(h^r(f^r(o^1_t, a^1_{t-1})) \cdot p^r(R^H_t) / T\right)}{\sum_{j \in \mathcal{B}} \exp\left(h^r(f^r(o^1_t, a^1_{t-1})) \cdot p^r(R^H_j) / T\right)} \right]$$ 理论上（Proposition 1），无限视界折扣回报 $G_t$ 的条件熵满足： $$\mathcal{H}(G_t \mid o^1_t, z^r_t) \leq \mathcal{H}(r^1_{t+1:t+H}) - I(z^r_t; r^1_{t+1:t+H}) + C$$ 通过最大化互信息 $I(z^r_t; r^1_{t+1:t+H})$，该目标直接极小化了价值估计的不确定性上界，迫使编码器过滤掉环境中繁杂无用的几何状态细节，只保留决定主智能体收益增减的核心对手意图特征。

实验关键数据¶

主实验¶

评估涵盖四大典型测试基准：库恩扑克（Kuhn Poker，部分可观测不完全信息博弈）、部分可观测追逃（POPP，3 捕食者 1 猎物，局部视野）、等级觅食（LBF，混合动机协同竞争）、谷歌足球（GRF，115维观测/19动作高维对抗 6 名 AI 对手）。实验综合考察了训练对手可见（Seen）及面对未见对手（Unseen）的零样本泛化能力，基线包含无意图建模（NOM/PPO）、动作与观测建模（LIAM）、分层动作建模（MeLIBA）以及未来状态建模（OMG）。

评估任务环境与设置	指标	MIX (本文)	次优基线 (方法名)	提升幅度 / 差异分析
Kuhn Poker (Seen, 10 seeds)	平均对局回报	+0.16	+0.14 (LIAM)	优于 LIAM，显著拉开与 OMG/MeLIBA/NOM 差距
Kuhn Poker (Unseen, 10 seeds)	零样本测试回报	+0.12	+0.10 (LIAM)	扑克重在推测手牌与即时动作，MIX 自适应偏向观测与动作
POPP (Seen, 高多样性对手)	猎物平均得分	+1.85	+0.40 (LIAM)	提升 +362.5%，OMG 严重退化甚至不如 NOM (-0.20)
POPP (Unseen, 高多样性对手)	零样本测试得分	+1.10	-0.15 (LIAM)	唯一未发生灾难性性能崩塌的模型，基线均跌入负分
LBF (Seen, 高多样性对手)	食物收集效率	0.88	0.81 (OMG)	保持领先；低多样性下 OMG (0.78) 与 MIX (0.79) 相当
GRF (6 对手, 20 seeds)	平均进球/胜率得分	1.35	0.95 (LIAM)	相对 LIAM 提升 +42.1%，OMG 无法扩展 (仅 0.52)

消融实验¶

消融实验聚焦于证实两大关键设计：(1) 未来收益采用 InfoNCE 对比学习相对于传统 MSE 回归的优越性；(2) 软门控 MoE 架构相对于简单拼接（MIX-Concat）与硬选择（MIX-Top1）的必要性；以及各算法在 POPP 上的计算开销对比。

实验配置 / 消融变体	评估环境与指标	表现数值	机制解析与结论
InfoNCE 收益表征 (本文)	POPP 猎物平均得分	+1.85	充分捕获非线性收益依赖，训练曲线平稳高位收敛
MSE 收益预测消融	POPP 猎物平均得分	+0.92	回归损失易受标量离群值干扰，方差极大且性能折损 50.3%
MIX (特征级软门控 MoE)	LBF 任务归一化回报	0.88	动态平衡多种轨迹信息，最优特征平滑互补
MIX-Concat (直接向量拼接)	LBF 任务归一化回报	0.74	参数冗余且未对齐，引入无关噪声，策略学习收敛变慢
MIX-Top1 (单专家硬路由)	LBF 任务归一化回报	0.69	离散突变阻断梯度平滑流动，无法综合跨阶段混合意图
算力开销：MIX (本文)	POPP 训练时长 / 步耗时	4.32 h / 5.18 ms	规避了 OMG 预训练与 MeLIBA 二次项复杂度，训练提速 2~6 倍
算力开销：OMG / MeLIBA	POPP 训练时长 / 步耗时	8.49 h / 25.58 h	OMG 需独立 CVAE 预训练；MeLIBA 潜变量推断代价极高

关键发现¶

专家归因显著随环境动态漂移：基于 Gradient×Input 归因分析，未来收益专家在 POPP、LBF 和 GRF 中均位列重要性前二，证实收益表征能直接降低价值方差；而在扑克这类以推测对手手牌为核心的任务中，注意力自发向对手观测和动作转移。
面对高多样性未见对手鲁棒性极高：在 POPP 引入最大熵种群训练产生的高策略多样性对手下，单一表征基线（如 OMG 依赖状态重建、LIAM 依赖动作匹配）均出现严重表征失效，而 MIX 凭借软门控自适应性，是唯一维持正收益的方法。
高维环境可扩展性优越：在多达 6 名防守队员的 GRF 复杂足球场景中，OMG 因高维状态重构难度激增而失效，MIX 借助 61.0M FLOPs 的轻量前向开销实现了显著领先的采样效率。

亮点与洞察¶

将对手建模形式泛化为“任务自适应混合”：跳出了过往文献争论“预测动作好还是预测未来状态好”的狭隘二元对立，将意图建模形式本身转化为策略驱动的端到端学习问题。
以未来累积回报作为意图代理并提供信息论证明：创新性地利用 InfoNCE 约束时序回报互信息，数学上证明了其缩小了价值函数不确定度上界，填补了对手建模中忽略自身价值联系的空白。
兼顾极高表征容量与高效端到端训练：避开了类似 OMG 复杂的两阶段预训练或 MeLIBA 昂贵的元学习更新，单步推理仅 5.18 ms（支持近 200 FPS 实时期望），兼具工程实用性。

局限与展望¶

假设对手种群交互为单局独立采样：目前聚焦于增强跨对手种群的静态鲁棒性，尚未涵盖跨局元对抗与持续演化（Opponent Shaping / Cross-Episode Evolution）的非平稳博弈设定。
单智能体中心化的意图建模：框架当前服务于单一自身智能体，在多自身智能体组队对抗多对手的团队协作场景下，如何自适应对齐团队内多代理的分布式意图表征仍待探索。

评分¶

新颖性: ⭐⭐⭐⭐ [打破了固定对手意图表征范式，首次将自适应 MoE 与对比收益互信息最大化引入意图建模]
实验充分度: ⭐⭐⭐⭐⭐ [跨越扑克、追逃、觅食及高维 6 对手足球四大基准，涵盖训练可见、未见泛化、多样性种群及完整消融与开销分析]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑紧凑，理论证明清晰严密，实验设计直击问题核心]
价值: ⭐⭐⭐⭐ [为通用多智能体博弈决策中的表征学习提供了极具普适性与工程实用价值的全新基座框架]