Mental-Models for Multi-Agent Systems¶

会议: NeurIPS 2026
arXiv: 2610.12453
OpenReview: https://openreview.net/forum?id=HoG47ROacO
代码: https://github.com/hananshafi/Mental-Models
领域: LLM Agent
关键词: Multi-Agent Systems, Theory of Mind, Mental Models, Partially Observable Environments, Recursive Belief Modeling

一句话总结¶

提出一种面向部分可观测多智能体系统的心理模型增强框架，通过摊销推断递归的心智理论表征并联合训练心智条件效用模型，指导强化学习策略优化，在部署时无需额外推理开销即可显著提升社交交互与决策质量。

研究背景与动机¶

大语言模型与多模态基础模型的突破加速了通用自主智能体的构建，促使其广泛介入人机协作、多智能体协商及社交模拟等任务。然而，在真实的多智能体交互环境中，环境信息和交易对象往往具有固有的部分可观测性。其他交互对象的内部目标、私有信念、知识边界以及潜在策略无法直接感知，智能体必须具备推测“对方知道什么、意图为何以及对未来交互作何反应”的能力，即认知科学中经典的心智理论（Theory of Mind, ToM）。

现有基于大模型的多智能体系统主要依赖外在编排机制、提示词工程（如自我反思、批判提示、角色扮演）或基于对话历史总结的文本记忆检索来维持交互。这些机制将对手的心理状态隐式混杂在长文本上下文或零散的轨迹摘要中，不仅极易受提示词格式与上下文截断的干扰，而且缺乏具有严谨语义、连续几何空间与不确定度量化的显式信念状态（Belief State）。这就导致智能体在多轮博弈中容易误判意图、陷入脆弱死板的行动计划，并在对手行为偏离预期时丧失自适应调节能力。

将部分可观测马尔可夫决策过程中的隐状态信念更新原则延伸至基础模型智能体，面临表达形式与策略优化的双重难题。若仅生成自然语言假设，既难以融入策略梯度的内隐动态，又会在多轮推理中带来不可承受的计算开销。本文的核心 idea：学习一个融合信念、意图与思维过程且具备一阶与二阶递推因式分解的摊销隐空间心智模型，并联合训练心智条件奖励模型指导策略优化（GRPO），最终将显式心智建模的认知优势完全蒸馏蒸发进可在推理阶段独立部署的高效策略网络。

方法详解¶

整体框架¶

该方法分为三个主要阶段：第一阶段联合训练摊销递归心智模型编码器与心智条件奖励效用模型；第二阶段冻结心智模型与效用模型，生成候选响应并利用心智奖励通过分组相对策略优化（GRPO）更新策略网络；第三阶段直接部署训练就绪的独立策略模型，在测试期不增加任何额外的隐变量推断或重排序推理开销。

方法的整体计算管线如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["交互观测历史 $h_t$"] --> B["阶段1：摊销递归心智状态推断<br/>一阶与二阶 BIT 隐变量因式分解"]
    A --> C["候选动作提案 $a_t \sim \pi_\phi$"]
    B --> D["阶段1：心智感知效用评分<br/>对隐心智状态边缘化评估候选动作"]
    C --> D
    D --> E["阶段2：心智奖励引导策略优化<br/>冻结评分器计算分组相对优势 GRPO"]
    E --> F["阶段3：独立部署策略 $\pi_{\phi^*}$<br/>测试期零心智额外开销端到端行动"]

关键设计¶

1. 递归摊销心智状态推断：解耦一阶认知与高阶共情表征 在部分可观测交互中，对手的隐藏属性包含私有目标、知识、信念和思维方式，精确后验推断极其困难。为此，该设计通过参数化分布 $q_\omega(z_t \mid h_t)$ 进行摊销近似。由于人类心智理论具有天然的嵌套递归属性（不仅推测对方在想什么，还推测对方如何看待自己），模型将隐变量因式分解为一阶隐状态 $z_t^{(1)}$ 和二阶隐状态 $z_t^{(2)}$： $$q_\omega(z_t^{(1)}, z_t^{(2)} \mid h_t) = q_{\omega_1}(z_t^{(1)} \mid h_t) \, q_{\omega_2}(z_t^{(2)} \mid h_t, z_t^{(1)})$$ 每个阶层的隐变量 $z_t^{(\ell)}$ 进一步显式解耦为信念（belief）、意图（intent）与思维流程（thought-process）三个语义子空间（BIT），维度各为 128。通过多元高斯分布建模均值与对角方差，使得隐空间具备连续平滑的几何结构并能刻画对手状态的后验不确定性。高阶隐变量 $z_t^{(2)}$ 以一阶隐变量为条件施加变分瓶颈正则化，从而在防止隐表征塌缩的同时保留严格的递归嵌套结构。

2. 联合心智条件效用学习：强制隐表征具备决策敏感性与因果约束 单纯以重建心智描述为目标的无监督或半监督隐变量往往只学习描述性特征，难以直接用于行动决策；而脱离心智状态的奖励模型则容易退化为仅仅拟合候选响应的表面文本特征。为此，模型将二者联合优化，让奖励损失的梯度反向塑造心智隐空间的决策相关性： $$\bar{\mathbf{u}}_{\omega,\psi}(h_t, a_t) = \mathbb{E}_{z_t \sim q_\omega(\cdot \mid h_t)}\left[ \hat{\mathbf{u}}_\psi(h_t, a_t, z_t) \right]$$ 该式通过对后验隐状态进行期望边缘化，使候选动作的效用评分综合考量所有合理存在的对手心智状态。联合损失函数涵盖针对正样本效用的 Huber 回归损失、一阶与二阶心智文本描述的解码重建损失、解释性推理协同预测损失，以及针对对抗负样本的偏好排序对比损失。偏好损失设计了维度掩码机制，仅对负样本刻意违背的特定社交或策略维度进行惩罚，避免波及句式流畅度等无关维度。

3. 心智感知奖励引导的独立策略优化：将隐式心智能力蒸馏入部署策略 为了在实际部署时不引入维护和推断隐变量的额外时延与架构负担，框架采用两阶段蒸馏机制。利用标量化权重将多维效用映射为标量奖励 $r_{\omega^*, \psi^*}(h_t, a_t) = w_e^\top \bar{\mathbf{u}}_{\omega^*, \psi^*}(h_t, a_t)$。在冻结心智编码器与效用评分器后，策略模型针对当前观测提出 $K$ 个候选动作样本，并在组内计算相对优势： $$A_{i,k}^{\mathrm{resp}} = \frac{r_{i,k} - \mu_i}{\sigma_i + \varepsilon}, \quad \mu_i = \frac{1}{K}\sum_{k=1}^K r_{i,k}, \quad \sigma_i^2 = \frac{1}{K}\sum_{k=1}^K (r_{i,k} - \mu_i)^2$$ 通过带参考模型 KL 散度约束的 GRPO 目标优化策略参数。由于奖励信号蕴含了边缘化心智状态的高阶信息，策略网络在梯度回传过程中逐渐内隐化学会“什么样的交互上下文对应何种心智敏感决策”，从而在部署阶段无需显式运行心智推断即可做出具有高度心智深度的鲁棒自适应动作。

损失函数 / 训练策略¶

第一阶段联合心智与奖励模型损失为： $$\mathcal{L}_{\mathrm{MR}} = \mathcal{L}_{\mathrm{vec}} + \lambda_p \mathcal{L}_{\mathrm{pref}} + \lambda_m \mathcal{L}_{\mathrm{mental}} + \lambda_e \mathcal{L}_{\mathrm{expl}} + \mathcal{L}_{\mathrm{KL}}$$ 其中 $\mathcal{L}_{\mathrm{vec}}$ 为多维效用预测的 Huber 损失，$\mathcal{L}_{\mathrm{mental}}$ 最小化一阶与二阶心智状态描述的负对数似然，$\mathcal{L}_{\mathrm{pref}}$ 采用 Softplus 对比损失对负样本进行受控惩罚，$\mathcal{L}_{\mathrm{KL}}$ 包含一阶先验标准正态约束与二阶条件高斯分布约束。在训练稳定性方面，采用三项技术：针对外部心智数据的预热预训练、二阶隐变量的退火式延迟更新，以及初期从 $z^{(1)}$ 向 $z^{(2)}$ 的梯度截断（stop-gradient）。第二阶段策略优化采用 GRPO 配合参考策略的 KL 惩罚，在 7B 级别开源骨干模型（如 Qwen2.5-7B-Instruct）上微调 LoRA 权重。

实验关键数据¶

主实验¶

在开放社交基准 Sotopia（全量评测，固定 GPT-4o-mini 对手）和受控心智理论基准 BigToM（前向信念预测 Forward Belief）上，本文方法均显著超越对应的基础模型与常规微调基线。

数据集 / 评测设置	评估指标	本文模型 (Qwen2.5-7B)	基础模型 (Base)	提升幅度
Sotopia-all (vs GPT-4o-mini)	Overall 总分	3.856	3.290	+0.566 (+17.2%)
Sotopia-all (vs GPT-4o-mini)	Goal (目标完成度)	7.322	6.467	+0.855
Sotopia-all (vs GPT-4o-mini)	Knowledge (知识获取)	6.611	5.144	+1.467
Sotopia-all (vs GPT-4o-mini)	Relationship (关系建立)	3.533	2.656	+0.877
BigToM Forward Belief (w/o Initial)	$TB \land FB$ (真伪双分支一致准确率 %)	96.0	77.0	+19.0 pp
BigToM Forward Belief (with Initial)	$TB \land FB$ (真伪双分支一致准确率 %)	97.5	48.0	+49.5 pp
MMRole 多模态角色扮演 (Out Split)	Overall 综合归一化得分	1.019	0.981 (MMRole-Agent)	+0.038
Craigslist-Bargain 跨域迁移	成交率 Deal Rate (%)	94.0	91.0	+3.0 pp

消融实验¶

在 Sotopia 和 BigToM 上的消融分析验证了心智监督覆盖率、隐变量表征结构以及后验协方差形式的核心影响：

配置	核心评测指标	结果说明
Full Model (100% 心智监督)	Sotopia Overall Score	3.856 (基准完整性能)
50% 心智监督子集	Sotopia Overall Score	3.750 (轻微掉点 0.106)
25% 心智监督子集	Sotopia Overall Score	3.650 (仍高出无心智基线 0.350)
0% 心智监督 (无心智直接奖励)	Sotopia Overall Score	3.300 (大幅下降 0.556)
打乱隐变量配对 $z_1 \to z_2$ (Shuffled Pair)	二阶 ToM 探测准确率	二阶信息显著丢失，证明嵌套递归结构不可替代
对角高斯后验 (Diagonal Gaussian, 本文)	BigToM 奖励排序准确率 / 差值边际	96.6% / 1.05 (与全协方差无统计显著差异)
低秩全协方差后验 ($\text{diag} + UU^\top$)	BigToM 奖励排序准确率 / 差值边际	96.8% / 1.05 (计算代价增加但收益边缘化)

关键发现¶

心智监督高效增益：消融实验显示，仅使用 25% 的心智状态监督标签，模型的社交总分即可提升 0.350 点，表明摊销心智模型并不苛求对所有交互步骤进行穷尽的人工心智标注。
递归因式分解至关重要：破坏 $z_1 \to z_2$ 递归连接会导致二阶心理状态恢复精度暴跌，而打乱平铺 VAE 的隐空间仅引起轻微扰动，这表明解耦的 BIT 子空间与分层递归结构是捕获反事实与嵌套认知信念的关键。
对角后验的充足性：对比低秩全协方差后验与独立对角高斯后验，二者在奖励准确率和信念探测上完全持平，证实不同心智维度的交互主要由共享的非线性上下文编码器承载，对角假设足以提供优质正则化。

亮点与洞察¶

训练期显式赋能，推理期零开销独立：通过将心智模型作为奖励模型的条件输入，再借助 GRPO 策略梯度将心智决策模式内化到普通策略模型中，完美规避了传统 ToM 系统在测试期需多轮思维链展开或树搜索的巨大计算负担。
跨模态与跨任务泛化力：同一套包含信念、意图、思维（BIT）的解耦架构，不仅在纯文本社交对话和逻辑心智问答（BigToM/ToMi/FANToM）上表现卓越，还能平滑扩展至多模态角色扮演（MMRole）与买卖博弈谈判（Craigslist-Bargain）。
可解释的潜在空间可控性：隐空间遍历实验表明，沿着信念方向或策略提议方向微调隐向量，能单调驱动下游效用预测和语义标签转移，证明隐空间学习到了真实的因果决策变量而非虚假相关性。

局限与展望¶

主要局限于双人博弈环境：当前算法设计主要围绕成对的双智能体场景展开，尽管在多方评测基准 FANToM 上展现出初步的零样本泛化能力，但面向任意多智能体网络的端到端联合动态推断仍待进一步探索。
长期交互中的动态更新：目前隐模型主要针对单轮与短序列上下文进行后验估计，在跨长时程的连续博弈、具身机器人协作以及真实复杂世界交互中，如何维护长程持续演化的动态心智记忆仍是未来的核心挑战。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙结合摊销推断、递归认知层次与强化学习策略蒸馏，构建了首个通用的显式心智模型多智能体架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖文本对话、逻辑问答、多模态角色扮演、谈判跨域迁移及详尽的隐空间几何剖析。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨，架构图清晰，理论动机与工程实现环环相扣。
价值: ⭐⭐⭐⭐⭐ 为解决多智能体系统在部分可观测与高阶博弈环境下的认知盲区提供了极具指导意义的通用范式。