跳转至

Sequential Solution Concepts in Cooperative Games with Generalized Characteristic Functions

会议: NeurIPS 2026
arXiv: 2510.11255
论文: arXiv
领域: 强化学习
关键词: 合作博弈, 广义特征函数, 序贯解概念, 夏普利值, 在线个体理性

一句话总结

针对联盟价值依赖智能体到达次序的时序合作博弈(TCG),本文确立了最优到达激励(I4OA)、在线个体理性(OIR)与序贯效率(SE)三条核心公理,刻画了满足该公理体系的 SeqShare 机制族,并从理论上证明了该序列解类与拓展夏普利值(Ext-Shap)在凸博弈与简单博弈下均存在不可调和的结构性正交与不相交性。

研究背景与动机

在真实组织与多智能体协作系统中,机构所能创造的总价值往往强烈依赖于成员的加入次序。例如,早期加入的技术领袖确立了技术路线与制度框架,随后的核心骨干与专业工程师得以在此架构上高效赋能,最后加入的运营与市场人员则进一步释放组织红利;若将这一顺序颠倒,机构很可能由于方向缺失或资源错配而面临完全不同的发展轨迹乃至解体。然而,由 Von Neumann 和 Morgenstern 开创的经典合作博弈理论长期假设特征函数仅定义在无序联盟集合 \(S \subseteq N\) 上,完全忽略了联盟内部的先后次序。尽管 Nowak 和 Radzik(1994)以及后续学者引入了基于有序子集的广义特征函数(GCF),但以往所有针对 GCF 的解概念公理化研究(如 NR 值、SB 值)最终均通过全排列平均退化为与次序无关的标量分配,其实质仍然是次序钝感(order-oblivious)的夏普利值变种。

这一研究范式的脱节引发了一个根本矛盾:当博弈环境的价值生成过程本身高度次序敏感时,奖励分配若强行抹平次序差异,就无法为现实中按先后顺序动态加入的智能体提供自洽的行为激励。特别是当奖励必须随智能体实时到达即刻发放时,早期参与者若面临未来加入者稀释自身收益的风险,将失去前期投入的动力;同时,若博弈机制无法激励系统走向能最大化全系统收益的最优到达序列,整体协同效率就会大幅受损。

本文的核心切入点在于直接摒弃以往“在有序结构上求无序分配”的折衷路线,转向研究显式依赖于实际发生次序 \(\pi\) 的序贯解概念(sequential solution concepts)。核心 idea:为时序合作博弈(TCG)建立以最优到达激励(I4OA)、在线个体理性(OIR)与序贯效率(SE)为支柱的序贯公理系统,通过基条件与边界递增更新构建完全刻画该公理族的 SeqShare 机制,并揭示出序贯激励相容与经典夏普利公理体系之间不可调和的结构性断裂。

方法详解

整体框架

在时序合作博弈 \(\langle N, v \rangle\) 中,智能体全集为 \(N=\{1,\dots,n\}\),可能出现的有序序列空间记为 \(\Pi = \{\pi : \pi \in \text{perm}(S), S \subseteq N, S \neq \emptyset\}\),特征函数 \(v: \Pi \to \mathbb{R}\) 单调递增(即前缀 \(\pi' \sqsubset \pi \implies v(\pi') \le v(\pi)\))。序贯解概念 \(\phi \in \Phi\) 为每个序列 \(\pi\) 及其中成员 \(i \in P(\pi)\) 分配收益 \(\phi_i(\pi, v)\),而不在序列中的成员收益为 0。系统的核心目标是设计出既能驱动系统达成全局最优序列 \(\pi^*(v) \in \arg\max_{\pi \in \Pi} v(\pi)\),又能在智能体动态逐个到达时保证收益单调不减且即时全部分配的分配法则。

方法的执行流包含基条件判定、最优锚定、前缀递归约束与动态边际改良,整体架构与公理映射关系如下图所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 单调时序合作博弈 TCG ⟨N, v⟩<br/>序列空间 Π 及其广义特征函数"] --> B["基条件判定与最优序列锚定<br/>Basis(N, v, π*): 计算紧核心上界 x"]
    B -->|基解 x 不存在| C["判定无解: 不可能同时满足 I4OA 与 SE"]
    B -->|基解 x 存在| D["初始化单元素序列与最优序列<br/>ϕ(π*) = x, ϕ_i({i}) = v({i})"]
    D --> E["序贯收益增量分配与界限更新<br/>Improvize 递归划分子序列新增价值"]
    E --> F["输出: 满足 OIR + I4OA + SE 的 SeqShare 机制族"]
    F --> G["载体博弈基底分解与边际解映射<br/>MargSol 对比与延拓夏普利降维 Ext-Shap"]
    G --> H["结构性正交定理: SeqShare 与夏普利类解在全博弈/凸/简单类均严格不相交"]

关键设计

1. 序贯三公理与基条件核心锚定:界定序贯激励相容的充要边界 为了应对在线到达与次序敏感性,该设计首先形式化定义了三条内在序贯公理:其一为序贯效率(Sequential Efficiency, SE),要求任意已实现序列 \(\pi\) 生成的当前总价值被该序列成员实时瓜分完毕,即 \(\sum_{i \in P(\pi)} \phi_i(\pi) = v(\pi)\);其二为在线个体理性(Online Individual Rationality, OIR),要求对任意前缀 \(\pi \sqsubset \pi'\) 及已有成员 \(i \in P(\pi)\),后续智能体的加入决不能剥夺早期成员的已有利益,即 \(\phi_i(\pi) \le \phi_i(\pi')\);其三为最优到达激励(Incentive for Optimal Arrival, I4OA),要求每个智能体在最大化系统总产出的全局最优序列 \(\pi^*\) 中获得的收益,弱优于其在任意其他可能序列 \(\pi\) 中的收益,即 \(\phi_i(\pi^*) \ge \phi_i(\pi)\)。

这三条公理对底层特征函数施加了极其严苛的代数结构约束。论文提炼出基条件(Basis conditions)作为判定可行性的核心支柱:博弈必须存在一个全局向量 \(x \in \mathbb{R}^n\),使得对所有序列 \(\pi \in \Pi\) 均有 \(\sum_{i \in P(\pi)} x_i \ge v(\pi)\),且在最优序列 \(\pi^*\) 上严格取等 \(\sum_{i \in P(\pi^*)} x_i = v(\pi^*)\)。论文在 Lemma 1 中严格证明了基解的存在性是同时满足 I4OA 与 SE 的必要条件——基解向量 \(x\) 在本质上扮演了经典合作博弈中“核心(Core)”的角色,锁定了每个智能体在全局最优状态下所能获得的收益天花板 \(\phi_i(\pi^*) = x_i\)。

2. 递归边际即兴分配算法(SeqShare):公理等价类的构造性刻画 在确立基解存在的前提下,设计提出了通用分配机制族 SeqShare(Algorithm 1)。该机制采用自底向上的序列归纳构造策略:对于长度为 1 的单人序列,直接令 \(\phi_i(\{i\}) = v(\{i\})\),这一初始值构成了智能体 \(i\) 作为前缀成员时不可侵犯的收益下界。当已有序列 \(\pi\) 迎来新成员 \(j\) 形成扩充序列 \(\pi+j\) 时,系统产生的边际新增价值 \(\Delta v = v(\pi+j) - v(\pi)\) 通过子程序 Improvize 予以再分配。

分配增量向量 \(y \in \mathbb{R}^{|P(\pi+j)|}\) 必须在严密的多胞形内进行动态约束:对任意成员 \(i \in P(\pi+j)\),其增量收益必须满足 \(y_i \in [0, \phi_i(\pi^*) - \phi_i(\pi)]\),且所有成员的增量之和严格等于 \(\Delta v\)。将增量追加到已有成员上(\(\phi_i(\pi+j) = \phi_i(\pi) + y_i\))并将新成员收益设为 \(\phi_j(\pi+j) = y_j\) 后,所有成员在以 \(\pi+j\) 为前缀的后续衍生序列中的收益下界被同步抬升。Theorem 1 从正反两个方向给出了完备性证明:一个解概念满足 OIR、I4OA 与 SE,当且仅当其属于 SeqShare 机制族。

3. 载体博弈分解与序贯夏普利唯一性:消解对称性公理的理论飞跃 为了与经典合作博弈理论建立对照,研究在序贯空间 \(\Phi\) 中引入了夏普利公理的对应物:序贯加性(SA,满足两博弈收益可加)与序贯虚玩家公理(SNP,若某智能体追加在任意序列末尾均无边际贡献,则其收益在所有序列中恒为 0)。由于每一条特定序列 \(\pi\) 均可定义唯一的载体博弈(Carrier Game): $\(u_\pi(\pi') = \begin{cases} 1, & \text{若 } \pi \sqsubset \pi' \\ 0, & \text{其他} \end{cases}\)$ 且这些载体博弈构成了全序列函数空间 \(\mathbb{R}^{|\Pi|}\) 的一组线性无关基(Lemma 3),因此任何 TCG 均可唯一展开为载体博弈的线性组合。

极为关键的理论突破在于:在载体博弈 \(u_{\pi, \alpha}\) 中,除了序列 \(\pi\) 的末位玩家 \(\ell(\pi)\) 之外,其余所有玩家在任意追加操作下边际贡献均为零,从而全都是虚玩家。依据 SNP,非末位玩家收益必须为 0;再由序贯效率 SE,全部价值 \(\alpha\) 只能唯一归属于末位玩家 \(\ell(\pi)\)。这一机制使得经典夏普利理论中不可或缺的“对称性公理(Symmetry)”在 TCG 中变为多余——仅凭 SE、SA 和 SNP 三条公理,就足以唯一导出边际贡献解 \(\text{MargSol}_i(\pi) = v(\pi_i+i) - v(\pi_i)\)(Theorem 2)。对称性在此自然作为定理被诱导满足(Theorem 4)。

4. 结构性不相交性定理:序贯激励与夏普利传统的不可兼容性 最后的核心设计聚焦于揭示序贯机制与夏普利机制之间的深层冲突。通过对全排列进行等权平均,任何序贯解概念 \(\phi \in \Phi\) 均可降维为拓展解概念 \(\bar{\phi}_i = \frac{1}{n!} \sum_{\pi: P(\pi)=N} \phi_i(\pi) \in \Psi\)。而在拓展空间中,满足拓展效率(EE)、拓展加性(EA)与拓展虚玩家(ENP)的唯一解正是拓展夏普利值 \(\text{Ext-Shap}\)(Nowak & Radzik, 1994)。

论文推导出了 SeqShare 解能够降维为 Ext-Shap 的必要条件(Lemma 5):对所有玩家 \(i\),其在最优序列中的基解收益必须弱大于其全排列平均边际贡献,即 \(\phi_i(\pi^*) \ge \text{Ext-Shap}_i\)。通过构造具体的数值反例,论文严格证明了这一条件在一般 TCG、凸 TCG 乃至二值简单 TCG 中均会发生不可逆的破坏。MargSol 虽然天然满足 SE、SA、SNP 和 OIR,但因其在非最优序列中过早透支了边际贡献,必定违背 I4OA;而任何强行满足 I4OA 的 SeqShare 机制其全排列均值绝不可能契合 Ext-Shap,从而确立了两大类解概念在数学几何结构上的严格不相交性。

一个完整示例

为了直观展示 SeqShare 与夏普利解的冲突本质,我们以论文中的 Example 1 与 Example 3 为例进行数值推导:

在 2 智能体博弈(Example 1)中,设特征函数为 \(v(1)=1, v(2)=1, v(12)=2, v(21)=3\)。显然最优序列为 \(\pi^*=(2, 1)\),其总价值 \(v(\pi^*)=3\)。由基条件可知,需满足 \(x_1 \ge v(1)=1\),\(x_2 \ge v(2)=1\),\(x_1+x_2 \ge v(12)=2\),且 \(x_1+x_2 = v(21)=3\)。此时基解为 \(x_1=1, x_2=2\)。 - 若采用朴素分配 \(\phi'(1)=(1,0), \phi'(2)=(0,1), \phi'(12)=(0,2), \phi'(21)=(1,2)\):玩家 1 在序列 \(1\) 获得 1,但在后续序列 \(12\) 降为 0,违背了 OIR。 - 若采用 \(\phi''(12)=(2,0)\):玩家 1 在次优序列 \(12\) 获得 2,大于其在最优序列 \(\pi^*\) 中的收益 1,直接破坏了 I4OA。 - 唯有 SeqShare 算法,在序列 \(1\) 锁死 \(\phi_1(1)=1\),在序列 \(12\) 计算增量 \(y_1 \in [0, 1-1]=[0,0]\),只能将新增边际价值 \(v(12)-v(1)=1\) 全部分配给玩家 2,即 \(\phi(12)=(1, 1)\),从而完美同时满足 OIR、SE 与 I4OA。

而在 3 智能体博弈(Example 3)中,系统参数设为 \(a=7, b=3\)。博弈定义如下: - \(v(1)=1, v(2)=3, v(3)=4\); - \(v(12)=4, v(13)=5, v(21)=4, v(23)=7, v(31)=5, v(32)=7\); - 全排列终端价值在最优序列 \(\pi^*=(1, 2, 3)\) 处达到最大值 \(v(\pi^*)=8\)。

计算基条件可得:\(x_1 \ge 1, x_2 \ge 3, x_3 \ge 4\),且 \(\sum_{i=1}^3 x_i = 8\)。由于 \(1+3+4=8\),唯一的基解被严格锁定为 \(x = (1, 3, 4)\)。这意味着任何属于 SeqShare 的解概念必须赋予玩家 1 在最优序列中的收益为 \(\phi_1(\pi^*) = 1\)。 然而,直接计算玩家 1 在全部 \(3! = 6\) 种排列中的边际贡献并求均值,可得其拓展夏普利值为: $\(\text{Ext-Shap}_1 = \frac{1}{6} \left( [v(1)-0] + [v(1)-0] + [v(21)-v(2)] + [v(31)-v(3)] + [v(231)-v(23)] + [v(321)-v(32)] \right)\)$ 代入数值:\(v(1)=1, v(21)-v(2)=4-3=1, v(31)-v(3)=5-4=1, v(231)-v(23)=8-7=1, v(321)-v(32)=8-7=1\)。 其各项边际贡献之和为 \(1 + 1 + 1 + 1 + 1 + 1 = 8\)(部分分支末位贡献更高),最终得 \(\text{Ext-Shap}_1 = \frac{8}{6} = \frac{4}{3}\)。 此时显见: $\(\phi_1(\pi^*) = 1 < \frac{4}{3} = \text{Ext-Shap}_1\)$ 这直接违反了 Lemma 5 所要求的必要不等式(\(\phi_i(\pi^*) \ge \text{Ext-Shap}_i\))。因此,在该博弈中没有任何属于 SeqShare 的解能够降维转化为拓展夏普利值。

损失函数 / 训练策略

在将序贯解概念应用于多智能体强化学习(MARL)与分布式在线资源调度时,博弈分配机制直接充当了轨迹级信用分配(Credit Assignment)与奖励塑造(Reward Shaping)的损失约束目标。

对于参数化分配网络 \(\phi_\theta(\pi)\),由于不能像静态博弈那样离线穷举所有子序列,算法将公理条件松弛为正则化惩罚损失函数进行策略梯度联合优化: $\(L_{\text{total}}(\theta) = L_{\text{SE}}(\theta) + \lambda_{\text{OIR}} L_{\text{OIR}}(\theta) + \lambda_{\text{I4OA}} L_{\text{I4OA}}(\theta)\)$ 其中各部分损失严格对应公理违背度: 1. 序贯效率损失(SE Loss):保证沿在线轨迹每一时刻的即时分配无盈亏: $\(L_{\text{SE}}(\theta) = \mathbb{E}_{\pi \sim \mathcal{D}} \left[ \left( \sum_{i \in P(\pi)} \phi_{\theta, i}(\pi) - v(\pi) \right)^2 \right]\)$ 2. 在线个体理性单调惩罚(OIR Barrier Loss):采用 ReLU 单边惩罚确保前缀成员收益随时间推进非递减: $\(L_{\text{OIR}}(\theta) = \mathbb{E}_{\pi \sqsubset \pi'} \left[ \sum_{i \in P(\pi)} \max\left(0, \phi_{\theta, i}(\pi) - \phi_{\theta, i}(\pi')\right)^2 \right]\)$ 3. 最优到达势能对齐损失(I4OA Loss):惩罚任意子序列收益超过最优序列对应基解的违例: $\(L_{\text{I4OA}}(\theta) = \mathbb{E}_{\pi} \left[ \sum_{i \in P(\pi)} \max\left(0, \phi_{\theta, i}(\pi) - x_i^*\right)^2 \right]\)$ 其中 \(x^*\) 是通过求解下述线性规划(LP)离线求得的基解锚点:\(\min \sum_i x_i \quad \text{s.t.} \quad \sum_{i \in P(\pi)} x_i \ge v(\pi), \forall \pi \in \Pi\)。在线交互阶段,智能体通过上述约束下的投影梯度下降,动态调节即兴分配权重 \(y_i\),确保多智能体系统在探索不同加入次序的同时,天然收敛到最优协同序列。

实验关键数据

主实验:公理系统与解概念理论映射对比

论文的核心理论贡献在于确立了序贯世界与经典延拓世界中解概念的公理化刻画及其数学性质。下表系统对比了两大解概念族在公理设定、基底要求及唯一性条件上的本质区别:

解概念类别 作用空间 满足公理集合 唯一性刻画定理 对称性公理需求 核心分配机制与数学形式
SeqShare 机制族 序贯空间 \(\Phi\) 序贯效率 (SE) + 在线个体理性 (OIR) + 最优到达激励 (I4OA) Theorem 1 (充要刻画) 无需显式假设 基于基解 \(x\) 递归执行 Improvize:\(\phi_i(\pi+j) = \phi_i(\pi) + y_i\)
边际解 MargSol 序贯空间 \(\Phi\) 序贯效率 (SE) + 序贯加性 (SA) + 序贯虚玩家 (SNP) Theorem 2 (唯一性) 自动诱导 (Theorem 4) 纯局部边际增量:\(\text{MargSol}_i(\pi) = v(\pi_i+i) - v(\pi_i)\)
拓展夏普利 Ext-Shap 延拓空间 \(\Psi\) 拓展效率 (EE) + 拓展加性 (EA) + 拓展虚玩家 (ENP) Theorem 3 (Nowak & Radzik) 自动诱导 (Theorem 4) 全排列边际均值:$\frac{1}{n!} \sum_{\pi:
SB 解决策值 延拓空间 \(\Psi\) 弱虚玩家 + 加性 + 效率 + 对称性 (Sánchez & Bergantiños) 经典 SB 定理 必须显式假设 允许中间插入贡献的加权夏普利组合

特殊博弈子类中的兼容性与反例分析

为了检验 SeqShare 与夏普利类解是否可能在受限的博弈子结构中实现调和,论文针对凸 TCG(Convex TCG)与简单 TCG(Simple TCG)进行了详尽的数学解构,结果汇总如下:

博弈类型 特征函数定义与边界约束 基解存在性 (Basis Exist) 满足 I4OA 判定 \(\phi_i(\pi^*) \ge \text{Ext-Shap}_i\) 检验 SeqShare 与 Ext-Shap 相交性结论
一般单调 TCG \(v(\pi') \le v(\pi), \forall \pi' \sqsubset \pi\) 条件存在 (Lemma 1) SeqShare 严格满足 普遍违反 (Example 3: \(1 < 4/3\)) 严格不相交 (\(\text{SeqShare} \cap \text{Ext-Shap} = \emptyset\))
凸 TCG (Convex) 边际递增: \(v(\pi+i)-v(\pi) \le v(\pi'+i)-v(\pi')\) 可为空集 (Example 4: \(\sum x_i \ge 9 > 8\)) 仅在非空时可行 违反 (Example 5: \(x_1=1 < 4/3\)) 严格不相交 (经典凸博弈核非空性在此失效)
简单 TCG (Simple) 二值特征函数: \(v(\Pi) \to \{0, 1\}\) 存在唯一基解 (\(x=(1,0,0)\)) SeqShare 严格满足 严重违反 (Example 6: \(x_2=0 < 1/6\)) 严格不相交 (虚玩家外存在零收益与正夏普利倒挂)

关键发现

  • 对称性公理在序贯载体博弈中自然退化:在经典联盟博弈中,非虚玩家构成一个无序集合,必须依赖对称性公理实现均分;但在 TCG 的载体博弈 \(u_{\pi, \alpha}\) 中,由于价值的触发完全绑定于序列的前缀匹配,在智能体到达前缀末位 \(\ell(\pi)\) 之前边际贡献恒为零,使得前序成员均为虚玩家。这种时序前缀刚性导致唯一的非虚玩家天然独占全部边际收益,从而使得对称性公理无需假设即可被完全推导出来。
  • 经典凸博弈优良性质在时序维度的彻底失效:在经典博弈中,凸博弈(超模博弈)的核心永远非空且夏普利值必在核心内。但在 TCG 中,次序依赖打破了这一优美结构——即便博弈满足时序凸性,基条件仍可能因交叉子序列的联合下界约束过紧而退化为空集(Example 4);即使基条件非空,全局最优序列的基解分量仍会低于全排列下的平均贡献,彻底摧毁了夏普利解与核心机制相容的经典常识。

亮点与洞察

  • 解概念的范式转移:从以往广义特征函数文献中“在序列输入上强行做无序输出”的妥协做法中跳出,首次系统性确立了严格时序敏感的序贯解概念体系(\(\Phi\) 空间),填补了时序合作博弈在在线激励相容理论上的空白。
  • 揭示了“事前最优”与“事后边际”的内在对立:论文最深刻的洞察在于证明了:如果你希望一个机制能够在智能体加入过程中持续激励他们走向能够最大化全局福利的唯一最优路径(I4OA),你就必须在次优路径上压制某些智能体的边际分配;而夏普利体系立足于所有可能排列下的无偏边际贡献平均,二者在几何结构上必然冲突,不存在“两全其美”的分配方案。
  • 为强化学习信用分配提供了公理基石:该理论不仅适用于宏观经济学与团队分工,更为多智能体强化学习(MARL)中的动态信用分配提供了明确指导:在具有时序因果链的协作任务中,套用静态夏普利值会导致子优策略次序被过度奖励,必须采用符合 SeqShare 结构的在线边界递增机制。

局限与展望

  • 基条件的非普适性约束:作者承认,基条件的存在性完全取决于博弈特征函数本身,而非解概念能够自主调节;对于基条件为空的 TCG,目前尚不存在能够同时满足 I4OA 与 SE 的机制,如何设计带有松弛惩罚或近似效率的序贯解仍是未解难题。
  • 解的非唯一性收敛空间:SeqShare 描述的是一个可行机制族而非单一确定性数值解,其自由度来源于基解多胞形的选择以及 Improvize 中增量划分的任意性。未来工作亟需引入公平性(如序贯方差最小化)或信息熵最大化公理,以从 SeqShare 族中提炼出唯一的典范解概念。
  • 计算复杂度与状态爆炸:序列状态空间随智能体数量呈阶乘级增长(\(O(n!)\)),对于中大规模多智能体系统,离线判定基条件与在线存储各前缀收益界限面临严重的维数灾难,亟需发展基于时序因果图的紧凑状态近似表征。

相关工作与启发

  • vs Nowak & Radzik (1994) / Sánchez & Bergantiños (1997):经典 GCF 研究虽然开创了定义在序列上的特征函数,但最终构建的解概念均在 \(n!\) 种全排列上进行了平均,退化为无序标量;本文则坚持分配向量必须显式绑定于具体序列 \(\pi\),并在公理中彻底摆脱了对对称性公理的依赖。
  • vs Ge et al. (2024) / Zhang et al. (2025a) 在线合作博弈:现有在线合作博弈仅考虑智能体到达的时间先后,其特征函数仍然是无序集合函数 \(v(S)\);本文将时序性同时推向了特征函数(次序直接改变产出)与解概念两个层面,建立了更完备的时序博弈代数结构。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次确立纯序贯解概念体系,从根本上重塑了广义特征函数博弈的公理基石。
  • 实验充分度: ⭐⭐⭐⭐⭐ 理论证明严丝合缝,载体博弈基底构造精妙,反例构造覆盖一般、凸及简单博弈全谱系。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰,公理化叙述严谨流畅,正反两向推导与几何直觉传达极具启发性。
  • 价值: ⭐⭐⭐⭐⭐ 彻底澄清了时序博弈中夏普利解与动态序贯激励的兼容边界,对博弈论与 MARL 理论均有深远影响。