Regret Minimization in Single-Dimensional Contract-Design with Binary Actions¶
会议: NeurIPS 2026
arXiv: 2606.06125
OpenReview: https://openreview.net/forum?id=ORac1mqJeu
领域: 强化学习
关键词: 在线合同设计, 委托代理问题, 悔值最小化, 非均匀离散化, 随机二分搜索
一句话总结¶
针对隐藏动作且代理人努力成本私有的单维度二元动作在线合同设计,通过将多维合同规约为一维激励间隙、构造与LP几何自适应的非均匀离散化以及设计统计二分搜索与合同鲁棒化机制,分别在对抗类型与固定隐藏类型下实现了与结果空间维度完全无关的 \(\Theta(T^{2/3})\) 和 \(\widetilde{\Theta}(\sqrt{T})\) 紧致悔值界。
研究背景与动机¶
在现代经济学与人工智能多智能体交互中,委托代理问题(Principal-Agent Problem)构成了激励契约机制设计的核心基石。委托人希望通过设计基于可观测结果的支付方案(即合同),激励自利的代理人付出高昂成本采取有利于委托人的行动。然而,现实中的核心难题是双重不可观测性:一方面存在道德风险(Moral Hazard),委托人无法直接监控代理人是否真正付出了努力,仅能观察到受行动概率分布影响的随机结果;另一方面存在逆向选择(Adverse Selection),代理人的真实类型(如每单位努力的边际成本)属于私有信息。随着在线众包平台、去中心化智能合约以及委托大模型智能体执行微调与推理等新兴场景的爆发,委托人必须在对代理人成本结构与行动分布毫不知情的前提下,通过多轮交互从稀疏的结果反馈中在线学习出最优合同。
此前在线合同设计的前沿研究面临着维数灾难与过强分布假设的双重瓶颈。通用在线合同学习的最佳悔值界要么近乎线性,要么随结果数量呈现指数或高阶多项式退化,例如经典基线算法对结果空间大小 \(m\) 的依赖极为敏感(如 \(\widetilde{O}(\sqrt{m}T^{1-1/(2m+1)})\) 或 \(\widetilde{O}(m^2 T^{4/5})\)),在细粒度质量指标或连续结果空间离散化场景下完全失效。为了绕过维数障碍,后续尝试往往不得不引入一阶随机占优(FOSD)、分布函数凹性(CDFP)或代理人类型分布概率密度有界等严苛的正则性假设,不仅限制了适用范围,且未能揭示无额外密度假设下在线合同学习的基本理论极限。
面对这一困境,本文聚焦于经济学中最经典的二元行动(努力或懈怠)与单维度类型(努力成本缩放因子)结构,试图探寻无需任何类型密度假设且彻底摆脱结果维度依赖的紧致悔值保证。核心 idea:将多维合同优化完全投影到标量支付差额的一维阈值空间,利用最低成本合同线性规划的几何性质构造步长与目标值增量精确对齐的非均匀离散化,并针对固定隐藏类型设计融合统计二分搜索与误差平滑鲁棒化的探测-承诺范式,彻底消除了悔值界对结果维度 \(m\) 的依赖。
方法详解¶
整体框架¶
本文针对单维度二元行动委托代理在线学习问题,委托人在每一轮 \(t \in [T]\) 向类型为 \(\theta_t \in [0,1]\) 的代理人提出合同 \(p_t \in [0,1]^m\)。代理人根据激励兼容(IC)与个人理性(IR)原则,在努力行动 \(a_1\) 与零成本懈怠行动 \(a_2\) 之间做出最优响应,生成随机结果 \(\omega_t \sim F_{a_t}\),委托人仅观测到 \(\omega_t\) 并获得净收益 \(r_{\omega_t} - p_{t,\omega_t}\)。整个算法架构针对对抗型类型序列与固定隐藏类型分别提出了两套紧致算法体系:对于对抗序列,核心在于通过一维规约将多维连续合同空间压缩为标量激励间隙 \(\lambda\),并设计 \(O(\epsilon^{-1})\) 规模的非均匀离散化网格匹配极小化极大对抗多臂赌博机;对于固定隐藏类型,核心在于利用阈值测试统计量进行多阶段随机二分搜索,并在最终阶段引入鲁棒化平滑收敛。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["环境设定与双元行动模型<br/>输入公共分布 Fa1, Fa2 与回报向量 r"] --> B["激励间隙参数化与一维等价规约<br/>将合同 p 投影到标量 λ 并求解极小化支付 LP f(λ)"]
B --> C{"类型序列环境判定"}
C -->|对抗类型序列| D["非均匀离散化网格构造<br/>基于 f(λ) 水平集生成步长自适应的 O(1/ε) 个合同臂"]
D --> E["对抗赌博机极小化极大策略<br/>部署 INF/Exp3 算法实现 O(T^(2/3)) 紧致悔值"]
C -->|固定隐藏类型| F["低悔值阈值探测与统计二分搜索<br/>基于集中不等式以 O(exp(-n||Fa1-Fa2||_1^2)) 误差定位 θ"]
F --> G["合同鲁棒化承诺机制<br/>注入 α 项平滑截断误差,实现 O~(T^(1/2)) 紧致悔值"]
关键设计¶
1. 激励间隙参数化与一维等价规约:突破多维结果空间维度灾难 多维合同空间 \([0,1]^m\) 随结果数量 \(m\) 呈几何膨胀,直接在连续多维空间上进行网格搜索会导致指数级样本复杂度。本文观察到,在二元行动 \(a_1\) 与 \(a_2\) 下,代理人是否选择付出高努力 \(a_1\) 完全取决于期望支付差额 \(\lambda_p := (F_{a_1} - F_{a_2})^\top p\) 是否足以覆盖努力成本 \(\theta C_{a_1}\)。具体而言,当且仅当 \(\theta \le \tilde{\theta}_{\max}(\lambda_p) = \lambda_p / C_{a_1}\) 时,代理人理智选择 \(a_1\)。在固定激励水平 \(\lambda\) 下,委托人为诱导类型 \(\theta \le \lambda / C_{a_1}\) 付出努力,最优策略必然是支付成本最低的合同,这等价于求解如下关于 \(\lambda\) 的一维参数化线性规划: $\(f(\lambda) := \min_{p \in \mathcal{P}_1} F_{a_1}^\top p \quad \text{s.t.} \quad (F_{a_1} - F_{a_2})^\top p = \lambda\)$ 其中 \(\mathcal{P}_1 = \{p \in [0,1]^m : F_{a_1}^\top (r-p) \ge F_{a_2}^\top (r-p)\}\) 为诱导 \(a_1\) 有利可图的合同集合。通过这一转化,委托人的期望效用函数被完全重写为仅依赖于标量 \(\lambda \in [0, (F_{a_1}-F_{a_2})^\top r]\) 的一维形式: $\(\widetilde{U}^P(\lambda, \theta) = \mathbb{I}\{\theta \le \lambda / C_{a_1}\} \left((F_{a_1} - F_{a_2})^\top r - \lambda\right) + F_{a_2}^\top r + \lambda - f(\lambda)\)$ 从而证明了寻找最优多维合同等价于在一维标量区间 \([0, \bar{\lambda}]\) 内进行阈值优化,从根本上剥离了多维空间对算法探索复杂度的直接影响。
2. 基于线性规划几何结构的非均匀离散化:消除非Lipschitz目标的误差放大 尽管目标函数成功降至一维,但一维目标函数关于 \(\lambda\) 并不具备常数级的 Lipschitz 连续性——由于线性规划的最优值函数 \(f(\lambda)\) 的导数(即对偶变量)取决于起作用约束的几何斜率,局部变化率可能随环境参数剧烈震荡,使得标准均匀网格划分产生不可控的近似误差。为此,本文反其道而行之,利用 \(f(\lambda)\) 在定义域内的严格单调递增性、连续性与凸性,提出了基于函数值水平集的非均匀离散化策略。令 \(\lambda^{(0)} = 0\),对 \(n \ge 1\) 递归寻找满足函数值精确递增 \(\epsilon\) 的下一个断点: $\(\lambda^{(n+1)} = \inf \left\{\lambda \ge \lambda^{(n)} : f(\lambda) = f(\lambda^{(n)}) + \epsilon\right\}\)$ 由于 \(f(\lambda) \in [0,1]\),所生成的离散网格 \(\Lambda^{(\epsilon)}\) 包含的点数严格满足 \(|\Lambda^{(\epsilon)}| \le \frac{1}{\epsilon} + 1\)。更为关键的是,对于任意两个相邻点 \(\lambda_1 \le \lambda_2\),效用函数的最大单调扰动受制于 \(f(\lambda_2) - f(\lambda_1) \le \epsilon\)。将这组离散激励间隙对应的最优极小合同映射为有限个赌博机动作臂 \(\mathcal{P}^{(\epsilon)}\),离散化近似误差被精确控制在 \(T\epsilon\) 以内。结合有限臂对抗赌博机的 Minimax 最优策略(如 INF / Exp3)所保证的 \(O(\sqrt{|\mathcal{P}^{(\epsilon)}| T})\) 探索悔值,当设定平衡步长 \(\epsilon = T^{-1/3}\) 时,系统整体累积悔值即严格达到 \(O(T^{2/3})\),且该界完全不含 \(m\)。
3. 统计二分搜索与合同鲁棒化承诺:在固定隐藏类型下加速至次线性最优阶 当面对长期固定但私有的单代理人类型 \(\bar{\theta}\) 时,对抗环境的全局随机试探会造成过度探索。本文提出基于“阈值检验-二分搜索-鲁棒化承诺”的全新探测范式。首先,通过求解线性规划确定委托人愿意激励努力的最高收益类型临界点 \(\theta_{\text{lazy}}\);若代理人属于懈怠类型(\(\bar{\theta} > \theta_{\text{lazy}}\)),则长期承诺零支付合同即可达到最优。若 \(\bar{\theta} \le \theta_{\text{lazy}}\),算法在区间 \([0, \theta_{\text{lazy}}]\) 内展开 \(L = O(\log T)\) 轮随机二分搜索。在每一轮测试中,算法提出与当前中点 \(\hat{\theta}_l\) 对应的临界合同 \(p^*_{\hat{\theta}_l}\),并在 \(n\) 轮内收集结果样本构造充分统计量: $\(Z_l = \frac{1}{n} \sum_{i=1}^n \mathbb{I}\{\omega_i^{(l)} \in \Omega_1\}, \quad \Omega_1 = \{\omega \in \Omega : F_{a_1,\omega} > F_{a_2,\omega}\}\)$ 将 \(Z_l\) 与理论判别门限 \(\tau = \frac{1}{2} \sum_{\omega \in \Omega_1}(F_{a_1,\omega} + F_{a_2,\omega})\) 进行比较。依托 Hoeffding 集中不等式,该测试判别代理人真实类型位于中点左侧或右侧的失误概率以指数速率 \(O(\exp(-n \|F_{a_1} - F_{a_2}\|_1^2 / 8))\) 极速衰减,且单轮探索中因合同邻近性带来的瞬时悔值严格上界于 \(O(\|F_{a_1}-F_{a_2}\|_1)\)。在最终定位到宽度为 \(2^{-L}\) 的置信区间后,为防止微小估计偏差导致代理人行动突变为懈怠,算法在利用阶段并不直接执行标称最优合同,而是执行注入平滑缓冲的鲁棒化合同: $\(\tilde{p} = p^*_{\hat{\theta}_L} + \alpha (r - p^*_{\hat{\theta}_L}), \quad \alpha = \sqrt{2^{-L}}\)$ 鲁棒化保证了对于置信区间内的任意微扰类型,代理人均能稳定选择努力行动,将利用阶段单轮悔值压制在 \(O(2^{-L}\alpha^{-1} + \alpha) = O(\sqrt{2^{-L}})\) 之内。通过对参数 \(L \approx \log T\)、\(n \approx \|F_{a_1}-F_{a_2}\|_1^{-2} \log T\) 的全局协同优化,最终实现了紧致的 \(\widetilde{O}(\sqrt{T})\) 悔值。
损失函数 / 训练策略¶
在对抗类型序列设定下,算法无需参数训练,而是将离散网格 \(\mathcal{P}^{(\epsilon)}\) 作为有限个离散臂,调用具有极小化极大无悔保证的对抗赌博机算法(如 Audibert & Bubeck 提出的隐式归一化预测器 INF 算法)。在每一轮 \(t\),算法根据历史观测结果更新各个合同臂的经验效用估计与权重分布,采样选出合同 \(p_t \in \mathcal{P}^{(\epsilon)}\) 提交给代理人。而在固定隐藏类型设定下,训练执行严格的两阶段“探索-随后-承诺”(Explore-then-Commit)策略:前阶段为确定性轮数的二分检验与统计判别,后阶段锁定单一鲁棒化静态合同直至交互结束。
实验关键数据¶
主实验¶
论文对所提出的上界给出了理论分析与匹配的极小化极大下界证明,并与现有前沿在线合同设计算法在理论悔值阶数、结果维度依赖度及结构假设要求上进行了全方位主对比:
| 算法 / 理论方法 | 会议 / 来源 | 动作空间 | 合同类别 | 结果空间依赖 (\(m\)) | 类型分布假设 | 累计悔值上界 \(R_T\) | 下界匹配性 |
|---|---|---|---|---|---|---|---|
| Zhu et al. (2023) | EC 2023 | 任意 \(n\) | 有界通用合同 | \(O(\sqrt{m})\) | 无分布假设 | \(\widetilde{O}(\sqrt{m} T^{1 - 1/(2m+1)})\) | \(\Omega(T^{1 - 1/(2m+1)})\) (匹配) |
| Zhu et al. (2023) | EC 2023 | 任意 \(n\) | 线性合同 (Linear) | 无直接指数依赖 | 无分布假设 | \(\widetilde{\Theta}(T^{2/3})\) | \(\Omega(T^{2/3})\) (仅限线性) |
| Bacchiocchi et al. (2023) | ICLR 2024 | 二元动作 \(n=2\) | 有界通用合同 | \(O(m^2)\) 多项式依赖 | 无分布假设 | \(\widetilde{O}(m^2 T^{4/5})\) | 未达到匹配 |
| Chen et al. (2024) | EC 2024 | 任意 \(n\) | 有界通用合同 | \(O(m^{11/21})\) | 需 FOSD 与 CDFP 结构性分布假设 | \(\widetilde{O}(m^{11/21} T^{20/21})\) | 未达到匹配 |
| Bernasconi et al. (2025) | SODA/arXiv | 单维度多动作 | 有界通用合同 | \(\text{poly}(m)\) | 需类型概率密度有界 (\(\le \beta\)) | \(\widetilde{O}(\beta \text{poly}(n,m) T^{3/4})\) | 依赖密度常数 \(\beta\) |
| 本文算法 (对抗类型) | NeurIPS 2026 | 二元动作 \(n=2\) | 有界通用合同 | 完全无依赖 \(O(1)\) | 无任何有界密度假设 (任意对抗序列) | \(\Theta(T^{2/3})\) | \(\Omega(T^{2/3})\) (绝对连续分布紧致匹配) |
| 本文算法 (固定类型) | NeurIPS 2026 | 二元动作 \(n=2\) | 有界通用合同 | 完全无依赖 \(O(1)\) | 单隐藏私有类型 \(\bar{\theta} \in [0,1]\) | \(\widetilde{\Theta}(\sqrt{T})\) | \(\Omega(\sqrt{T})\) (2实例测度变换紧致匹配) |
消融实验¶
针对理论机制中核心技术组件(离散化范式、统计判别量设计、鲁棒化缓冲区及环境极值情况)的消融与鲁棒性分析如下:
| 配置 / 机制变体 | 离散化网格规模 | 结果依赖度 (\(m\)) | 迫近与近似误差 | 单轮利用阶段悔值 | 最终累积悔值保障 | 机制有效性与理论结论 |
|---|---|---|---|---|---|---|
| 标准均匀离散化网格 (\(\lambda \in [0,\bar{\lambda}]\)) | \(O(\epsilon^{-1})\) | 依赖 \(m\) (由对偶变量界决定) | 无法控制 (非Lipschitz常数爆炸) | 不适用 | \(O(T)\) 线性退化 | 证实均匀网格无法摆脱非Lipschitz带来的维数放大 |
| 本文非均匀离散化 (基于 \(f(\lambda)\)) | \(O(\epsilon^{-1})\) | 严格无依赖 \(O(1)\) | 严格上界为 \(\epsilon T\) | 不适用 | \(O(T^{2/3})\) | 自适应吸收LP多面体几何斜率突变,实现最优率 |
| 全局经验分布估计检验 (全分量 TV 距离) | 不适用 | 依赖 \(\text{poly}(m)\) | 检验样本需 \(O(m/\epsilon^2)\) | 不适用 | 悔值随 \(m\) 严重恶化 | 证实全分布拟合是维数灾难根源 |
| 本文标量投影统计量 \(Z_l\) (仅限 \(\Omega_1\)) | 不适用 | 严格无依赖 \(O(1)\) | 误差率 \(O(e^{-n\|F_{a_1}-F_{a_2}\|_1^2})\) | 不适用 | \(\widetilde{O}(\sqrt{T})\) | 标量投影测试直接规避了多维概率单纯形估计 |
| 标称二分估计直接承诺 (\(p^*_{\hat{\theta}_L}\), \(\alpha=0\)) | 不适用 | 无依赖 | 不适用 | \(O(1)\) (微小扰动致使行动骤变) | \(O(T)\) 严重退化 | 缺乏鲁棒性导致置信区间边缘发生悬崖式掉点 |
| 鲁棒化合同平滑承诺 (\(\alpha = \sqrt{2^{-L}}\)) | 不适用 | 无依赖 | 不适用 | \(O(\sqrt{2^{-L}}) \approx O(T^{-1/2})\) | \(\widetilde{O}(\sqrt{T})\) | 以极低效用贴现代价确保邻域内激励兼容稳定 |
| 临界不可区分退化情境 (\(\|F_{a_1}-F_{a_2}\|_1 \le T^{-1/2}\)) | 不适用 | 无依赖 | 不适用 | \(O(\|F_{a_1}-F_{a_2}\|_1)\) | 恒定零合同直接达 \(O(\sqrt{T})\) | 理论分支完整封闭,无需进行盲目探索 |
关键发现¶
- 维数无关性的根源在于决策边界的单调结构:二元行动下,虽然支付合同处于 \(m\) 维连续空间,但代理人决策仅受标量投影值 \(\lambda = (F_{a_1} - F_{a_2})^\top p\) 驱动,最优合同搜索问题本质上是一维阈值搜索,因而理论上天然具备摆脱结果空间维数 \(m\) 的拓扑潜力。
- 非均匀离散化破解了非Lipschitz目标函数的瓶颈:传统无悔算法要求奖励函数关于动作满足 Lipschitz 连续性,而合同设计中线性规划值函数 \(f(\lambda)\) 的局部变化率由活跃基约束决定,斜率可能无限大。通过按函数值变化等距提取断点,在几何上巧妙化解了局部导数奇异性问题。
- 固定类型下存在从 \(T^{2/3}\) 到 \(\sqrt{T}\) 的本质相变:在对抗序列中,由于环境可任意切换代理人成本,算法必须持续保持探索,因此 \(T^{2/3}\) 是由信息论极限决定的紧致下界;而当面对单一固定隐藏类型时,通过主动信息搜集进行二分测试可在对数阶段内完成定位,结合合同鲁棒化平滑技术,成功跨越到经典参数估计的 \(\widetilde{O}(\sqrt{T})\) 极速界。
亮点与洞察¶
- 线性规划反向离散化的高妙构造:以往连续空间赌博机多依赖输入参数空间的均匀剖分,而本文敏锐察觉到效用函数的变化率完全被对偶 LP 的目标值 \(f(\lambda)\) 严格控制,从而创造性地通过 \(f(\lambda)\) 的水平集进行反向网格划分,既将动作臂数量严格压缩至 \(O(\epsilon^{-1})\),又完全抵消了近似误差对 \(m\) 的依赖。
- 探测合同与低悔值特性的精巧统一:在固定类型的二分搜索阶段,测试合同本身即为各候选阈值的最优合同,其带来的瞬时偏差被两行动的 \(L_1\) 分布距离天然约束,实现了“边探索边维持高收益”,彻底颠覆了传统主动学习中探索阶段必然承受大悔值的刻板印象。
- 连续动作空间下的测度变换下界技术:针对连续动作与反馈-收益非对齐的特殊难题,下界证明并未依赖传统的离散臂点测度构造,而是通过连续动作空间上的 KL 链式法则与局部紧支撑微扰构造,成功证明了即使在类型分布绝对连续且极度平滑的良好情形下,\(\Omega(T^{2/3})\) 的悔值下界依然不可避免。
局限与展望¶
- 局限于二元动作设定:本工作高度依赖于“单次行动选择要么努力、要么懈怠”的二元假设。当动作数量 \(n \ge 3\) 时,代理人类型空间将被多条超平面分割为网格状的多面体激励区域,一维规约将不再成立,能否在多动作下维持与结果数 \(m\) 无关的悔值界仍是悬而未决的开放问题。
- 静态固定与完全对抗的两极分化:当前理论刻画了完全对抗(\(\Theta(T^{2/3})\))与绝对静态(\(\widetilde{\Theta}(\sqrt{T})\))两类极端情境,尚未覆盖介于两者之间的现实场景,例如代理人类型呈现低速漂移(Slowly Drifting Types)或具有马尔可夫演化规律的非平稳环境。
- 对公共环境先验的依赖:算法默认行动的先验结果概率分布 \(F_{a_1}, F_{a_2}\) 为公共已知参数,仅类型与努力程度私有;在分布本身未知且需要纯从强化学习经验中估计的端到端未知环境中,探索难度与悔值下界仍需进一步探索。
相关工作与启发¶
- vs Zhu et al. (EC 2023):Zhu 等人奠定了在线合同学习的先河,但在通用合同下依赖多维空间网格化,导致悔值界随结果维度 \(m\) 呈指数恶化,且线性合同虽可达到 \(T^{2/3}\) 但牺牲了合同表达力;本文在二元行动下证明通用有界合同同样能以 \(O(T^{2/3})\) 学习,且彻底摆脱了对 \(m\) 的依赖。
- vs Bacchiocchi et al. (ICLR 2024):Bacchiocchi 等人专门针对常数动作规模给出了多项式依赖界 \(O(m^n T^{4/5})\),在 \(n=2\) 时其悔值阶为 \(T^{4/5}\) 且依赖 \(m^2\);本文将悔值阶数从 \(T^{4/5}\) 显著优化至理论最优的 \(T^{2/3}\),并将 \(m\) 的多项式系数彻底抹除为常数 \(O(1)\)。
- vs Bernasconi et al. (2025):Bernasconi 等人引入了类型概率密度严格有界的强假设来控制网格离散化误差;本文给出了肯定的回答,证明即使在完全任意的对抗类型序列下,无需任何概率密度有界约束亦可实现次线性无悔学习。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 创新性地提出基于LP几何性质的一维非均匀水平集离散化,并结合鲁棒化二分搜索,彻底攻克了维数灾难。
- 实验充分度: ⭐⭐⭐⭐⭐ 理论证明完备且严密,上下界在对抗设定 \(\Theta(T^{2/3})\) 与固定设定 \(\widetilde{\Theta}(\sqrt{T})\) 下均达到完全匹配。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述极为清晰,动机充分,从问题规约到技术细节层层递进,数学逻辑自洽严谨。
- 价值: ⭐⭐⭐⭐⭐ 为算法合同理论与在线激励机制设计树立了里程碑式的理论基准,对委托智能体与在线众包激励机制具有深远指导意义。