Strategic Decision Support for AI Agents¶
会议: NeurIPS 2026
arXiv: 2606.12587
OpenReview: https://openreview.net/forum?id=qUvsQBmDZg
代码: https://github.com/nooranisima/strategic-decision-support
领域: 其他
关键词: 决策支持、大模型智能体、不确定性量化、选择性求助、在线校准
一句话总结¶
针对大模型智能体在人机协作与工具调用中盲目自信或过度求助的痛点，本文提出了逆向决策支持框架与在线监督算法 SOS，在无分布假设下通过随机探索与重要性加权分位数追踪严格控制反事实漏求助误差，以极低求助率实现可靠决策。
研究背景与动机¶
传统的决策支持系统（Decision Support Systems）主要研究人类决策者如何利用机器学习模型作为辅助工具来优化决策，其中模型通常易于并发调用且成本低廉，但容易产生错误。然而，在以大语言模型为主导的现代智能体系统中，这种主从角色发生了根本性逆转：AI 智能体正越来越多地作为自主行动者代表用户执行复杂决策，而人类专家、领域工具和外部信息检索反而成为了环绕在智能体周围的昂贵支持机制。随着智能体在金融交易、系统运维和临床辅助等高风险场景中被赋予实际行动权，其决策失误往往会引发不可逆的严重后果，因而系统必须在行动前准确识别何时能够独立行动、何时必须向外部寻求支持。
这种角色逆转暴露出两个深层次的核心矛盾。其一是成本与价值的权衡错位：外部支持（如专家人工复核、多轮追问或复杂工具执行）通常伴随着极高的延迟、计算开销或人力成本，导致智能体无法无节制地频繁调用支持，但支持本身又具有决定性的纠错价值；其二是传统不确定性量化的视角偏差：经典方法多局限于评估智能体自身的置信度或任务本身的困难度，但高置信度的智能体常常在幻觉或认知盲区下给出自信的错误结论，真正需要量化的是“外部昂贵支持能否实质性改善该实例的最终输出”。更具挑战性的是，这种支持收益具有本质上的反事实特性——系统只有在真正调用了支持时才能观测到支持是否起效，若智能体选择独立行动，则无法得知支持是否本该挽回潜在错误。
面对这种部分可观测的非对称风险，本文的切入角度是将求助决策重构为一个受约束的战略决策优化问题（SDS-Opt）：在严格将反事实“漏求助误差”（missed-support error）约束在用户指定水平的前提下，最大程度减少支持机制的调用频率。核心 idea：将智能体求助决策建模为对“支持增益价值”的分位数阈值规则，并提出在线监督算法 SOS，利用自适应随机化探索获取无偏反事实反馈，结合重要性加权阈值更新与实时在线校准，在任意未知数据流上提供有限样本免分布误差控制，大幅削减不必要的支持调用。
方法详解¶
整体框架¶
本文构建的战略决策支持框架将决策过程解耦为“自主初步生成”、“支持价值评估”、“随机化行动决策”与“在线追踪更新”四个连续阶段。对于输入实例 \(x\)，智能体首先可产生独立的无支持输出 \(y_0\)（或仅基于输入表示提前介入）。监督算法维护一个支持价值评分函数 \(s_\theta(x, y_0) \in [0, 1]\) 与动态决策阈值 \(\lambda_t\)。若评分超过阈值，系统以确定性概率调用支持；若评分低于阈值，系统以较小的探索概率 \(\mu\) 随机触发支持，以此打破反事实部分反馈的信息遮蔽。在触发支持的轮次中，系统对比无支持输出 \(y_0\) 与获得支持后的增强输出 \(y_1\)，计算二元增益指标 \(g_t\)。随后，算法利用重要性加权误差信号同时驱动决策阈值的在线分位数自适应修正，并通过在线梯度下降动态更新评分函数的线性探针参数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入任务 x<br/>生成初始输出 y0"] --> B["价值驱动建模<br/>计算支持增益评分 s(x, y0)"]
B --> C["分位数追踪与探索<br/>根据阈值与探索率计算 pt"]
C -->|采样 at = 0 独立行动| D["保留初始输出 y0<br/>系统维持阈值与参数不变"]
C -->|采样 at = 1 调用支持| E["执行外部支持并获得 y1<br/>计算增益指标 gt"]
E --> F["分位数追踪与探索<br/>重要性加权更新决策阈值"]
E --> G["实时在线校准<br/>重要性加权梯度微调评分参数"]
F --> H["产出最终受支持响应"]
G --> H关键设计¶
1. 价值驱动建模：解耦支持价值与调用代价的战略决策优化
针对传统决策支持中将置信度等同于求助时机的缺陷，本文形式化定义了支持价值指标 \(g(X, Y_0, Y_1) \in \{0, 1\}\)，用于刻画外部支持是否对当前实例带来了实质性改进。在客观可验证任务中，\(g=1\) 当且仅当初始输出 \(Y_0\) 错误且受支持输出 \(Y_1\) 正确；在开放式规划任务中，\(g=1\) 则对应输出方案的序列重叠度或质量超越预设门限。在此基础上，定义实例级支持价值函数： $\(\operatorname{val}(x, y_0) := \mathbb{P}\big(g(X, Y_0, Y_1) = 1 \mid X = x, Y_0 = y_0\big)\)$ 为了解决“漏求助”（即本该通过支持纠正错误却选择独立行动）带来的严重非对称损失，框架提出了优化问题 SDS-Opt：以极小化全局支持调用率 \(\mathbb{E}[a(X, Y_0)]\) 为目标，同时严格施加反事实漏求助误差约束： $\(\mathbb{P}\big(a(X, Y_0) = 0 \mid g(X, Y_0, Y_1) = 1\big) \le \varepsilon\)$ 理论分析证明，该优化问题的最优策略在总体层面上必然呈现为关于支持价值 \(\operatorname{val}(x, y_0)\) 的阈值截断规则，从而确立了以预测支持价值为核心的理论基石。
2. 分位数追踪与探索：重要性加权控制反事实漏求助误差
在真实在线交互流中，数据分布未知且非平稳，更为关键的是，指标 \(g_t\) 仅在系统实际调用支持（\(a_t = 1\)）时才可被观测，这构成了典型的部分反馈结构。为克服反馈偏差并消除分布假设，算法引入探索概率 \(\mu \in (0, 1)\)，将求助概率设计为混合策略： $\(p_t := \mu + (1 - \mu)\mathbf{1}\{s_t \ge \lambda_t\}\)$ 当评分 \(s_t \ge \lambda_t\) 时，系统确定性调用支持（\(p_t = 1\)）；当评分低于阈值时，系统仍以概率 \(\mu\) 随机探索，保证对反事实潜在收益的主动采样。在获得支持反馈的轮次中，算法利用重要性加权因子 \(\frac{a_t}{p_t}\) 消除抽样偏差，并以步长 \(\eta_t\) 推进在线分位数跟踪： $\(\lambda_{t+1} \leftarrow \lambda_t - \eta_t \frac{g_t a_t}{p_t} \Big[ (1 - p_t)\mathbf{1}\{s_t < \lambda_t\} - \alpha \Big]\)$ 式中括号内项反映了当前实现的漏求助倾向与目标误差界 \(\alpha\) 的差值。理论证明表明，该更新规则在任意有限交互步长 \(T\) 下，均能以至少 \(1-\delta\) 的概率保证经验漏求助误差 \(\widehat{\mathrm{MSE}}(T) \le \alpha + \mathcal{O}(1/(\eta N_g) + 1/\sqrt{\mu N_g})\)，实现了免分布的严格统计风险控制。
3. 实时在线校准：自适应修正支持价值预测评分
虽然固定的启发式评分结合上述阈值更新同样能够实现严格的误差控制，但若评分与真实增益 \(\operatorname{val}(x, y_0)\) 脱节，阈值追踪机制将被迫通过大幅提高调用频率来满足约束。为了最大限度提升求助效率，算法引入在线参数校准机制。本文设计了三类评分架构：纯黑盒模型自评置信度（Confidence）、基于冻结特征表示的线性探针（Representation，评分形式为 \(\sigma(\theta^\top \phi(x))\)）、以及融合黑盒置信度与残差自适应的锚定评分（Anchored，形式为 \(\sigma(\operatorname{logit}(\hat{g}_{\text{bb}}) + \theta^\top \phi(x))\)）。在触发支持后，算法利用观测到的二元标签 \(g_t\)，以重要性加权均方误差对参数进行流式梯度下降更新： $\(\theta_{t+1} \leftarrow \theta_t - \gamma_t \frac{a_t}{p_t} \nabla_\theta \left( s_\theta(x_t, y_0^t) - g_t \right)^2 \Big|_{\theta = \theta_t}\)$ 这一机制使得系统能够在在线交互过程中自动重构特征空间中的分类超平面，有效拉开 \(g=0\) 与 \(g=1\) 的得分分布，从而在保持相同误差上限的前提下成倍降低不必要的支持调用。
损失函数 / 训练策略¶
该框架采用完全流式（fully online）的学习与控制机制，无需离线校准集或离线微调阶段。在线运行过程中，阈值步长 \(\eta_t\) 与参数学习率 \(\gamma_t\) 设为常数。对于评分函数参数 \(\theta\)，更新损失采用在线加权 Brier 分数（平方误差损失）： $\(\mathcal{L}_t(\theta) = \frac{a_t}{p_t} \big( s_\theta(x_t, y_0^t) - g_t \big)^2\)$ 梯度计算仅涉及顶层线性探针权重，反向传播开销可忽略不计。此外，消融研究证实直接基于输入 prompt 的表示 \(\phi(x)\) 进行打分与联合 \((x, y_0)\) 打分具有相当的高效率，允许系统在耗费大模型生成完整初始响应之前即完成战略求助仲裁，进一步节省了端到端推理算力。
实验关键数据¶
主实验¶
实验跨越四大典型智能体应用场景进行全方位评估：信息收集（DDXPlus 医学诊断，支持为追问/检验结果）、工具调用（WikiSQL 表格查询，支持为 SQL 生成与执行）、人机协作规划（VirtualHome 具身家政，支持为场景环境约束提示）、以及人机协同推理（MATH 竞赛高难数学题，支持为更强大模型 DeepSeek 针对难点的靶向提示）。基础智能体覆盖开源白盒模型 Qwen-2.5-7B 以及闭盒前沿模型 Gemini-2.5-Flash 与 GPT-4o-mini。基线采用智能体完全自主决定是否求助的 LLM-Decides，并将 SOS 的目标误差界 \(\alpha\) 严格对齐至该基线所达到的漏求助误差率，以此公平比对两者在控制相同风险下的支持调用率（Support Rate, SR）。
| 基础模型 | 任务场景 (Dataset) | 初始精度 \(y_0\) | 支持精度 \(y_1\) | 支持潜在增益 \(\mathbb{P}(g=1)\) | 基线求助率 (LLM SR) | 基线漏求助率 (LLM MSE) | 本文求助率 (SOS SR) |
|---|---|---|---|---|---|---|---|
| Qwen-2.5-7B | DDXPlus (信息收集) | 37.4% | 36.9% | 0.106 | 23.4% | 0.708 | 13.2% |
| Qwen-2.5-7B | WikiSQL (工具调用) | 60.2% | 74.4% | 0.240 | 76.4% | 0.108 | 32.5% |
| Qwen-2.5-7B | VirtualHome (具身规划) | 8.4% | 9.6% | 0.416 | 42.4% | 0.577 | 28.1% |
| Qwen-2.5-7B | MATH (协同推理) | 57.4% | 66.6% | 0.168 | 28.4% | 0.714 | 18.7% |
| Gemini-2.5-Flash | DDXPlus (信息收集) | 49.8% | 76.5% | 0.341 | 47.1% | 0.528 | 22.4% |
| Gemini-2.5-Flash | WikiSQL (工具调用) | 63.4% | 76.5% | 0.190 | 45.7% | 0.425 | 24.6% |
| Gemini-2.5-Flash | VirtualHome (具身规划) | 13.6% | 20.0% | 0.514 | 63.2% | 0.342 | 41.3% |
| Gemini-2.5-Flash | MATH (协同推理) | 90.8% | 92.2% | 0.042 | 65.4% | 0.143 | 15.2% |
| GPT-4o-mini | DDXPlus (信息收集) | 44.1% | 54.7% | 0.203 | 54.0% | 0.276 | 26.8% |
| GPT-4o-mini | WikiSQL (工具调用) | 70.8% | 79.3% | 0.167 | 30.0% | 0.633 | 19.5% |
| GPT-4o-mini | VirtualHome (具身规划) | 15.0% | 25.8% | 0.614 | 48.6% | 0.463 | 35.1% |
| GPT-4o-mini | MATH (协同推理) | 60.6% | 68.4% | 0.130 | 53.4% | 0.369 | 22.9% |
消融实验¶
消融实验深入验证了探索参数 \(\mu\) 的理论收敛折损效应，以及评分设计输入来源对整体决策效能的影响。在 GPT-4o-mini + DDXPlus 任务（固定步长 \(\eta=0.015, \lambda_0=0.5\)）上对 \(\mu\) 进行系统扫描；在 Gemini-2.5-Flash + DDXPlus 上系统评估评分输入端特征的有效性。
| 消融维度 | 配置选项 | 漏求助收敛性 (MSE 达标) | 支持调用率 (SR) | 机制说明与经验分析 |
|---|---|---|---|---|
| 探索概率 \(\mu\) | \(\mu = 0.05\) | 达标 (收敛波动大) | 18.2% | 探索度极低，支持开销最小，但在初期遭遇样本方差大引起的追踪抖动 |
| 探索概率 \(\mu\) | \(\mu = 0.10\) (默认推荐) | 达标 (平稳收敛) | 22.5% | 最佳平衡点，满足有限样本界的同时将额外无效支持调用降至极低 |
| 探索概率 \(\mu\) | \(\mu = 0.30\) | 达标 (快速平滑) | 36.4% | 误差控制更加严格紧凑，但因基底随机探索率提升而增大调用负担 |
| 探索概率 \(\mu\) | \(\mu = 0.60\) | 达标 (极其平滑) | 62.1% | 强制探索占据主导，过高无谓求助侵蚀了决策支持的优化收益 |
| 评分输入端特征 | 仅输入提示词 \(s_\theta(\phi(x))\) | 达标 (误差严格受控) | 22.4% | 最佳性价比，无需等待生成初始 \(y_0\)，大幅减少端到端计算延迟 |
| 评分输入端特征 | 输入与初始输出 \(s_\theta(x, y_0)\) | 达标 (误差严格受控) | 22.1% | 效果与仅用输入相当，额外生成 \(y_0\) 并未显著补充增益判别信息 |
| 评分输入端特征 | 仅初始输出 \(s_\theta(y_0)\) | 达标 (误差严格受控) | 38.9% | 剔除输入特征后判别能力大幅衰退，被迫提高调用率以满足误差约束 |
| 评分架构族 | Confidence (未校准置信度) | 达标 (波动剧烈) | 46.8% | 原始置信度对 \(g\) 区分度低，在 WikiSQL 等任务上甚至差于自主决定 |
| 评分架构族 | Anchored-Gemini (带校准残差) | 达标 (平滑收敛) | 22.4% | 将先验置信度与在线探针融合，在线校准有效拉伸评分分布间距 |
关键发现¶
- 大模型自身难以判别“求助何时有益”：大模型即便在获得支持后能够准确纠偏（如 Gemini 在 DDXPlus 上准确率由 49.8% 跃升至 76.5%），其自主决定求助时却往往表现出严重的盲目自信或过度保守，其自评置信度在 \(g=0\) 与 \(g=1\) 样本上的分布高度重合。
- 在线分位数自适应有效兜底风险：无论评分函数质量优劣，SOS 的重要性加权阈值更新均能在流式交互中收敛至指定的目标漏求助率 \(\alpha\)，理论界与实测收敛曲线高度一致。
- 实时校准成倍削减支持成本：引入特征探针与在线梯度更新后，评分分布在流式进程中自适应分离，使得 Anchored 与 Representation 方案在 12 个任务配置中全线大幅超越原始置信度与 LLM 自主决策，平均削减 30%～50% 的支持开销。
亮点与洞察¶
- 逆向决策支持范式的确立：巧妙将人机决策主从关系反转，从理论上将求助问题严格建模为约束受控的战略优化问题，直击自主智能体部署中最致命的不可靠性与非对称风险。
- 免分布反事实推断闭环：巧妙设计包含随机探索概率的混合策略，利用重要性加权技术化解了“未求助即无法观测真实增益”的反事实部分反馈困境，无需任何独立同分布（i.i.d.）假设。
- 极具工程实用价值的轻量设计：证明了直接基于输入提示词 \(x\) 的预判评分即可逼近全量生成的判断效果，使得该监督层能够以极小的计算与通信开销无缝包裹任意黑盒或白盒智能体。
局限与展望¶
- 二元支持决策与匀质代价假设：目前框架将外部支持简化为单一二元动作，并将调用代价视作均匀常数。在实际工程中，智能体往往面临工具选择树、人工多级升级等多模态复杂支持，且单次调用的 token 成本或响应延迟存在动态异质性。
- 增益指标离散化限制：当前的优化理论建立在二元收益指示器 \(g \in \{0, 1\}\) 之上。未来可进一步推广至连续增益度量（如预期信息增益或实数效用提升），将目标拓展至连续效用风险控制。
- 冷启动阶段的探索代价：在交互初始阶段，算法依赖初始阈值与探索率 \(\mu\) 进行信息搜集，在样本规模较小时容易经历阶段性波动，亟需探索结合离线元学习的暖启动先验方案。
相关工作与启发¶
- vs LLM 自主求助与多轮反思（如 Toolformer, Self-RAG, Star-GATE）：传统方法试图通过微调将求助行为固化至模型参数内部，修改开销大且缺乏形式化统计误差保障；本文作为外挂式监督层，对底层智能体完全免训练适配，并提供严格的有限样本误差控制。
- vs 学习推迟与选择性分类（Learning to Defer / Selective Classification）：经典 L2D 关注将整个任务路由给专家还是模型执行；本文研究的是模型在自身推理链条中引入辅助工具或专家靶向指导以增强自身输出，并创新性地解决了在线反事实部分反馈下的分位数追踪问题。
- vs 保形预测与不确定性量化（KnowNo, Conformal Arbitrage）：KnowNo 等依赖离线留出校准集构建预测集合，面对在线分布漂移与流式场景适应力受限；本文算法原生支持完全在线的自适应追踪与参数流式更新。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [逆向重构人机决策支持主从关系，提出反事实部分反馈下的在线免分布风险控制机制]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖开源与商用四大类任务、三大顶尖基座模型，严谨验证了理论界与经验消融指标]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密精炼，定理证明与算法设计衔接自然，问题动机与实验叙述极具说服力]
- 价值: ⭐⭐⭐⭐⭐ [为 Agentic 系统的安全落地与降本增效提供了坚实可信的统计监督范式，具有极高的工业参考价值]