ProactBench: Beyond What The User Asked For¶

会议: NeurIPS 2026
arXiv: 2605.09228
OpenReview: https://openreview.net/forum?id=n38rkZrrzQ
代码: https://anonymous.4open.science/r/ProactBench-81A3/README.md
领域: 其他
关键词: 大语言模型评测, 对话主动性, 阶段化触发, 主动恢复, 多智能体评测

一句话总结¶

ProactBench 提出了首个将对话主动性解耦为三个阶段化触发类型（渐显推断 Emergent、临界综合 Critical、任务收尾后恢复 Recovery）的多轮对话基准，通过 Planner-User-Assistant 三智能体非对称架构消除风格与评分偏见，评测 16 个前沿与开源模型揭示出 Recovery 能力与现有主流基准严重解耦且全行业存在普遍政策短板。

研究背景与动机¶

当前大语言模型的主流基准评测大多局限于被动响应范式：用户提出明确请求，模型负责给出精准答案。无论是 MMLU、GPQA、AIME 等知识与推理基准，还是 SWE-bench、LiveCodeBench 等代码任务，乃至 MT-Bench、WildBench 与 Chatbot Arena 等多轮对话评测，本质上均遵循“指令即边界”的被动服从模式。然而，在真实人机协作与日常对话中，人类用户极少能在初始指令中穷尽所有现实约束、隐式依赖、下游风险或后续步骤；最有价值的智能辅助往往来自于模型敏锐捕捉用户并未明说的隐式需求并主动付诸行动。

现有研究对于这一能力的定义长期处于模糊状态，极易将其与常规的指令遵循、澄清式提问或空洞客套混为一谈。当任务已经明确，模型遵照执行只是被动服从；针对用户已提供的信息反复追问不仅不属于主动性，反而是低效的打扰；而诸如“如有需要请随时告诉我”之类的礼貌套话，更无法提供任何基于对话上下文落地的实际增益。真正的对话主动性，要求模型基于对话中零散披露的事实锚点推断出未言明的深层诉求，或者在用户发出任务完成信号后，结合先前披露的细节主动补全具有前瞻性的高价值下游建议。更深层的评测阻碍在于评测机制的系统性偏见：若不对对话各方施加信息隔离，评测极易受到用户沟通风格干扰、评分准则泄露或信息倾倒导致的上下文污染。

面对上述挑战，本文将对话主动性拆解为与对话进程紧密绑定的阶段化演进过程，构建了一套兼具严密隔离与心理测量学支撑的多智能体基准。核心 idea：将对话主动性形式化为渐显推断（Emergent）、临界综合（Critical）与收尾恢复（Recovery）三个阶段化触发类型，依托 Planner、User Agent 与 Assistant Model 之间的信息非对称架构消除风格与评分偏见，建立首个衡量大模型超越用户显式指令推断并解决隐式需求能力的评测基准 ProactBench。

方法详解¶

整体框架¶

ProactBench 旨在评测大语言模型在多轮对话中捕捉隐式信息并主动提供增值建议的能力。系统整体由四大核心实体协同运作：负责对话全局把控与准则生成的规划器（Planner）、负责对话表面风格渲染的用户代理（User Agent）、接受评测的助手模型（Assistant Model）以及保障评测一致性的离线裁判（Offline Judge）。输入端结合了基于真实人口统计学特征的合成画像与心理测量学沟通风格；输出端则针对特定触发轮次生成具备事实依据（Verbatim Evidence Quote）的三级评分（Pass / Partial / Fail）。

整个评测流程呈现严格的前向单向信息流，旨在通过信息不对称消除风格混淆、准则泄露、外部上下文污染及信息瞬间倾倒等评测漏洞。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实画像与CSI沟通风格<br/>50个用户画像 + 24种CSI风格"] --> B["阶段化主动性触发定义<br/>蓝图编排 + 锚点单步滴漏控制"]
    B --> C["三智能体非对称交互架构<br/>Planner制定策略与前瞻性评分准则"]
    C --> D["用户代理渲染<br/>依据风格生成自然对话消息"]
    D --> E["被测助手模型冷启动交互<br/>仅见对话上下文并生成应答"]
    E --> F["阶段化评测触发窗口<br/>渐显推断 / 临界综合 / 任务后恢复"]
    F --> G["离线裁判与证据化评分<br/>通过 / 部分给分 / 未通过 + 原文引注"]

关键设计¶

1. 阶段化主动性触发机制与三级严密评分：从即时推断到任务后恢复

传统主动性评测通常将主动行为视为单一的静态标量，忽略了对话不同发展阶段对认知能力的不同诉求。ProactBench 将对话主动性显式拆解为三个与轮次阶段严格绑定的触发类型（Trigger Types），每个类型对应不同的推理复杂度与评分门槛： - 渐显推断（Emergent，通常处于第 1–3 轮）：测试模型能否从用户单次披露的单个事实锚点（Anchor）中，推断出未明说的紧迫需求。例如用户随口提及“协调员今天缺席”，高水平的主动响应应当立即指出负责人缺位可能导致的时间表与资源协调风险，而非机械提供常规清单。该触发类型设置高准入门槛（High Bar）。 - 临界综合（Critical，通常处于第 4–7 轮）：测试模型跨多轮对话将分散披露的 2 个及以上锚点进行多信息源综合推导的能力。模型必须将原本互不连贯的事实碎片拼图整合，得出全新的研判结论（High Bar）。 - 任务后恢复（Recovery，通常处于第 8–10 轮）：测试当用户明确发出任务完成信号（如“方案已定稿，今晚发出，明天下班直接装车”）时，模型能否在闭环状态下，敏锐提取早期披露的细节（如两厢车后备箱空间、安装顺序等），主动给出具有落地前瞻性的高价值建议（例如“逆安装顺序装车，后装投影架和接线板以便先取出”）。该类型门槛设定为中等（Moderate Bar），但严厉剔除空洞套话。

在评分机制上，系统采用三级制（Pass = 1.0, Partial = 0.5, Fail = 0.0）。获得 Pass 必须完全达成对应主动性原则；Partial 用于捕捉方向正确但深度受限的有价值尝试；Fail 则涵盖了被动服从、生成空洞套话、事实幻觉或遗漏锚点。

2. 防御四大有效性威胁的三智能体非对称架构：信息隔离与前瞻性评分准则

为了保证多智能体评测的客观性与鲁棒性，基准针对四大潜在有效性威胁（Validity Threats T1–T4）设计了严格的信息不对称隔离体系： - 防风格混淆评分（T1 Style-Confounded Scoring）：若裁判依据用户措辞评分，模型的迎合性语气容易被误判为主动性。为此，Planner 在生成评分准则时完全不可见用户的沟通风格，仅依据事实锚点拟定规则；离线裁判也仅接收清洗后的对话上下文与准则，完全屏蔽风格与画像元数据。 - 防评分准则泄露（T2 Rubric Leakage）：被测助手模型在生成时完全不可见任何评分准则、触发轮次预排或调度逻辑，只能获取真实自然对话历史。 - 防外部上下文污染（T3 External Context Contamination）：在预先构建对话库时，助手模型采用完全冷启动（Cold-start Isolation），严禁接触用户隐式主目标、蓝图或画像，确保沉淀的历史上下文真实反映普通助手视角。 - 防信息瞬间倾倒（T4 Information Dumps）：若多项锚点在同一轮次倾倒，多轮主动性将退化为普通的单轮长文本问答。系统强制推行“锚点滴漏规则”（Anchor-drip Rule），限制用户代理每轮最多披露 1 个主要锚点，确保各触发点严格考察特定信息状态下的推断能力。

此外，所有触发点的评分准则均在模型回答前由 Planner 前瞻性预先固化（Prospective Declaration），且裁判在判分时必须给出理由并强制摘录模型回复中的原文依据（Verbatim Evidence Quote），形成可严密审计的证据链条。

3. 基于心理测量学风格与真实画像的场景构建：风格中立与难度解耦

为了模拟多样化的人类交互行为，评测场景从真实人口统计学分布出发构建。系统从 NVIDIA 开源的 Nemotron-Personas-USA 中抽取 50 组具有代表性的人口画像，覆盖职业、体育健身、文化艺术、旅行探索以及美食烹饪 5 大生活领域。针对每组画像与领域组合，构建包含隐式主目标、表面显式需求、逐步释放锚点以及理想助手轨迹的场景蓝图。

在沟通风格层面，研究借鉴心理测量学中的沟通风格量表（Communication Styles Inventory, CSI），涵盖表现力（Expressiveness）、严谨度（Preciseness）、言语攻击性（Verbal Aggressiveness）、好问性（Questioningness）、情绪化（Emotionality）与印象操纵（Impression Manipulativeness）6 个维度。系统从 $2^6=64$ 种组合中严格筛选保留了 24 种符合心理学自洽性的沟通风格（如简短风格限制在 5–25 词，话痨风格在 40–100 词），使模型在不同交互阻尼与语言面貌下经受考验。

损失函数 / 训练策略¶

作为纯评测基准，本论文不直接引入模型训练损失函数，但构建了严密的离线评测协议（Offline Evaluation Protocol）与项目反应理论（IRT）难度校准模型，并探索了通过准则注入激发模型主动策略的机制：

两阶段离线评测协议：数据整理阶段使用 Gemini-2.5-Pro 在三智能体循环中完成基础多轮对话生成并固化 198 篇对话与 624 个触发点；在评估阶段，所有 16 个待测模型仅在指定的触发轮次重新生成回答，并统一送交 GPT-5.4（及跨家族裁判 Claude-Opus-4.7、Kimi-K2.6）打分，从而保证了评测上下文与准则在所有模型间的绝对可比性。
基于 Laplace 平滑 Logit 的难度回归与策略一致性建模：为消除极端通过率（0% 或 100%）带来的截断效应，系统采用 Laplace 平滑 Logit 转换： $$\ell_{m,c} = \log \frac{k_{m,c} + 0.5}{n_{m,c} - k_{m,c} + 0.5}$$ 其中 $k_{m,c}$ 为模型 $m$ 在配置 $c$（特定沟通风格或阶段）下的通过数，$n_{m,c}$ 为该单元总触发数。进一步将每个模型的得分对全模型平均风格难度 $\bar{\ell}_c$ 进行普通最小二乘回归： $$\ell_{m,c} = a_m + b_m \bar{\ell}_c + \varepsilon_{m,c}$$ 斜率 $b_m$ 刻画了模型对沟通风格难度的敏感度：$b_m \approx 1$ 说明模型性能随风格难易同步变动；$b_m < 1$ 则体现出跨越不同风格的风格一致性策略（Style-Uniform Policy）。
披露距离回归检验：针对长文本检索遗忘假说，定义披露距离 $d = t_{\text{trigger}} - t_{\text{first-disclosure}}$，回归分析表明除个别模型外，绝大多数模型的 Recovery 表现与披露距离无显著负相关，证实该任务瓶颈在于主动行为策略而非注意力检索能力。

实验关键数据¶

主实验¶

论文对 16 个前沿商业模型与开源权重模型进行了全面离线评测，包含约 201 个 Emergent 触发点、232 个 Critical 触发点和 191 个 Recovery 触发点（总计 624 个评测点）。表 1 展示了各模型在三大阶段与整体上的通过率（Pass Rate, %）与加权得分（Weighted Score, %，95% 置信区间基于 1,000 次 Bootstrap 抽样）。

模型	整体通过率 [%]	整体加权分 [%]	渐显推断通过率 (Emergent) [%]	渐显加权分 [%]	临界综合通过率 (Critical) [%]	临界加权分 [%]	任务后恢复通过率 (Recovery) [%]	恢复加权分 [%]
GPT-5.5	61.5 [57.4, 65.4]	69.8	68.7 [62.7, 75.1]	73.1	75.4 [69.8, 80.6]	83.2	37.2 [30.4, 44.0]	50.0
Qwen3.5-397B-A17B	52.5 [48.6, 56.3]	60.6	72.9 [66.3, 78.9]	76.9	63.0 [57.0, 68.7]	73.5	17.0 [12.1, 22.5]	26.6
Claude-Opus-4.7	51.9 [48.1, 55.8]	60.6	72.1 [66.2, 78.1]	78.6	58.6 [52.6, 64.7]	70.5	22.5 [16.8, 28.8]	29.6
Gemini-3.1-Pro	50.4 [46.5, 54.3]	58.3	70.2 [63.1, 76.8]	77.3	65.5 [59.5, 71.6]	76.5	11.5 [7.3, 16.2]	16.5
Qwen3.5-9B	48.0 [43.6, 52.2]	57.0	72.8 [66.1, 78.9]	77.2	51.4 [44.3, 58.4]	64.6	15.4 [10.3, 21.2]	24.7
Kimi-K2.6	47.5 [43.6, 51.6]	54.3	67.4 [60.6, 73.6]	73.1	64.4 [58.2, 70.7]	73.6	7.4 [3.7, 11.6]	12.4
MiMo-V2.5-Pro	44.9 [40.9, 48.8]	52.8	65.7 [59.7, 72.1]	71.6	53.2 [47.2, 59.3]	64.3	13.1 [8.4, 17.8]	19.1
DeepSeek-V4-Flash	44.3 [40.6, 48.2]	53.5	61.7 [55.7, 68.2]	66.7	50.6 [44.2, 57.1]	64.5	18.3 [13.6, 24.1]	26.4
Gemini-2.5-Pro	42.5 [38.5, 46.6]	50.3	66.2 [59.7, 72.1]	73.1	48.3 [41.8, 55.2]	62.1	10.5 [6.3, 14.7]	12.0
o4-mini	38.6 [35.1, 42.8]	47.4	52.7 [46.3, 59.7]	57.7	44.8 [38.4, 51.3]	58.8	16.2 [11.0, 22.0]	22.5
Gemini-2.5-Flash	35.3 [31.4, 38.9]	44.2	60.7 [53.2, 67.2]	65.7	37.9 [31.5, 44.0]	55.0	5.2 [2.6, 8.4]	8.6
GPT-4o	20.5 [17.3, 23.6]	31.3	33.8 [27.9, 40.3]	42.5	18.5 [13.8, 23.7]	36.0	8.9 [5.2, 12.6]	13.9
Llama-4-Maverick	13.1 [10.6, 15.9]	22.5	22.4 [16.4, 28.4]	29.1	14.2 [9.9, 19.0]	31.9	2.1 [0.5, 4.2]	4.2
Qwen2.5-7B-Instruct	11.5 [9.0, 14.1]	21.6	21.9 [15.9, 27.4]	31.8	6.5 [3.9, 9.9]	17.9	6.8 [3.7, 10.5]	15.4
Llama-3.2-8B	11.2 [8.7, 13.6]	20.5	25.9 [19.9, 32.8]	37.3	6.9 [3.9, 10.3]	18.8	1.0 [0.0, 2.6]	5.0
Qwen3-1.7B	10.3 [7.9, 12.7]	22.0	20.4 [14.9, 25.9]	31.8	6.5 [3.4, 9.5]	21.1	4.2 [1.6, 7.3]	12.8

消融实验¶

为深入理解最具挑战性的 Recovery 阶段失败机理，研究团队对 8 个代表性模型产生的 1,079 个 Recovery 失败样本进行了精细归因分类。失效模式划分为：空洞客套（Generic Closing）、交付物机械重复（Deliverable Repetition）、无依据盲目发散（Ungrounded Suggestion）以及过早冷淡终止（Premature Closure）。表 2 汇报了各模型的失效模式分布比例（%）与恢复加权得分（%）。

模型	失败样本数 ($n_{\text{fail}}$)	空洞客套 [%]	交付物重复 [%]	无依据发散 [%]	过早终止 [%]	其他未分类 [%]	Recovery 加权分 [%]
GPT-5.5	71	20	69	3	7	1	50.0
Qwen3.5-397B-A17B	116	61	29	3	7	0	26.6
Gemini-2.5-Pro	165	61	25	1	13	0	12.0
GPT-4o	155	70	22	6	1	1	13.9
Qwen3.5-9B	103	58	38	1	3	0	24.7
Qwen2.5-7B-Instruct	145	12	83	5	0	0	15.4
Llama-3.2-8B	174	51	27	6	16	0	5.0
Qwen3-1.7B	150	11	83	5	1	0	12.8
总体加总 (Pooled)	1,079	44	45	4	6	0	n/a

此外，在准则注入的人工成对对比评估中（Human Preference Study，对 144 组有效样本进行双盲对比），人工评审员在 79.9%（95% CI [74.1%, 85.5%], $p < 10^{-12}$）的对比中明确偏好显式注入 Recovery 准则的生成结果；即便在原本模型已判定为 Pass 的样本中，偏好率仍高达 70.3%，证实主动性准则所倡导的行为具有极高的用户价值。

关键发现¶

Recovery 任务呈现断崖式下跌与基准严重解耦：所有模型在 Emergent 和 Critical 上能达到 60%–75% 的较高通过率，但在 Recovery 上全线崩溃——顶尖模型 GPT-5.5 也仅达 37.2% 通过率，16 个模型中有 14 个通过率不足 20%。跨基准相关性分析表明，GPQA、LCB、MMLU、IFEval 等通用基准间互相关高达 $r = 0.64 \sim 0.97$，Emergent 和 Critical 亦保持 $\bar{r} \approx 0.83$ 的高度同步，唯独 Recovery 呈现严重解耦（$\bar{r} = 0.51$, 95% CI [0.29, 0.71]）。经过 Holm–Bonferroni 严密多重重检验校正后，Recovery 与所有 6 个既有基准的相关性均不再显著。
开源/前沿强模型的基准倒挂反差极大：Kimi-K2.6 在 LiveCodeBench、SWE-bench Verified 和 AIME 2025 上匹敌甚至超越 GPT-5.5，但在 Recovery 上通过率仅为 7.4%，差距达 5 倍之巨；Qwen3.5-397B 在 Emergent 上以 72.9% 登顶，在 Recovery 上骤降至 17.0%，表明既有代码与数学基准无法预测对话的主动服务意识。
失效模式呈现清晰的阵营分野：商业闭源前沿模型（除 GPT-5.5 外）主要由于对齐策略中的过度礼貌倾向而产生高达 60%–70% 的“空洞客套”（Generic Closing）；而小参数量开源模型与 GPT-5.5 则高度集中于“交付物机械重复”（Deliverable Repetition，7B 与 1.7B 模型占比高达 83%）。
主动性缺陷是行为策略倾向而非能力上限：人工消融研究证实，当通过系统指令提示模型注意 Recovery 原则时，同款模型生成的主动回复赢得人类压倒性偏好（80% 胜率），表明模型内部已具备理解该上下文的推理基础，但在默认微调与强化学习对齐（RLHF）中形成了“被动闭环”的保守行为惯性。

亮点与洞察¶

将“对话主动性”精准操作化为阶段性行为契机：论文没有停留于抽象的主动性定义，而是以事实锚点为抓手，清晰划分出 Emergent、Critical 与 Recovery，尤其是敏锐捕捉到“用户宣布任务完成”这一极易被礼貌套话掩盖的黄金增值窗口。
信息不对称隔离构筑了多智能体评测的防作弊范本：通过让 Planner 预先锁定评分准则、屏蔽 User Agent 的沟通风格、助手模型全冷启动盲测以及强制单步锚点滴漏，彻底封堵了基准自循环评估中的信息泄露与风格偏见。
子模态基准选择凸显其高增量信息价值：基于贪婪熵最大化的基准子集选择算法显示，在整合 6 大经典基准与 3 大主动性指标的 $9 \times 9$ 相关阵中，Recovery 在 97% 的重采样测试中均位列最具增量信息量基准前三，仅次于 GPQA Diamond。

局限与展望¶

用户画像与文化语境集中于美式英语：画像抽取自 Nemotron-Personas-USA，其所体现的社会规范、人际边界与主动建议容忍度均基于美国文化背景；在不同文化、不同垂直行业中，“不过度越界”（Unsolicited Advice）与主动关怀的尺度存在显著差异。
纯合成对话环境与真实人机日志的差距：评测集依赖三智能体合成生成，虽然具备高度可控性与审计追溯性，但真实用户的断句习惯、多模态输入以及复杂的中途打断行为尚未完全覆盖。
裁判打分存在弱模型自亲和与边界争议：虽然通过了 Claude-Opus-4.7 与 Kimi-K2.6 的跨家族裁判验证且排名稳定，但裁判在模糊边界处的二元仲裁与人类一致性仍有提升空间，未来需要结合更大规模真实交互偏好数据对评测准则进行持续标定。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统化定义阶段化主动性，尤其是极具洞察力的任务完成恢复（Recovery）机制与三智能体防御架构]
实验充分度: ⭐⭐⭐⭐⭐ [详尽评测 16 款主流模型，涵盖 IRT 难度校准、跨家族裁判置换、失误归因归纳以及高质量的人工成对偏好验证]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严丝合缝，对概念边界、有效性威胁、统计鲁棒性检验与实验归因的论述极其详实清晰]
价值: ⭐⭐⭐⭐⭐ [开辟了大模型评估中被长期忽视的主动价值盲区，为智能体交互对齐与后训练偏好建模提供了宝贵的新方向]