PACE: A Proxy for Agentic Capability Evaluation¶

会议: NeurIPS 2026
arXiv: 2607.02032
OpenReview: https://openreview.net/forum?id=tkOFdQaXLa
代码: https://github.com/neulab/pace
领域: LLM Agent
关键词: 智能体评测、代理基准、能力预测、子集选择、SVD杠杆度

一句话总结¶

PACE 提出了一种基于非智能体原子测试题库构建紧凑代理基准的方法，通过解耦 SVD 杠杆度与目标秩相关性的双路实例选择及 Bootstrap 重采样回归，仅需 100 道低成本静态测试题即可以低于 4% 的平均绝对误差预测模型在昂贵智能体基准上的表现，将评测成本压缩至百分之一以下。

研究背景与动机¶

大语言模型能力的快速迭代长期依赖于轻量、廉价且单轮的静态基准（如 MMLU、HumanEval、IFEval 等），这些测试大多只需单次 API 调用即可自动打分，构成了模型研发与日常回归测试的基础设施。然而，随着研究重心全面转向大模型智能体（LLM Agents），这一评测范式遭遇了严峻瓶颈。SWE-bench、GAIA、WebArena 等智能体基准要求模型在复杂环境或沙箱中执行多轮规划、工具调用、代码修改与错误恢复，单次全量评测一个前沿模型不仅需要耗费数千美元的 API 预算，更需要耗费数小时至数天的运行时长与复杂的沙箱管理成本。这种高昂代价导致中小型团队无法承受频繁评测，开发者往往只能降低评估频次或在极小样本子集上做妥协评估。

尽管智能体任务的交互过程极其复杂，但模型在智能体任务中的最终成败，归根到底仍扎根于一系列底层的原子能力，包括指令遵循、多步规划、工具调用、长上下文聚合与测试验证等。这些底层能力事实上已经被诸多低成本的非智能体静态基准所覆盖。既然宏观的智能体表现是微观原子能力的综合映射，学术界却依旧不得不运行全套重量级智能体环境来比较模型优劣，这说明非智能体原子能力与智能体最终表现之间的跨任务预测纽带尚未被有效建立。过去关于基准压缩的研究（如 tinyBenchmarks、SparseEval）大多局限于在单一目标基准内部抽样，无法摆脱目标基准本身的沙箱与多轮执行开销；而通过多选化改造智能体任务的方法又往往改变了任务本身的评估形式。

本文的核心切入点在于：完全无需运行目标智能体基准的完整交互环境，而是从外部海量且廉价的非智能体原子测试题中，精准挑选出最具全局信息量和目标相关性的极小子集，拟合抗噪预测模型。核心 idea：将跨任务智能体评测预测建模为带预算约束的子集选择与去噪回归问题，利用截断 SVD 杠杆度捕捉全局隐空间特征、利用 Spearman 秩相关度锚定目标相关性，结合 Bootstrap 重采样消除目标小样本噪声，仅用约 100 道非智能体静态题目实现对昂贵智能体表现的高精度预测与成对排序。

方法详解¶

整体框架¶

PACE 的核心目标是在给定的源题目预算 \(C\) 下（例如 \(C=100\)），从涵盖 11 种底层能力的 19 个非智能体源基准池（包含数万道题目）中挑选出最具预测力的测试实例集合 \(P\)，并基于校准模型集训练回归预测器，进而对任意未见模型直接预测其在目标智能体基准上的绝对得分（Goal A）与两两胜率偏好（Goal B）。整体流程包括源矩阵构建、解耦式双路特征选择、目标重采样与抗噪回归拟合、以及未知模型的隐空间投影与集成预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["候选源基准题库与目标得分矩阵<br/>19个非智能体基准 + 4个智能体基准"] --> B["解耦式双路实例选择<br/>全局SVD杠杆度与局部目标相关性"]
    B --> C["目标重采样 Bootstrap 正则化<br/>对齐小样本目标标签并抑制采样噪声"]
    C --> D["伪逆投影与双模型集成<br/>隐空间对齐与双路加权预测"]
    D --> E["目标绝对得分与成对偏好预测<br/>Goal A 回归分值与 Goal B 胜负判定"]

关键设计¶

1. 解耦式双路实例选择：几何重要度与目标相关性互补 在典型的模型评测场景中，可用于校准的训练模型数量远小于候选题目总量（\(|M_{\text{train}}| \ll |\mathcal{I}|\)），若直接采用端到端的 Lasso 或 Ridge 稀疏回归进行特征选择，会导致严重的过拟合与病态解。PACE 采用特征选择与下游回归严格解耦的策略，通过对拼接的源题目得分矩阵 \(X \in [0, 1]^{|M| \times |\mathcal{I}|}\) 进行截断奇异值分解 \(X = U \Sigma V^\top\)（其中 \(V \in \mathbb{R}^{|\mathcal{I}| \times n_c}\)），定义了两个轻量且互补的实例评分指标：一是基于全局隐空间几何重要度的杠杆度评分 \(h_i = \sum_c V_{c,i}^2\)，衡量题目对源题库全局能力方差的表征贡献；二是局部目标相关性评分 \(\text{abs}(\rho_i) = \text{abs}(\text{Spearman}(X_{M_{\text{train}}, i}, \bar{y}_{M_{\text{train}}}))\)，衡量单题在训练模型上的打分排序与目标智能体基准均值的单调一致性。

基于这两个信号，PACE 分别构建两组子集：全局子集（Global subset \(G\)）按照综合得分 \(\sigma_i = h_i \times \text{abs}(\rho_i)\) 贪心挑选 Top-\(C_G\) 道题目，以全局能力分布作为先验约束；局部子集（Local subset \(L\)）纯粹按目标相关度 \(\text{abs}(\rho_i)\) 挑选 Top-\(C_L\) 道题目，并在其限制子矩阵 \(X_L\) 上重新计算局部正交基 \(V_{\text{loc}}\)。当两子集产生交集时，算法按比例向后顺延扩充候选题目，确保最终并集大小严格等于预算 \(|L \cup G| = C\)，兼顾了对智能体任务特异性信号的聚焦与防过拟合的全局泛化能力。

2. 目标重采样 Bootstrap 正则化：平滑小样本噪声 智能体评测的高成本导致现实中的目标基准题目规模普遍偏小（通常仅有一两百到数百题，如 GAIA 仅含 165 题），加之可用的校准模型数量极为有限，直接计算出的标量均值 \(\bar{y}_m = \frac{1}{|T|}\sum_{i=1}^{|T|} y_{m,i}\) 本质上是带高方差的离散估计。如果直接将其作为回归监督标签，最小二乘权重极易欠估计不确定性并过拟合特定的题目抽样噪声。

为此，PACE 在训练回归模型前引入 Bootstrap 有放回重采样：针对每个校准模型 \(m\)，从目标测试集 \(T\) 中独立有放回地重抽样构建 \(B\) 个经验副样本，计算对应的副样本均值 \(\bar{y}_m^{(b)}\)（\(b = 1, \dots, B\)）。在模型训练时，将原始单个标签扩展为 \(B\) 个重采样副样本的多重监督集合，使得回归目标在目标题目的经验经验分布上求期望平均，显著增强了权重估计对目标实例扰动的鲁棒性。

3. 伪逆投影与双模型集成：跨模型空间的统一回归 对于任意新进入评估流程的未见模型 \(m^\star \in M_{\text{eval}}\)，由于其并不存在于最初的 SVD 分解矩阵中，直接输入原始特征会导致特征空间不对齐。PACE 利用预先计算的源空间右奇异正交基矩阵 \(V\) 与局部基矩阵 \(V_{\text{loc}}\)，通过 Moore-Penrose 伪逆分别对新模型的受限得分向量进行正交投影：

\[z_{\text{global}}^\star = X_{m^\star, :}(V^+)^\top, \quad z_{\text{local}}^\star = X_{m^\star, L}(V_{\text{loc}}^+)^\top\]

将新模型映射到与校准模型完全统一的 \(n_c\) 维隐空间坐标系中。在预测阶段，针对绝对得分预测（Goal A），分别在局部和全局投影特征上拟合正则化线性模型，最终预测得分为二者的凸组合 \(\hat{y} = \lambda \hat{y}_L + (1-\lambda)\hat{y}_G\)，权重 \(\lambda\) 与子预算配比均由交叉验证自适应确定；针对两两胜负偏好（Goal B），则利用差分特征向量构建成对 Logistic 回归（Bradley-Terry 概率模型），实现兼具连续数值与排序判别的双模态统一输出。

损失函数 / 训练策略¶

在参数学习阶段，PACE 将 Goal A 与 Goal B 分别形式化为凸优化问题。绝对表现预测器采用岭正则化的最小二乘损失，并在 \(B\) 组 Bootstrap 重采样标签上求均值：

\[\min_{w} \sum_{m \in M_{\text{train}}} \frac{1}{B} \sum_{b=1}^{B} \left( w^\top x_m - \bar{y}_m^{(b)} \right)^2 + \alpha \|w\|_2^2\]

针对两两偏好预测（Goal B），对任意训练模型对 \((m, m')\) 计算差分特征 \(\Delta x = x_m - x_{m'}\)，并构造二元胜负标签 \(y_{m, m'} = \mathbb{I}[\bar{y}_m > \bar{y}_{m'}]\)，通过最小化交叉熵损失拟合 Bradley-Terry 权重向量 \(w_g\)：

\[\min_{w_g} \sum_{m \neq m'} \log \left( 1 + \exp\left( -(2 y_{m, m'} - 1) w_g^\top (x_m - x_{m'}) \right) \right) + \beta \|w_g\|_2^2\]

实验中所有超参数（SVD 隐维度 \(n_c\)、正则化系数 \(\alpha, \beta\)、集成权重 \(\lambda\) 以及预算划分 \(C_L : C_G\)）均在校准集内通过严谨的留一法交叉验证（LOOCV）网格搜索确定，未见测试模型严格不参与任何特征挑选与参数更新。

实验关键数据¶

主实验¶

实验覆盖 14 个前沿模型（涵盖 GPT-5.2 系列、Claude Opus/Sonnet 4.5/4.6、Gemini 3 Pro/Flash、DeepSeek V3.2、Qwen3 Coder、GLM-4.7、Kimi K2/K2.5、MiniMax 等），在严格的留一法交叉验证（LOOCV）下评估 4 个主流智能体基准的预测效果。在源题目预算设为 \(C=100\) 时，主实验结果如下所示：

目标基准	Goal A MAE	Goal A Spearman	Goal A Pearson	Goal B 成对准确率
GAIA	5.77%	0.79	0.78	83.33%
SWE-bench Verified	2.09%	0.67	0.61	78.54%
SWE-bench Multimodal	2.23%	0.89	0.80	85.39%
SWT-bench	5.12%	0.89	0.78	90.11%
平均值 (Average)	3.80%	0.81	0.74	84.37%

消融实验¶

为了验证目标端引入 Bootstrap 重采样的去噪必要性，作者在保持题目选择机制与回归结构完全不变的情况下，对比了移除 Bootstrap 步骤前后的 LOOCV 表现：

目标基准	无 Bootstrap MAE	无 Bootstrap Spearman	引入后 ΔMAE	引入后 ΔSpearman
GAIA	6.45%	0.71	-0.68%	+0.08
SWE-bench Verified	2.75%	0.39	-0.66%	+0.28
SWE-bench Multimodal	3.40%	0.69	-1.17%	+0.20
SWT-bench	5.68%	0.82	-0.56%	+0.07
平均值 (Average)	4.57%	0.66	-0.77%	+0.15

此外，与直接使用 Lasso（\(\ell_1\)）或 Ridge（\(\ell_2\)）在全源特征矩阵上做联合特征选择与回归相比，Lasso 和 Ridge 在小样本模型集上产生了极度严重的样本内过拟合（样本内 MAE 分别低至 0.51% 和 0.82%），但外推至未见模型的 LOOCV MAE 急剧恶化至 5.69% 和 5.16%，Spearman 秩相关度跌落至 0.46 和 0.76；相比之下，PACE 取得 3.80% 的 LOOCV MAE 和 0.81 的 Spearman 相关度，充分证明了解耦式过滤选择的泛化优势。

关键发现¶

极高性价比的帕累托前沿：在全部 4 个智能体测试集上，PACE 在各个预算区间均严格支配直接在目标智能体基准上随机抽样的基线方案；达到相同的预测精度，PACE 所需的测试成本约为目标随机抽样基线的 \(1/100\)。
题目预算的平滑边际效应：当源题目预算 \(C\) 从 25 增长至 400 时，平均 MAE 从 4.02% 稳步下降至 3.30%，Spearman 相关度由 0.832 提升至 0.868；当预算进一步扩充至 500 时，由于小样本回归变量过多出现轻微过拟合（MAE 回弹至 3.44%），而成对排序准确率仍持续爬升至 89.27%。\(C=100\) 处于精度与成本的最佳平衡甜点位。
能力分布的可解释性反哺：通过对算法自适应挑选出的 100 道题目来源进行逆向分析，清晰揭示了不同智能体基准的底层能力画像。GAIA 显著依赖指令遵循（IFEval）与多步规划（PlanBench）；SWE-bench Verified 强烈依赖高区分度的多模态推理与网页交互实例（VisualPuzzles 与 VisualWebBench），因为常规代码题目在前沿模型间饱和度过高，已失去区分区分度；SWT-bench 则高度聚焦于测试验证与长程因果规划能力。

亮点与洞察¶

解耦选择与隐空间正交基投影：摒弃端到端稀疏拟合的易过拟合陷阱，将统计先验（SVD 几何杠杆度）与局部监督（Spearman 排序相关度）解耦，利用伪逆投影实现跨未见模型的空间对齐，算法简单、极速且具备强大的数理稳定性。
评测即诊断的逆向可解释性：传统智能体评估往往将系统视为黑盒，PACE 选出的代理测试集构成了一个可解释的“能力指纹”，无需昂贵的多轮执行与人工标注，仅通过分析入选题目的能力分布，就能精准诊断特定智能体基准真正考查的瓶颈技能。
低成本模型路由与训练早停支撑：可复用在企业级模型部署与后训练对齐流线中，充当极低延迟的网关级性能代理（Proxy Router）或大模型强化学习（RL）过程中的轻量级评估探针。

局限与展望¶

对校准模型集代表性的前提依赖：作者指出 PACE 严重依赖校准模型集合对前沿模型分布的覆盖度。当全新模型架构（如测试时动态搜索架构）或迥异的后训练对齐技术出现时，原有的线性隐空间映射关系可能发生偏移，需要定期注入代表性新模型重新校准。
难以捕捉极端长程环境交互中的突发崩溃：静态非智能体题目测试的是单步或有限步的原子能力上限，无法完全仿真由于多轮长程交互累积而引发的状态漂移、上下文溢出或特定工具沙箱崩溃等动态系统级异常。
未来方向：探索动态自适应题库生成、基于因果图的原子能力建模，以及将 PACE 拓展至通用操作系统与多智能体博弈等更开阔的复杂决策评测场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性论证并实现用廉价非智能体原子静态题库高保真预测复杂智能体多轮表现。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 14 个顶尖前沿模型、4 大智能体主流基准、19 个源基准与严格 LOOCV 交叉验证。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰、数学推导严密、问题抽象到位且实验对比与可解释性分析层次分明。
价值: ⭐⭐⭐⭐⭐ 显著降低大模型智能体评测的门槛与开销，对开源社区、学术界与工业界模型选型极具现实指导价值。