Offline Preference-Based Trajectory Evaluation¶

会议: NeurIPS 2026
arXiv: 2606.17541
领域: 其他
关键词: 智能体评估、离线轨迹评估、时间偏好、基准饱和、数据效率

一句话总结¶

本文提出基于时间偏好的离线轨迹偏好评估框架，打破传统将智能体交互轨迹压缩为终端二元成功率的局限，通过比较达到中间回报的耗时轮廓消除大量统计平局，在无需任何折现超参数的前提下显著提升了评测灵敏度、数据效率与排序稳定性。

研究背景与动机¶

随着智能体系统（Agentic Systems）向多轮交互与复杂工具调用场景演进，对其进行全面评估的推理计算成本呈指数级攀升。然而，主流评估体系普遍依赖极其粗粒度的终端成功率（Success Rate, SR）指标，仅关注“系统最终是否解决了任务”，而彻底抛弃了交互过程中的中间进展与耗时动态。将连续且多步的轨迹粗暴折叠为单一的二元标量，直接引发两大核心缺陷：一方面，无法达成最终目标的两个次优系统被一律赋为 0 分，掩盖了它们在子任务完成度上的实质性进展差距；另一方面，即使两个系统均达成目标，耗费 2 步与耗费 100 步的系统被同等对待，完全丢失了执行效率差异。

这种信息损失在统计层面上导致了毁灭性的效率灾难——大量测试实例在不同系统之间呈现完全无法区分的“平局”（Tie）。在当前代表性智能体基准上，成功率对比的平均平局率竟高达 75% 左右，即四分之三的评测样本未能提供任何有效比较信息；即便引入部分回报（Partial Return, PR），平局率仍居于 50% 的高位。更严重的是，随着前沿模型能力的整体提升，越来越多的轨迹被归入“成功”区间，使得传统基准在区分顶尖系统时迅速失效，引发了业界关于“基准饱和”的广泛担忧。然而，这种饱和往往并非真正源于数据集难度不足或模型已臻完美，而是度量工具本身的信息截断效应所致。虽然已有工作尝试引入路径惩罚指标（如 SPL），但这类方法机械依赖指数或幂律形式的时间折现假设，其超参数在非平稳的现实多任务环境中极其脆弱。

针对上述矛盾，本文打破“为单条轨迹打标量绝对分”的传统度量思维，转向直接对轨迹对进行成对比较的时间偏好机制。核心 idea：立足经济学中的时间偏好公理（若两系统达成相同进展，则耗时更短者更优），构建无需任何时间折现超参数的离线轨迹偏好评估体系（包含 LR、RPP、IPP 三种度量），将平局率从 75% 骤降至 35%，在零额外样本成本下破解基准饱和并大幅提升统计判别力。

方法详解¶

整体框架¶

该评估框架以智能体在任务实例中生成的归一化累积回报轨迹为输入。给定离散时间步 \(t \in \mathbb{Z}^+\)，轨迹表现为非递减函数 \(f(t) \in [0, 1]\)，其中终点回报为 1 代表任务最终成功。为了量化时间效率，方法定义到达回报的逆函数——达标耗时函数（Time-to-Return）\(g(R) = \min \{t \mid f(t) \ge R\}\)，表示智能体首次获得不小于 \(R\) 的回报所需的时间步；若始终未达到回报 \(R\)，则 \(g(R) = \infty\)。

在对两个系统生成的轨迹 \(f\) 与 \(f'\) 进行比较时，评估系统不计算任何中间标量指标，而是直接生成有符号偏好值 \(\Delta(f, f') \in [-1, 1]\)（正值代表偏好 \(f\)，负值代表偏好 \(f'\)，0 代表平局）。根据实际评测对目标保守性、全流程累积效率或局部平稳性的不同侧重，框架设计了三组无需调参的时间偏好算子，最后通过支持连续软标签的 Bradley-Terry 模型完成全系统的全局排序聚合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["智能体交互轨迹对<br/>输入多步累积回报轨迹 f 与 f'"] --> B["时间-回报映射与离散化<br/>构建达标耗时函数 g(R) 并提取全局回报节点"]
    B --> C["轨迹级时间偏好评估算子<br/>LR（词典序）/ RPP（回报配对）/ IPP（区间配对）"]
    C --> D["实例级偏好平均与软标签映射<br/>计算任务集平均偏好并映射至 win_rate ∈ [0, 1]"]
    D --> E["Bradley-Terry 概率排序聚合<br/>交叉熵最大似然拟合，输出系统级全局能力估计"]

关键设计¶

1. 词典序回报偏好（Lexicographic Return, LR）：保守兼容成功率与时间破平机制

在需要高度兼容传统成功率标准的场景下，评估者往往希望保留“成功高于未成功”的绝对约束，仅在二者产生平局时借助时间与中间进展进行破平。词典序回报偏好正是在这一保守原则下构建的：它首先从最高回报级别 \(R=1\)（即最终成功）切入，如果一个智能体成功而另一个失败（即一个系统的达标耗时有限而另一个为无穷大），则直接判定成功者胜出；当且仅当两个系统在最高回报上的耗时完全相等时，算法才会顺次回退检查两个系统能够拉开耗时差距的最高回报级别：

\[\Delta_{\mathrm{LR}} = \operatorname{sgn}\left[g'(R^*) - g(R^*)\right], \quad \text{其中 } R^* = \max \{R \in [0, 1] \mid g(R) \ne g'(R)\}\]

若在所有回报水平上两个系统的耗时曲线均完全一致，则 \(\Delta_{\mathrm{LR}} = 0\)。该设计保证了度量工具对传统二元成功率的严密继承，同时利用微观时间差作为无损破平探针，避免了数以千计的有效比较因终点一致而退化为零信息平局。

2. 回报配对偏好（Return-Paired Preference, RPP）：全程积分的时空累积优势

与仅关注单个最高分歧点的 LR 不同，回报配对偏好关注智能体在整个任务生命周期内的综合时间领先度。它将两轨迹所覆盖的所有离散回报水平汇总排序为有序集合 \([\hat{R}_0, \hat{R}_1, \ldots, \hat{R}_K]\)，在每个回报小区间内对比两者的绝对达标耗时，并以区间宽度为权重进行全积分：

\[\Delta_{\mathrm{RPP}} = \sum_{k=1}^K (\hat{R}_k - \hat{R}_{k-1}) \cdot \operatorname{sgn}\left[g'(\hat{R}_k) - g(\hat{R}_k)\right]\]

其中约定 \(\infty - \infty = 0\)。RPP 的核心物理含义在于：它假定评估者对每一个回报层级的边际收益持无差别态度，衡量的是智能体在通往终点的全程中所展现出的累积速度优势。这种设计完美契合信息检索中的相关性召回逻辑，能敏锐捕捉到智能体是否在整个探索过程中持续保持先发优势。

3. 区间配对偏好（Interval-Paired Preference, IPP）：衡量局部子目标推进平稳性

在许多分阶段任务中，智能体可能由于前期规划而起步较慢，但在后续子任务的执行上具备极高的推进效率。区间配对偏好放弃了从原点开始的绝对耗时对比，转而度量从上一个回报级别前进到下一个回报级别所需的边际时间增量 \(\delta_g^k = g(\hat{R}_k) - g(\hat{R}_{k-1})\)：

\[\Delta_{\mathrm{IPP}} = \sum_{k=1}^K (\hat{R}_k - \hat{R}_{k-1}) \cdot \operatorname{sgn}\left[\delta_{g'}^k - \delta_g^k\right]\]

IPP 刻画的是智能体在各子目标之间的局部推进效率与抗卡顿能力。一个起步稍慢但每个子阶段切换行云流水、毫不拖沓的系统，在 IPP 准则下会获得更高的评价。值得强调的是，当评测环境仅记录最终成功状态与总步数、缺失精细的中间过程汇报时，LR、RPP 与 IPP 三种算子在数学退化形式上完全等价，这赋予了该框架应对不完备历史日志的极强工程通用性。

损失函数 / 训练策略¶

为了从离散实例的成对偏好中恢复出稳定、全局一致的系统能力标量评估，框架引入了软标签化 Bradley-Terry（BT）概率图模型。对于实例集 \(X\) 上的任意两系统 \(A\) 与 \(B\)，首先计算两者的平均经验偏好 \(\bar{\Delta}(A, B) = \frac{1}{|X|} \sum_{x \in X} \Delta(f_{x, A}, f_{x, B})\)。随后，将连续偏好通过仿射变换映射为软胜率标签：

\[y_{A, B} = \frac{\bar{\Delta}(A, B) + 1}{2} \in [0, 1]\]

设各系统的隐式能力参数为 \(\theta_i\)，模型预测 \(A\) 击败 \(B\) 的理论概率满足 Logistic 函数 \(\sigma(\theta_A - \theta_B)\)。整个系统的全局得分通过最小化加权二元交叉熵损失进行无约束凸优化求解：

\[\mathcal{L}_{\mathrm{BT}}(\boldsymbol{\theta}) = - \sum_{A < B} \left[ y_{A, B} \log \sigma(\theta_A - \theta_B) + (1 - y_{A, B}) \log \left(1 - \sigma(\theta_A - \theta_B)\right) \right]\]

该聚合机制完美承接了偏好度量所保留的细粒度差异信息，避免了硬胜负切断造成的二次量化误差。

实验关键数据¶

主实验¶

论文在跨越具身交互、软件工程、文字冒险及经典强化学习的 5 大代表性基准（AgentBoard、TheAgentCompany、OpenHands-Index、TALES、SGRL）及带有已知真实排序的 Oracle 任务上进行了全面元评估。核心对比指标包括：Oracle 真实排序恢复准确率（Oracle Rank Acc）、折半信度（Split-Half Reliability）、留一稳定性（Leave-One-Out, LOO 符号翻转率，越低越好）、实例平局率（Tie Rate，越低越好）、显著性判别力（Discriminative Power，经 Holm-FWER 与 BH-FDR 多重比较校正）以及在同模型伪对比下的判别偏置（Discriminative Bias，越低越好）。

评估指标类别	评测度量	SR (成功率)	PR (部分回报)	SPL (路径加权)	LR (词典序)	RPP (回报配对)	IPP (区间配对)
效度 (Validity)	Oracle 排序准确率 (%) \(\uparrow\)	12.8	12.8	91.8	95.6	94.2	95.8
	Oracle 显著检验 (FWER, %) \(\uparrow\)	0.0	0.0	31.6	37.5	37.5	37.7
	Oracle 显著检验 (FDR, %) \(\uparrow\)	0.0	0.0	48.1	61.6	63.2	62.5
信度 (Reliability)	折半信度: 系统对 (P) \(\uparrow\)	0.75	0.82	0.71	0.83	0.83	0.78
	折半信度: 系统排序 (R) \(\uparrow\)	0.73	0.82	0.70	0.85	0.85	0.81
	留一翻转率 (LOO, %) \(\downarrow\)	0.00	2.14	5.50	0.00	1.88	2.83
灵敏度 (Sensitivity)	实例级平局率 (%) \(\downarrow\)	74.90	49.71	63.42	33.90	34.82	35.09
	判别力 (FWER, %) \(\uparrow\)	44.98	56.53	39.02	66.16	61.51	53.34
	判别力 (FDR, %) \(\uparrow\)	58.47	73.37	60.20	77.81	78.35	73.76
偏置 (Bias)	同模型伪阳性率 (%) \(\downarrow\)	0.00	0.00	0.00	0.00	0.00	0.00

消融实验¶

为了验证不同基准环境下轨迹特征对偏好评估的影响，论文在不同交互类型任务上对平局率和判别力进行了细致的跨基准剖析：

基准任务 (属性特征)	统计维度	SR	PR	SPL	LR	RPP	IPP
AgentBoard (AB) (高密度中间奖励+子目标)	实例平局率 (%) \(\downarrow\) 判别力 FDR (%) \(\uparrow\)	78.88 59.09	43.49 71.46	75.87 55.81	33.27 69.44	34.93 71.97	36.11 71.21
TheAgentCompany (TAC) (具身工作流，仅终端部分回报)	实例平局率 (%) \(\downarrow\) 判别力 FDR (%) \(\uparrow\)	80.88 74.17	49.78 83.33	76.01 64.17	32.30 79.17	34.75 81.67	34.75 81.67
OpenHands-Index (OHI) (代码智能体，仅步数+二元终值)	实例平局率 (%) \(\downarrow\) 判别力 FDR (%) \(\uparrow\)	74.56 55.57	74.56 55.57	36.77 77.08	36.77 77.98	36.77 77.98	36.77 77.98
TALES (文字冒险长轨迹)	实例平局率 (%) \(\downarrow\) 判别力 FDR (%) \(\uparrow\)	84.05 27.98	27.61 80.91	80.73 25.87	22.66 83.80	23.04 80.41	23.18 58.74
SGRL (经典 RL) (子目标导航网格世界)	实例平局率 (%) \(\downarrow\) 判别力 FDR (%) \(\uparrow\)	56.10 75.54	53.08 75.57	47.74 78.09	44.49 78.68	44.63 79.74	44.66 79.20

关键发现¶

平局率腰斩与有效样本量成倍释放：传统 SR 指标在各基准上的平均平局率高达 74.90%，使得高达四分之三的测试算力被浪费；引入时间偏好后，LR、RPP、IPP 将平局率大幅压低至 33.9%~35.1%，在测试集规模不变的前提下，大幅扩充了有效信息样本空间。
破解两极饱和的判别力优势：在极端困难任务（模型普遍失败）或极端简单任务（模型普遍成功）中，传统 SR 的判别力呈断崖式下跌（在 Oracle 任务中判别力直接清零）。而 RPP 在整个任务成功率谱系上均保持着高于 78% 的平稳判别力，有力证明当前所谓的“基准饱和”很大程度上是标量粗化度量造成的伪饱和。
卓越的样本收敛速度：在数据效率分析中，RPP 仅使用 50%~60% 的测试用例所能达到的显著正确判别准确率，便已超越了基线 SPL 使用 100% 全量数据时的表现，显著压缩了评测大模型智能体的推理成本。
高判别力与零虚警并存：在 TALES-AA 同模型伪对比实验中，所有偏好度量在 FWER 和 FDR 校正下的伪阳性率均为 0.00%，证实更强的时间分辨力完全源于真实能力差异，而非统计噪声的虚假放大。

亮点与洞察¶

将时间偏好与时间折现解耦：彻底摒弃了传统强化学习中人为指定折扣因子 \(\gamma\) 或幂律衰减参数的做法，直接从序数意义上的时间偏好公理出发，实现无超参数的即插即用评估。
离线竞技场评估体系的建立：成功将 LMSYS Chatbot Arena 在线配对对比的统计学优势引入无人类参与的离线确定性日志中，兼具在线对比的高判别力与离线评测的高并发、可反事实分析与零安全风险特性。
直击 AI 评测的“算力瓶颈”与“虚假饱和”：指出评测开销大、基准过早饱和的根源在于“度量工具的信息自杀”，用优雅的数学重构为社区提供了无需重测任务即可盘活海量历史评估轨迹的新工具。

局限与展望¶

依赖中间子目标奖励质量：当环境中的中间子目标定义存在偏差、噪声过大或稠密奖励与人类真实意图不一致时，细粒度偏好可能会过度惩罚某些深思熟虑的长周期规划探索。
时间偏好假设并非绝对普适：在某些追求绝对安全性、深度思考或复杂决策验证的极端严谨任务中，“更短耗时必定更优”的假设可能面临现实权衡挑战。
未来方向：探索无监督轨迹分割下的偏好聚合方法，并将基于时间偏好的轨迹比较反馈反哺到强化学习策略优化（如 DPO / PPO 的奖励建模）中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳脱“标量指标设超参”的死胡同，将信息检索与计量经济学中的无参数时间偏好理论开创性地引入离线智能体轨迹评估。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 5 大代表性智能体基准、数十个模型体系，涵盖信度、效度、灵敏度、偏置与样本效率全生命周期评估。
写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨扎实，统计测量学推导条理清晰，图表数据自洽且说服力极强。
价值: ⭐⭐⭐⭐⭐ 切中大模型评测极其昂贵且易饱和的行业核心痛点，具有极高的理论启发与工业落地标准价值。