JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment¶

会议: NeurIPS 2026
arXiv: 2605.25240
OpenReview: https://openreview.net/forum?id=AkC78nUjam
代码: https://github.com/liftlab-SLS/JudgmentBench
领域: LLM评测
关键词: 评测基准、评价准则、成对偏好、大语言模型评测、法律大模型

一句话总结¶

本文构建了首个由资深执业律师对相同真实法律工作产物分别给出细粒度准则（Rubric）与成对偏好（Comparative Judgment）标注的高专业度基准 JudgmentBench，实验表明成对比较恢复预设质量阶梯的准确率显著优于细粒度准则且耗时缩减过半。

研究背景与动机¶

随着大语言模型在法律、医疗与金融等高专业度与高风险行业中的落地，评估模型输出质量成为公认的瓶颈。在缺乏客观标准答案（Ground Truth）的高阶知识工作中，当前的评测主要分化为两大阵营：一种是基于预定义规则细目评分的 Rubric 评分范式，通过把整体质量拆解为显式的结构、准确性与实质性维度分别打分并汇总；另一种则是源自心理测量学的成对比较判断（Comparative Judgment, CJ），让评估者对两份输出进行直接二选一偏好选择。然而在既有基准设计与后训练（RLHF/RLAIF）实践中，这两者的选择往往带有经验主义色彩，缺乏严格的同条件对照与有效性实证。

这种随意性的根源在于高专业度领域的质量本质极其复杂、情境依赖性强，且难以简单拆解。以复杂的诉讼简报与非诉交易合同为例，案件结果往往混杂着客观案件事实弱势或法官个人偏好，不能单凭官司输赢衡量文书质量；而试图通过事先制定枚举式的评分规则，不仅编制成本极高，还极易受到晕轮效应（Halo Effect）的干扰，更会系统性遗漏资深法律从业人员在长年实务中所积累的缄默知识（Tacit Knowledge）——如论辩说服力、宏观战略考量与微妙的风险权衡。相比之下，成对比较虽然认知负荷更低、能更好保留整体性专业判断，但其聚合后的隐式效用缺乏分项诊断能力。此前文献由于缺少同一批专家对相同样本分别给出两套标注信号的配对数据，始终无法对两套范式的质量恢复能力进行无偏检验。

针对这一核心痛点，本文以具有高度经济价值的大律所真实法律实务为切入点，通过受控提示词操纵系统生成具有分级质量梯度的输出，并组织资深执业律师在完全相同的任务与输出上分别进行打分与成对比较。核心 idea：通过构建包含真实法律任务与成对/准则双重专家标注的基准数据集，首次在可控质量阶梯下对成对比较与细粒度准则两类评测范式的质量恢复能力及时间效率进行了严格的实证对决。

方法详解¶

整体框架¶

评测的整体流程遵循“真实任务采样 → 受控质量梯度生成 → 专家交叉双轨标注 → 质量阶梯恢复能力度量”的严谨流水线。首先从 Harvey BigLaw Bench 中严格平衡筛选出 30 项高复杂度实务任务；随后在多维质量画像控制下调用前沿 LLM 生成高中低三档质量产物，并通过多独立变体消除采样扰动；接着组织拥有丰富实务经验的执业律师按照交替协议完成评分与成对比较；最后采用任务级 Spearman 秩相关系数与成对胜率两大指标严格评估质量梯度的恢复效果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["Harvey BigLaw Bench<br/>30项真实诉讼/交易实务任务"] --> B["受控质量梯度生成<br/>6维质量画像驱动生成E/G/I三级输出"]
    B --> C["变体采样与上下文检索<br/>Qwen-3检索Top-10切片+每级50个变体"]
    C --> D["专家交叉双轨标注<br/>51名执业律师交替完成Rubric打分与成对CJ比较"]
    D --> E["双重恢复指标聚合<br/>计算秩相关D_rho与成对胜率D_W"]
    E --> F["评测范式可靠性与效率对决结论"]

关键设计¶

1. 受控质量梯度生成与六维画像约束 为在缺乏天然黄金标签的专业法律领域建立可信的构建效度（Construct Validity），研究团队未采用易引入噪声的非标人工文本，而是通过严密受控的提示词操纵来显式构建质量阶梯 $\mathcal{Q} = \{I, G, E\}$（即中等 Intermediate、良好 Good、优秀 Excellent，真实顺序记为 $\boldsymbol{g} = (1, 2, 3)$）。经 30 年经验的资深交易法律师多轮迭代设计，系统提示词将法律文本质量解耦为 6 个核心维度：分析深度（Analytical Depth，探讨次级后果与深层影响）、精准度（Precision，紧扣合同或法条确切措辞而非泛化转述）、完备性（Completeness，关键要点与事实的覆盖度）、推理清晰度（Reasoning Clarity，逻辑链条的显式展开）、判断力（Judgment，明确立场与可行建议的给出）以及细微差异权衡（Nuance，对法律模糊性与冲突解释的处理）。基准使用 Claude Opus 4.6 生成对应等级产物，并在生成阶段引入 Qwen-3 Embedding 检索相关法案及合同切片的 Top-10 语义块补全上下文。为彻底隔离单次采样随机性，研究在每个“任务-质量等级”单元下独立生成 $N=50$ 个不同输出变体并在标注员间随机分配。

2. 执业律师交叉双轨标注协议设计 数据标注严格基于执业律师真实反馈展开，共招募到 51 位平均执业年限达 10 年（中位数）的法律专家，其中合伙人、顾问与资深律师占比超过 58%，覆盖诉讼（70.6%）与交易（62.7%）等多重核心业务领域。标注系统为每位律师随机分配全部 30 个任务流水线。在每个任务下，系统分别提取三档质量输出各一份：在 Rubric 协议下，律师根据专家预先制定的细微条款准则（包含对格式、风格与实体加分的正面项，以及对幻觉、冗余扣分的负面项）对三档输出逐一打分；在 Comparative Judgment 协议下，律师对三档输出两两组合构成的 3 个独立输出对进行优劣偏好裁决。系统要求任务在两种评测协议之间严格交替进行，且限制标注员只能跳过不属于其专业领域的任务，但绝不能跳过指定的评测协议，由此在相同专家群体与相同任务分布上完全消除了选择性偏差，累计采集 1,539 条细目评分与 1,530 条成对偏好。

3. 双重估计量与分层 Bootstrap 置信区间量化 为了从宏观基准聚合与微观单次决策两个截然不同的尺度度量质量恢复效果，研究定义了两个互补的差异估计量： - 秩相关恢复差异（$D_\rho = \bar{R}^{\mathrm{CJ}} - \bar{R}^{\mathrm{rub}}$）：对 Rubric 协议计算任务 $t$ 下质量等级 $q$ 的平均分 $\widehat{\mu}^{\mathrm{rub}}_{t,q} = \frac{1}{n^{\mathrm{rub}}_{t,q}}\sum_{i=1}^{n^{\mathrm{rub}}_{t,q}} s^{\mathrm{rub}}_{i,t,q}$；对成对偏好协议，采用 Bradley-Terry 概率模型聚合隐式效用参数 $\theta_{t,q}$： $$\Pr(q \succ q' \mid t) = \frac{\exp(\theta_{t,q})}{\exp(\theta_{t,q}) + \exp(\theta_{t,q'})}, \quad \sum_{q \in \mathcal{Q}} \theta_{t,q} = 0$$ 令 $\widehat{\mu}^{\mathrm{CJ}}_{t,q} = \widehat{\theta}_{t,q}$，计算与真实梯度 $\boldsymbol{g}$ 的 Spearman 秩相关系数 $R^m_t = \rho_{\mathrm{S}}(\boldsymbol{g}, \widehat{\boldsymbol{\mu}}^m_t)$ 并取全任务均值 $\bar{R}^m$。 - 单项成对胜率差异（$D_W = \bar{W}^{\mathrm{CJ}} - \bar{W}^{\mathrm{rub}}$）：统计单个成对判断中选出更高质量输出的样本比例（Rubric 中得分更高者计 1 分，平局计 0.5 分），直接反映单次标注的判别精准度。为剥离小样本评测波动的随机性，团队实施了 $B=2,000$ 次分层 Bootstrap 抽样（第一层对标注员有放回重抽样，第二层在选定标注员内对其完成的任务重抽样），从而在控制标注员个体差异的同时获得严格的 95% 置信区间。

实验关键数据¶

主实验¶

主实验全面对比了执业律师在成对比较（CJ）与准则打分（Rubrics）两种协议下的质量等级恢复能力与完成用时。

评估协议 (Protocol)	任务级秩相关 ($\bar{R}$)	单次成对胜率 ($\bar{W}$)	任务耗时中位数 (min)	估算等效工时总成本
准则评分 (Rubrics)	0.150	0.542	4.74	~$173,000
成对比较 (CJ)	0.908	0.669	1.92	~$69,000
范式差值 ($\widehat{D}$)	+0.758 [0.494, 1.021]	+0.127 [0.067, 0.186]	-59.5%	节省过半成本

注：$\widehat{D}_\rho$ 与 $\widehat{D}_W$ 括号内为 95% 层次化 Bootstrap 置信区间；统计置信度极高，显著排除 0 差异假设。

相邻质量阶梯判别与模型自动评测消融¶

研究进一步将三级质量阶梯拆解为相邻等级（I vs G、G vs E）与跨级非相邻（I vs E）对决，并引入前沿大模型作为自动评测器（Autograder，以 GPT-5.4 为代表）检验结论的迁移性。

评测执行者	评测范式	中等 vs 良好 (I vs G) 胜率	良好 vs 优秀 (G vs E) 胜率	中等 vs 优秀 (I vs E) 跨级胜率	相邻等级综合准确率
人类专家 (律师)	准则打分 (Rubrics)	0.600	0.533	0.567	0.567
人类专家 (律师)	成对比较 (CJ)	0.933	0.833	0.967	0.883
GPT-5.4 自动评测	准则打分 (Rubrics)	0.500	0.233	0.367	0.367
GPT-5.4 自动评测	成对比较 (CJ)	0.867	0.567	0.700	0.717

关键发现¶

成对比较在恢复质量梯度上呈现压倒性优势：在专家标注中，成对比较得到的任务级排位与预设梯度之间的 Spearman 秩相关系数高达 0.908，而细粒度准则打分的秩相关系数仅为 0.150（两范式相差高达 0.758，95% CI [0.494, 1.021]）；单次成对胜率上成对比较也以 66.9% 显著击败准则打分的 54.2%（接近盲猜水平）。
时间效率显著提升：成对比较完成一项任务评测的时间中位数为 1.92 分钟，相比准则打分的 4.74 分钟缩减了约 60%，大大降低了高昂专业工时的标注门槛。
细粒度准则失效并非源于区分度上限压缩：得分分布统计显示，各档输出的 Rubric 得分均匀分散在整个满分区间内，排除了“因整体打分过高造成满分截断”的技术缺陷假设；这证明细粒度打分失效的根本原因在于其事先固化的条目难以有效量化高阶文书的实质性专业优劣。
资深专家的缄默知识在成对比较中被充分释放：经验分层分析显示，随着律师执业年限提升至 10 年以上，成对比较相较于准则评分的优势愈发稳定；而当评测者转为 GPT-5.4 与 GPT-5.4-mini 等模型自动打分器时，这一规律依然成立（GPT-5.4 在 CJ 下的胜率同样大幅领先 Rubrics 达 0.172），证明了该结论在人机评估场景中的普适性。

亮点与洞察¶

高专业度基准领域首个严格配对双轨标注集：通过调动顶尖大律所合伙人与资深律师完成价值等效 24 万美元工时的实务评测，实现了在完全相同的真实任务和生成文本上同时采集细粒度细目分与成对偏好，填补了无 Ground Truth 专业领域评测方法论的实证空白。
破除对预定义准则（Rubric）客观性的盲信：工业界与学术界常默认 Rubric 是客观、可审计与标准化的评测良药，但实证数据显示在非结构化复杂法务中，Rubric 的单次胜率仅比随机猜测好 4 个百分点（54.2% vs 50.0%），且耗时翻倍，警示模型开发者慎用单一准则作为大模型评测金标。
对 RLHF 与奖励模型监督信号构建的重要启发：在难以形式化验证的高阶专业领域后训练中，研究从实证角度力证了成对偏好信号（Pairwise Preferences）相比准则式打分奖励（Rubric-based Rewards）具有更高保真度与抗噪能力，为大模型强化学习反馈数据采集策略提供了关键决策支持。

局限与展望¶

受控质量梯度对真实文本异质性的拟合限制：本文通过提示词在 6 个维度上同步调节生成三档质量，但实际业务中可能出现某篇文书“深度极佳但措辞不严谨”的多维非均衡情况；在非均衡缺陷下两类范式的表现值得进一步拓展。
专业领域与法系局限性：全部 30 项任务均源于美国通用大律所的诉讼与交易实操，评估依据建立在普通法（Common Law）体系下，其结论向大陆法系以及非诉细分垂直领域（如知识产权诉讼、刑事辩护）的泛化能力仍需检验。
未来探索方向：探索将两者优势融合的混合范式，例如将 Rubric 仅作为审阅时的思考辅助脚手架（Scaffolding），最终仍输出成对比较结果；或从高置信度的成对判断中反向归纳与动态重构可解释的准则体系。
长文本上下文记忆衰减：在长达数万词的复杂合同或案卷审阅中，成对比较可能面临评审注意力瓶颈，两类方法在超长上下文窗口下的认知负荷对比有待更广泛实验。

评分¶

论文质量: 5.0 / 5.0 (问题阐述清晰，实验设计逻辑缜密，对度量统计原理的解释深入浅出)
实验充分度: 5.0 / 5.0 (招募 51 位资深律师贡献 242 小时专业工时，结合严密统计指标与模型自动评测双重验证)
创新性: 5.0 / 5.0 (首次在高专业度真实任务上完成同专家同样本的 Rubric vs CJ 配对实证研究)
价值: 5.0 / 5.0 (为法律乃至医疗、金融等专家知识系统的大模型评测协议与 RLHF 奖励设计树立了重要的方法论指引)