LLM Judge Validation Under Sparse Overlap: From Inference to Design¶

会议: NeurIPS2026
arXiv: 2609.31857v2
领域: LLM 评测
关键词: 大语言模型裁判、稀疏重叠标注、标注者一致性、分层抽样、样本量规划

一句话总结¶

本文把 LLM 裁判验证中的重叠标注数量和分配方式当作统计设计问题：用一致性估计的方差分析规划重叠样本，再以分层分配改善代表性；真实基准上低重叠会显著改变部署结论和裁判排名，但分层降低误拒的同时可能增加误批。

研究背景与动机¶

验证一个 LLM 裁判，不能只看它给出了多少评分，还要看这些评分与人类的一致性是否达到人类之间的一致性水平。实际预算通常能支撑一个覆盖全语料的首轮标注，却无法让每个样本都被多个人复标。于是，裁判可以低成本地评遍全部样本，人类间共同看过的样本却很少；验证所需的人类一致性基准本身就可能不稳定。

扩大单次覆盖和集中复标分别有陷阱。每个人独立抽取少量样本，会使人类两两共同标注的数量比单人覆盖量还小；让所有人只标同一段数据，虽然重叠充分，却可能由于数据排序而偏向某类难度或标签。更换一致性系数并不能凭空恢复缺失的共同观测，某些机会校正系数在标签偏斜下还会放大噪声。因此，本文关注的不是训练更好的裁判，也不是推断唯一正确标签，而是在有限复标预算下可靠地测量裁判与人类的相对一致性。

论文先分析稀疏一致性估计的噪声，再比较随机、静态分层和顺序分配，最后把误差目标转成样本量规划。核心 idea：先保证每位验证者有足够的共同观测，再用有信息的分层信号分配这些观测，避免把不稳定的人类一致性基准误当成可靠的裁判部署门槛。

方法详解¶

整体框架¶

输入是样本、候选裁判的完整标签、人类首轮标签以及有限的复标预算。分析路径先明确重叠结构和所比较的一致性，再以留一法形成裁判是否达标的判定；设计路径利用其方差和判定余量规划预算，并通过分层分配收集后续标签。最终输出是相对人类一致性的接受/拒绝结论或候选排名，而不是模型训练结果。

图中实线表示已有数据上的统计分析，虚线表示据此规划下一轮标注的反馈。它不是神经网络，也没有训练监督或损失反向传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["样本与首轮标签"] --> B["重叠结构与<br/>一致性估计"]
    B --> C["留一法验证"]
    C --> D["重叠预算规划"]
    D --> E["分层标注分配"]
    E -.->|收集复标后重新估计| B
    C --> F["接受、拒绝或排名"]

关键设计¶

1. 重叠结构与一致性估计：分清单人覆盖和真正的共同观测

设语料规模为 \(n\)，共有 \(K\) 位人类和一个裁判。裁判对所有样本评分；论文的简化设置还让一位主要人类标注者覆盖全部样本，其余次级人类分别标注子集。首轮层也可以由多个人汇集而成，但不能因此忽略这些人之间的差异。没有完整首轮层时，问题变为更一般的不完全区组分配，原有简化推导不能原样套用。

这里需要区分两种重叠率。论文首先把全局 \(\rho\) 定义为所有标注者两两重叠率的平均；后续设计和实验又使用每位次级标注者的覆盖率。两者不是同一个量：在各次级独立且具有相同覆盖概率时，次级与完整首轮或裁判的期望重叠量是 \(\rho n\)，两个次级之间则只有 \(\rho^{2}n\)。因此，只有明确讨论每位次级覆盖时，才能用 \(m=\rho n\) 将重叠率换算成样本数；不能把全局两两平均直接代入。

默认一致性指标是观测一致率，即在共同标注样本中标签相同的比例。对固定非空重叠集合，在样本独立同分布且掩码与标签独立的条件下，这个样本均值无偏，方差随共同样本数的倒数下降。机会校正指标则还需估计分母：Krippendorff 的 \(\alpha\) 比较实际与期望不一致，Cohen 的 \(\kappa\) 校正基于标注者边际的机会一致，Gwet 的 AC1 改用另一种边际对称机会项。

\[ \mathrm{Var}(\hat p_{o,m})=\frac{p_o(1-p_o)}{m},\qquad \mathrm{Var}(\hat F_m)=\frac{\gamma_F(\pi)}{m}+O(m^{-2}). \]

第二个关系是论文给出的渐近形式，不能解释为任意稀疏矩阵的有限样本保证。固定正分母时，比值估计也保持倒数样本量的方差量级，并通常有倒数样本量的偏差；观测一致率则在上述条件下严格无偏。理论简化还涉及固定边际、标注者可交换性，以及附录对多标注样本采用的平衡重叠权重。

标签极度偏斜时，\(\kappa\) 和 \(\alpha\) 的机会校正分母可能很小，局部敏感性增大。AC1 的分母对任意标签分布具有下界 \(1-p_e^{\mathrm{AC1}}\geq (L-1)/L\geq 1/2\)，避免这一分母退化，但机会一致的解释也不同，不能把它视为无条件更正确的指标。

必须保留一个证明边界：附录给出的 \(O((1-p_e^\kappa)^{-4})\) 是保守上界，不是实际方差必然按该速度发散的下界，更不能仅靠两个大 O 指数证明 \(\kappa\) 必然比 \(\alpha\) 发散更快。边际集中时，分子方差和协方差也会改变，可能发生抵消；上述渐近关系中的放大系数对一般联合分布也不能只由标签流行率决定。

2. 留一法验证：比较裁判与人类池，而非裁判与被留出者的直接一致率

每次留出一位人类，其余人类组成保留池，只使用被留出者、裁判以及至少一位池内人类都可观测的样本。裁判得分比较裁判与池内人类，人类基准比较被留出者与同一池内人类；并不是直接计算裁判与被留出者的一致性。多个池内标签按可观测样本—标注者对汇总，因此一个样本若拥有更多池内标签，贡献的配对也更多。

将两者得分之差记为 \(d_k\)。论文给裁判一个容差 \(\varepsilon=0.05\)，允许其略低于人类池基准；至少一半留一比较达标时接受裁判。

\[ d_k=S(j;r_k)-S(r_{-k};r_k),\qquad T_k=\mathbf 1[d_k\geq-\varepsilon],\qquad \hat\omega=\frac{1}{K}\sum_{k=1}^{K}T_k,\qquad \text{accept iff }\hat\omega\geq0.5. \]

这个规则把一致性测量的不确定性传递到部署判定：人类基准估得过高可能误拒，估得偏低或裁判差值波动向上可能误批。论文在真实基准中用完整矩阵的判定作为有限样本参考。这里所谓“错误”是稀疏判定与该参考不一致，不是相对客观真值的错误，也不构成 AI 安全或临床适用性认证。

各留一比较共享样本和人类池，不能把它们默认当成独立伯努利试验。次级人类的重叠量通常是瓶颈；完整首轮人类被留出时，其有效样本还需要至少一位次级在场，并非全部语料都自动进入比较。

3. 重叠预算规划：用判定余量决定共同样本量，而非只给一个固定百分比

附录先对观测一致率的逐样本差值使用中心极限定理，再把正态尾概率转成每位人类所需的重叠量。若总体差值均值与容差之和为正，且逐样本差值方差为 \(\sigma_0^2\)，则单个留一比较的误拒概率近似由标准化判定余量决定。

\[ \Pr(d_k<-\varepsilon)\approx \Phi\!\left(-\frac{(\mu_d+\varepsilon)\sqrt m}{\sigma_0}\right),\qquad m^*_{\mathrm{cert}}= \left\lceil\frac{z_{1-\alpha_{\mathrm{sig}}/2}^{\,2}\sigma_0^2}{(\mu_d+\varepsilon)^2}\right\rceil. \]

这个目标针对单个比较的近似误拒率不超过 \(\alpha_{\mathrm{sig}}/2\)；它需要预先估计方差和余量。它不是对全部留一投票过程的有限样本错误率证书，也没有同时控制任意弱裁判的误批。机会校正比值可借助 delta 方法采用相同规划形式，但不是原证明中的逐样本均值。真实配对加权不平衡时，也要重新估计相应方差，不能直接把简单均值证明当成完整推导。

选择多个候选中的最佳裁判时，需要区分最优者与最近竞争者，并控制多重比较。附录使用近似相同的单裁判方差、忽略得分间协方差，将差值方差写成两倍，并对其余候选做 Bonferroni 控制。

\[ m^*_{\mathrm{rank}}= \left\lceil\frac{2z_{1-\alpha_{\mathrm{sig}}/(J-1)}^{\,2}\sigma_0^2}{\Delta_{\min}^2}\right\rceil. \]

这里 \(J\) 是候选数，\(\Delta_{\min}\) 是最优者与其余候选的最小总体得分差。两倍方差依赖零或可忽略协方差的近似，并不由“方差近似相等”单独推出；共享样本上的真实裁判可能相关。差距通常较小、多重比较更严格，因此本文数据中的排名比接受/拒绝更难，但不能无条件断言任何排名任务都更难。

4. 分层标注分配：同时审查代表性与共同覆盖，不把二者混为一谈

静态分层 Strat 用完整首轮人类的标签分层，每位次级按各层在语料中的比例抽取复标样本，余量分配到较大的层。若首轮标签能反映相关的标签边际，子集就不易漏掉少数类别，从而减少人类一致性基准的边际错配。这里“零成本”指在相同标注数量下调整任务分配，而不是无需首轮标签或无需组织成本。

顺序改进 Seq-Refined 根据此前已完成的人类标签的逐样本众数更新分层信号；顺序覆盖 Seq-Coverage 再优先选择覆盖较少的样本。它们在下一位人类开始前固定任务，不在单个人类会话内部逐题自适应。已有共识更准时，更新分层可能有益；但覆盖均衡也可能与代表性冲突，并非更复杂就一定更好。

代表性和碎片化是不同问题：按比例抽样本身不保证次级之间共同标注同一批样本。引言及附录 B.1 的演示明确使用共享分层面板，而且分层信号来自裁判标签；正文设计则以主要人类标签定义每位次级子集。笔记不将这两种实现合并成“所有 Strat 都自动最大化次级两两重叠”的定理。实施时需要同时记录每位次级覆盖量、次级两两重叠，以及是否真的共享面板。

按已观测标签选样本，使掩码依赖标签，不能直接满足定理 1 的标签独立掩码假设。本文的分层优势主要由机制解释和实验支持，需要条件化到分层内或另行进行设计型推导，不能声称其已被独立掩码定理直接证明。极端偏斜下静态信号可能退化，但顺序策略是否改善必须看具体配置，而非仅看偏斜阈值。

一个完整示例¶

考虑论文合成主设置中的 \(n=500\)，用每位次级覆盖率 \(\rho=0.05\)。每位次级平均与完整首轮共享 25 个样本；两位独立抽样的次级却只平均共享 1.25 个。这解释了为什么“每个人都标了不少”并不意味着人类间的参考足够稳定；这两个数是按独立掩码推算的示例，不是新增实验结果。

验证时留出一位次级，用其共同样本中的池内人类标签分别计算裁判和留出人类的得分，再应用容差。规划下一轮时，不是训练裁判，而是先估计差值方差和距离门槛的余量，再决定增加多少共同样本，并按有信息的层进行分配。若选择最佳裁判，还应单独检查候选得分差和共享样本造成的相关性。

实验关键数据¶

主实验¶

合成主实验使用 500 个样本、4 或 5 位人类、2 或 5 类标签，人类准确率固定为 0.85，通常每个条件重复 300 次。合成标签来自潜在类别和对称噪声通道，人类条件独立且同质；这些潜在人口参数与真实数据的完整矩阵参考是不同概念，不能互换。

真实评估涉及 10 个裁判、3 个基准来源、4 个矩阵：WAX 的皮肤病灶视觉属性评分，CeBaB 的星级与方面子任务，以及 SummEval 的摘要评分。新增裁判标签为 28,822 个。WAX 主评估为 246 个样本和 8 位人类；CeBaB-aspects 为 1,008 个方面级样本和 10 位人类；SummEval 为 6,400 个维度级样本和 3 位人类。视觉数据在这里仅用于一致性研究，没有医学诊断流程。

下表摘取原文表 3。40 表示 10 个裁判与 4 个矩阵的组合单元，不是 40 个不同模型。FR 在 20 个强通过单元上取平均，FA 在 16 个拒绝单元上取平均，WDR 覆盖全部 40 个单元，包括另 4 个边界通过单元。因此，WDR 不是只用 FR 和 FA 两列就能直接加权还原的量。

原文表 3：每位次级覆盖率	设计	Mean FR	Mean FA	Mean WDR
0.05	Random	.290	.112	.250
0.05	Strat	.142	.172	.184
0.05	Seq-Refined	.308	.098	.250
0.05	Seq-Coverage	.435	.066	.311
0.25	Random	.122	.071	.149
0.25	Strat	.027	.114	.092
0.25	Seq-Refined	.113	.070	.146
0.25	Seq-Coverage	.158	.075	.174
0.50	Random	.021	.079	.089
0.50	Strat	.007	.110	.077

Strat 在低重叠下降低误拒，但同时增加误批；它不是对两类错误均占优。每位次级覆盖达到 0.25 时，Strat 的平均 FR 为 .027，FA 仍为 .114，WDR 为 .092。这支持“强通过裁判的误拒明显改善”，不支持“非边界裁判在所有任务上均已可靠认证”。

下表摘取原文表 2 的排名结果。Rank err. 是相对完整参考颠倒的两两排序比例，Top-1 是没有选到完整参考最佳裁判的概率；它们衡量不同的失败形式。

原文表 2：每位次级覆盖率	WAX Top-1	CeBaB-asp. Top-1	CeBaB-stars Top-1	SummEval Top-1	Mean Rank err.	Mean Top-1
0.05	.670	.887	.875	.177	.278	.652
0.25	.427	.507	.517	.003	.137	.363
0.50	.270	.213	.350	.000	.082	.208

平均 Top-1 错误即使在 0.50 覆盖时仍为 .208；部署门槛较容易满足，不代表可以可靠选出最佳者。SummEval 的大样本量使其排序更稳定，但附录 C.3.1 中全部裁判的完整判定均为拒绝；排名稳定不等于裁判被认可。

消融实验¶

论文的分析对照主要是标注设计而非网络模块消融。下表从原文表 1 选取两个对照配置，考察人类池 Krippendorff 一致性估计相对完整参考的偏差、标准差和容差可靠性。可靠性是误差绝对值不超过 0.05 的试验比例，不是部署通过率。

原文表 1：配置	覆盖率	设计	Absolute bias	Std	Reliability
cebab_stars (.26)	.05	Random	.087	.126	.22
cebab_stars (.26)	.05	Strat	.001	.074	.49
cebab_stars (.26)	.25	Random	.039	.040	.58
cebab_stars (.26)	.25	Strat	.001	.028	.93
lesion@t=2 (.93)	.25	Random	.035	.066	.51
lesion@t=2 (.93)	.25	Strat	.055	.080	.41
lesion@t=2 (.93)	.25	Seq-Coverage	.021	.045	.70

星级配置表明，有信息的静态分层信号可以同时降低偏差和采样波动；极端偏斜的病灶配置则给出反例。高偏斜由合并类别构造，不是所有原始基准天然具有这种分布；不能把该分析直接当作未经处理真实任务的表现。

关键发现¶

误差类型比单个总分更重要。 表 3 中误拒下降伴随误批上升，选择设计需要考虑两种错误的代价，而不是只追求 FR 最低。
边界单元仍困难。 原文表 4 的 Strat 边界通过 WDR 在覆盖率 0.05、0.25、0.50 时分别为 .440、.323、.295；不能把门槛处“约一半错误”的正态直觉推广为任意估计器必然如此。
绝对重叠量比固定比例更具可迁移性。 附录 C.4 改变语料规模后的结果支持以共同样本数规划；比例建议受到方差、判定余量、标签分布和语料规模影响。
聚类会削弱独立样本近似。 附录 D 表 20 的强聚类配置在覆盖率 0.05、0.25、0.50 时可靠性分别为 10.0%、72.3%、99.0%；增加样本或按簇分层比盲目沿用独立样本公式更合理。

亮点与洞察¶

把缺数据问题前移为实验设计问题。 与在已有稀疏矩阵上更换估计器相比，本文直接讨论下一份标注应落在哪里。其可迁移价值是同时报告预算、共同覆盖结构和代表性，而非只报告人类人数。
把排名与达标分开。 排名需要识别很小的裁判间差距，接受/拒绝只需跨过预设人类门槛。两者应分别配置标注预算，不能复用一个“充分验证”的标签。
将人类一致性当作被估计对象。 人类池不是天然无误的上限；代表性偏差会移动这个上限。因而更准确的基准甚至可能增加相对旧门槛的批准率，统计改善不等于所有风险指标单调改善。

局限与展望¶

理论适用范围有限。 独立同分布样本、标签独立掩码、固定正分母、平衡重叠和简化可交换性很强；真实异质人类、共享难度和标签驱动分层需要更一般的加权或设计型分析。
证明细节不能替代完整协方差计算。 附录 A.2 的 \(\alpha\) 比值方差展开省略分子与分母的协方差项；\(\kappa\) 的梯度与所显示交叉项符号也不一致。笔记保留固定非退化分母下的方差量级，不采用该展开证明严格发散排序。
预算公式是渐近规划，不是全流程证书。 单个留一比较、候选得分相关性、有限语料抽样修正和最终投票依赖应分别处理；方差预估不准也会改变目标样本量。
正文与附录的部分建议不一致。 附录 E.1 称 Seq-Coverage 在两个极偏斜配置均优于 Strat，但表 1 的 cebab_aspects@t=0 在覆盖率 .25 时 Strat 可靠性 .53、Seq-Coverage .36；同处还称高重叠后设计差异约 .05，lesion@t=2 的 .41 与 .70 显然不符。应按具体表格条件判断，不能照搬全局回退规则。
不同实验结果不能自行合并。 附录 C.2 的 SummEval 随机低覆盖 WDR 非零，而 C.3.1 称该矩阵所有裁判在全部设计和覆盖率下 WDR 为零；两段的指标/实现口径不能仅凭缓存消除冲突。附录 B.1 的共享面板例子也与主评估的样本数、标注人数和分层信号不同。
部分表述强于证据。 0.25 覆盖、3–5 位人类是特定实验条件下的经验起点；误批、边界判定和选最佳者仍可能不稳定。重叠增加也不保证每个有限重复配置的错误率单调下降。
复现材料有缺口。 论文清单的部分 Yes 答案与解释中“没有统一代码包”“闭源运行提示和版本信息不完整”并存；全文未提供可核验代码仓库链接，本笔记不编造。

评分¶

新颖性: 4/5 — 将稀疏共同标注数量与分配方式提升为裁判验证的主要设计变量。
实验充分度: 4/5 — 有合成、真实矩阵、排名及设计敏感性对照，但部分口径冲突和复现信息缺口限制结论。
写作质量: 3/5 — 实践问题清楚，定理量词、证明协方差项和附录建议需要更严谨的一致性检查。
价值: 4/5 — 对有限标注预算的评测设计有用，但不是客观真值验证或安全部署认证。