Noisy but Valid: Robust Statistical Evaluation of LLMs with Imperfect Judges

会议: ICLR 2026
OpenReview: https://openreview.net/forum?id=hEhxreaLdU
代码: 待确认
领域: LLM 评测 / 统计认证
关键词: LLM-as-a-Judge, 假设检验, 模型认证, Type-I 误差控制, 校准, Prediction-Powered Inference

一句话总结

用一小撮人工标注估出 LLM 裁判的真/假阳性率（TPR/FPR），构造一个"方差修正"的临界阈值再去吃海量裁判标注，从而在裁判本身不可靠的情况下，依然能给出有限样本下 Type-I 误差受控（不会把不安全模型误判为安全）的 LLM 认证检验。

研究背景与动机

领域现状：要给一个 LLM 做"认证"（statistically certify 它的失败率低于安全阈值 α），目前主流靠两条路：跑公开 benchmark（GLUE/MMLU 等）测经验失败率，或上人工评测当金标准。前者受数据污染、标签噪声、过拟合榜单的扭曲；后者贵且难以放大到统计可靠所需的样本量。于是越来越多工作转向 LLM-as-a-Judge，用大模型当裁判来批量打分。

现有痛点：当前实践几乎都把裁判输出直接当成 ground truth，完全无视裁判自身的噪声——提示敏感、领域依赖、系统性偏置、偶发幻觉都会让标注不一致或有偏。结果是认证结论建立在"裁判很准"这个未经验证的盲信之上，根本谈不上统计严谨性，存在把不安全模型误判为安全的真实风险。

核心矛盾：裁判标注多（便宜、可放大）但脏；人工标注准但少。如何把这两份数据捏在一起，既享受裁判的样本量红利，又不被裁判的偏置污染掉统计保证（尤其是 Type-I 误差控制）？

与 PPI 的区别：Prediction-Powered Inference（PPI）也用"少量干净标签 + 大量脏标签"来提升统计功效，但它把裁判当黑箱控制变量纯粹做方差缩减。本文目标不同——是要做可解释的认证：显式把裁判的错误画像（TPR/FPR）建模出来。这牺牲了一点原始功效（实验里 Noisy HT 确实弱于 PPI），换来的是诊断能力——能告诉实践者这个裁判到底配不配用、要用就得多准。

本文目标：把可靠性评估形式化成一个假设检验：原假设 \(H_0: R_M = \mathbb{E}[S_M] \geq \alpha\)（模型真实失败率超过容忍度），拒绝 \(H_0\) 即获得"模型安全"的统计保证，同时严格把 Type-I 误差控制在 \(\zeta\)（如 5%）。

核心 idea：把"真失败率 \(R_M\)"的检验等价改写成"噪声失败率 \(R_J\)"的代理检验，用小数据集估裁判参数、把估计的不确定性显式塞进临界阈值里做方差修正，于是即便裁判不完美、校准数据有限，有限样本下的 Type-I 误差仍受控。

方法详解

整体框架

框架（Noisy HT）吃两份数据：大的裁判标注集 \(D_J\)（\(n_J\) 大）和小的人工标注集 \(D_M\)（\(n_M\) 小）。先在 \(D_M\) 上额外跑一遍裁判得到增广集 \(\tilde{D}_M\)（同时含人工标签 \(S_M\) 和裁判标签 \(S_J\)），由此估出裁判的 TPR/FPR；再把原本针对真失败率的检验改写成针对噪声失败率的代理检验，在 \(D_J\) 上算检验统计量 \(\hat{R}_J\)，跟一个"含校准不确定性的方差修正临界阈值 \(c'_J\)"比大小做决策。

flowchart LR
    A[小集 D_M<br/>人工标签 S_M] --> B[跑裁判得增广集 D̃_M<br/>含 S_M 与 S_J]
    B --> C[估计 TPR̂ / FPR̂<br/>式(5)]
    C --> D[算代理阈值 α̂' 与<br/>方差修正临界值 c'_J 式(6)]
    E[大集 D_J<br/>裁判标签 S_J] --> F[检验统计量<br/>R̂_J = 平均 S_J]
    D --> G{R̂_J < c'_J ?}
    F --> G
    G -->|是| H[拒绝 H_0<br/>认证模型安全]
    G -->|否| I[接受 H_0<br/>不认证]

关键设计

1. 代理假设重写：把"真失败率"检验搬到"噪声失败率"上。关键洞察是 \(R_J = \mathbb{E}[S_J]\) 只是 \(R_M\) 经过裁判这层噪声后的线性映射：\(R_J = \text{TPR}\cdot R_M + \text{FPR}\cdot(1-R_M)\)。因此原检验 \(H_0: R_M \geq \alpha\) 可等价改写成 \(H'_0: R_J \geq \alpha'\)，其中目标阈值被搬移成 \(\alpha' = \text{FPR} + (\text{TPR}-\text{FPR})\cdot\alpha\)，只依赖裁判的 TPR/FPR。这一步是整套方法的支点——它让我们能合法地拿海量裁判标注 \(\hat{R}_J\) 去做检验，而不必再纠结裁判标签和真标签不是一回事；前提是裁判"有用"（\(\text{TPR} > \text{FPR}\)，否则 \(S_J\) 不携带任何关于 \(S_M\) 的信息）。

2. 裁判建模：用小集估 TPR/FPR 并搬移阈值。在增广集 \(\tilde{D}_M\) 上用经验频率估裁判错误画像：\(\widehat{\text{TPR}} = \frac{\sum_i \mathbb{1}(S'_{Ji}=1, S_{Mi}=1)}{\sum_i \mathbb{1}(S_{Mi}=1)}\)，\(\widehat{\text{FPR}} = \frac{\sum_i \mathbb{1}(S'_{Ji}=1, S_{Mi}=0)}{\sum_i \mathbb{1}(S_{Mi}=0)}\)，进而得到阈值的即插估计 \(\hat{\alpha}' = \widehat{\text{FPR}} + (\widehat{\text{TPR}}-\widehat{\text{FPR}})\cdot\alpha\)。这一步把裁判从"黑箱"变成"有名有姓的错误率"，是本文区别于 PPI、获得可解释诊断能力的来源——实践者拿到的不只是一个 p 值，还有"这个裁判 TPR 多高、FPR 多高"的体检报告。

3. 方差修正临界阈值：把校准的不确定性显式写进门槛。决策门槛不是简单地拿 \(\hat{\alpha}'\) 比，而是

\[c'_J = \hat{\alpha}' + \Phi^{-1}(\zeta)\cdot\sqrt{\frac{\hat{\alpha}'(1-\hat{\alpha}')}{n_J} + \alpha^2\cdot\frac{\widehat{\text{TPR}}(1-\widehat{\text{TPR}})}{n_{M1}} + (1-\alpha)^2\cdot\frac{\widehat{\text{FPR}}(1-\widehat{\text{FPR}})}{n_{M0}}}\]

根号里三项分别是：检验统计量本身的方差（\(\propto 1/n_J\)）、TPR 估计的方差（\(\propto 1/n_{M1}\)）、FPR 估计的方差（\(\propto 1/n_{M0}\)）。精髓在于后两项——它们把"我对裁判参数其实没那么确定"这件事直接折进门槛：校准数据越少（\(n_M\) 越小），方差项越大，门槛越保守，越不敢轻易认证。正是这个设计让 Theorem 5.1 成立：\(P_e^{(I)} \leq \zeta + O(n_J^{-1/2} + n_{M1}^{-1/2} + n_{M0}^{-1/2})\)，即便裁判参数是估的、校准样本有限，Type-I 误差仍被压在 \(\zeta\) 附近。

4. 何时该用噪声检验：可证的裁判采纳判据与 Oracle Gap。Theorem 5.4 给出 Noisy HT 在功效（Type-II 误差更低）上超过只用人工小集的 Direct HT 的充要条件：

\[(\text{TPR}-\text{FPR})^2 > \frac{\alpha^2\cdot\frac{\text{TPR}(1-\text{TPR})}{R_M} + (1-\alpha)^2\cdot\frac{\text{FPR}(1-\text{FPR})}{1-R_M}}{R_M(1-R_M)}\]

直觉是：裁判越强（\(\text{TPR}\to 1, \text{FPR}\to 0\)）越满足条件；认证越严（\(\alpha\) 越大或 \(R_M\) 越低）对裁判要求越高。这条不等式直接画出 (TPR, FPR) 平面上的"该用/不该用"分界（论文 Figure 1-D）。此外 Theorem 5.3 给出 Oracle Gap：任何要估裁判参数的合法检验，功效都严格低于已知真参数的"Oracle"，这个差距就是"为了 validity 付出的统计代价"，只能靠加大 \(n_M\) 或引入先验（如给 TPR/FPR 加范围约束）来缩小。

实验关键数据

主实验设置

设置	数据集	被测模型（分类器/生成器）	裁判
合成	自造	—	给定 TPR/FPR
分类	Jigsaw Toxic Comment、Hate Speech Offensive	Qwen2.5-0.5B-Instruct、LLaMA-3.2-1B-Instruct	LLaMA-3.1-8B-Instruct
生成	SafeRLHF	Alpaca-7B	LLaMA-3.1-8B-Instruct、LLaMA-3.3-70B-Instruct

对比方法：Direct HT（只用人工小集）、Noisy HT（本文）、Oracle Noisy HT（已知真参数，理论上界）、PPI 变体。典型参数 \(\alpha=0.25, \zeta=0.05, n_M=100, n_J=10000\)。

关键发现

现象	观察
Type-I 控制	所有方法（Direct/Noisy/PPI）都把 Type-I 误差稳压在 5% 显著性下，验证 validity
TPR↑	Type-II 误差显著下降（裁判越敏感越好认证）
FPR↓	Type-II 误差显著下降
模型越安全（\(R_M\)↓）	Type-II 误差越低，越好认证
Noisy vs Direct	仅在高 TPR/低 FPR 区间 Noisy HT 胜出，与 Theorem 5.4 的分界一致；裁判强或被测分类器弱时优势明显
Noisy vs Oracle	Oracle 恒优于 Noisy/Direct，量化出 Oracle Gap
PPI vs Noisy	PPI 通常功效更高（尤其裁判差时），但 PPI 仍打不过 Oracle Noisy HT，提示 PPI 也有靠裁判建模继续改进的空间

诊断分析（估计器尺度与裁判鲁棒性）

校准集 \(n_M\) 从 25 增到 100（Jigsaw，重复 1000 次），\(\widehat{\text{TPR}}/\widehat{\text{FPR}}\) 的标准差随 \(n_M\) 增大而收敛，印证了"加大校准集是缩小 Oracle Gap 的直接手段"这一理论判断。

亮点与洞察

• 把"盲信裁判"换成"给裁判做体检"：方法的副产品是对裁判的可解释诊断（TPR/FPR），实践者据此能做裁判选型、样本量规划、评测协议优化，而不只是拿到一个通过/不通过。
• 方差修正阈值是点睛之笔：把校准不确定性显式塞进临界值，使检验在标注稀缺时"自动变保守"，是有限样本 Type-I 控制成立的根。
• 可证的采纳判据：Theorem 5.4 把"什么样的裁判值得用"写成 (TPR, FPR) 平面上一条干净的边界，工程上极有指导意义。
• 诚实地承认代价：明确量化并讨论 Oracle Gap 与"打不过 PPI"，没有把方法包装成全面最优，而是讲清"用可解释性换了一点功效"的取舍。

局限与展望

• 二值化评测：把模型/裁判输出都压成 pass/fail 二元标签，无法处理更细粒度的质量分级或多维度安全。
• i.i.d. 假设：要求样本独立同分布，分布漂移、对抗性场景下保证可能失效。
• 功效弱于 PPI：为换可解释性牺牲了原始统计功效，对纯粹追求高功效的场景未必划算；论文也指出可借鉴 PPI 思路改进。
• 依赖人工小集质量：TPR/FPR 估计建立在人工标签是金标准的前提上，若人工标注本身有偏，认证保证会被连带污染。
• Oracle Gap 不可消除：只要参数靠估，就永远低于 Oracle，唯一出路是堆 \(n_M\) 或引入先验约束。

相关工作与启发

• LLM-as-a-Judge：本文承认其偏置/提示敏感/可被攻击的诸多缺陷，并给出"把裁判当噪声标签、显式估错误率"的处理范式，而非回避。
• Prediction-Powered Inference（PPI）：最直接的对照系——同样用少干净 + 多脏标签，但 PPI 黑箱化裁判追功效，本文白箱化裁判追可解释认证；二者形成清晰互补。
• 保形预测 / 经典假设检验：方法根植于分布无关的有限样本保证传统（conformal、population proportion testing），把 LLM 认证纳入严谨统计框架。
• 启发：未来可把"显式裁判建模"嫁接进 PPI 以同时拿可解释性与高功效；也可推广到多值/多维评测与非 i.i.d. 设定。

评分

• 新颖性: ⭐⭐⭐⭐ — 首个系统处理"不完美裁判"认证的统计框架，代理重写 + 方差修正阈值 + 可证采纳判据的组合干净且有原创性。
• 实验充分度: ⭐⭐⭐⭐ — 合成/分类/生成三类设定、多组分类器-裁判配对、估计器尺度诊断都覆盖，理论与实验高度吻合；但模型与数据集规模偏中小。
• 写作质量: ⭐⭐⭐⭐ — 动机、定理含义、与 PPI 的取舍都讲得清楚，每个定理都配"Implication"段落降低阅读门槛。
• 价值: ⭐⭐⭐⭐ — 给安全关键场景的 LLM 认证提供了既严谨又可解释的工具，裁判选型/样本量规划的实操指导落地性强。

相关论文

• [ICLR 2026] Doubly-Robust LLM-as-a-Judge: Externally Valid Estimation with Imperfect Personas
• [ICLR 2026] When LLMs Get Significantly Worse: A Statistical Approach to Detect Model Degradations
• [ICLR 2026] BiasScope: Towards Automated Detection of Bias in LLM-as-a-Judge Evaluation
• [ICLR 2026] FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning
• [ICLR 2026] Teach2Eval: An Interaction-Driven LLMs Evaluation Method via Teaching Effectiveness