Statistically Reliable LLM-Based Ranking Evaluation via Prediction-Powered Inference¶

会议: ACL2026 arXiv: 2606.05308 代码: 待确认领域: llm_evaluation 关键词: PPI, LLM-as-Judge, 偏差校正, 排名评估, Precision@K, 半监督估计

一句话总结¶

PRECISE 将 Prediction-Powered Inference (PPI) 扩展到排名评估指标，通过少量人工标注 + 大量 LLM 判断的组合，在纠正 LLM 系统性偏差的同时降低指标估计方差，实现统计可靠的排名系统评估。

LLM-as-a-Judge 评估方法虽然可以大幅降低人工标注成本，但存在系统性偏差，直接替代人工标注会扭曲评估指标。现有工作主要通过 prompt 工程、微调或多智能体辩论来构建更好的 judge，但偏差依然存在。本文采取正交思路：接受 LLM judge 存在偏差，用统计方法纠正。

核心挑战在于层次化指标（如 Precision@K）存在粒度不匹配问题：人工标注是 per-document 的，但指标是 per-query 计算的。标准 PPI 无法处理这一问题，因为朴素输出空间为 $O(2^{|C|})$，当语料库规模达百万级时计算不可行。

PRECISE 基于 PPI++ 半监督估计框架：使用小规模金标集 $\mathcal{D}_g$（n 个人工标注样本）和大规模未标注集 $\mathcal{D}_u$（N 个 LLM 标注样本，N >> n），通过偏差校正项实现无偏估计。

PPI++ 偏差校正估计器：估计器 $\hat{\mu}_{PPI} = \frac{\lambda}{N}\sum_{i=1}^{N}\tilde{\mu}_u^{(i)} + \frac{1}{n}\sum_{i=1}^{n}[\phi_i - \lambda\tilde{\mu}_g^{(i)}]$，第一项为 LLM 估计，第二项为偏差校正。参数 $\lambda \in [0,1]$ 控制 LLM 信号的权重——LLM 校准好时 $\lambda \approx 1$ 以充分利用未标注数据降方差；LLM 偏差大时 $\lambda \approx 0$ 回退到纯金标估计。
层次化指标的稀疏重构：Precision@K 仅依赖 top-K 检索文档，将输出空间从 $O(2^{|C|})$ 降至 $O(2^K)$。非检索文档的概率质量折叠到全零 K 向量上，K ≤ 10 时可精确枚举。
条件独立假设下的联合分布：对每个 query 的 K 个文档，假设 LLM 逐文档独立给出相关性概率 $\tilde{p}'(d_k)$，组成联合分布 $\tilde{p}(y) = \prod_{k=1}^{K} \tilde{p}'(d_k)^{y_k}(1-\tilde{p}'(d_k))^{(1-y_k)}$。

无训练过程。$\lambda$ 通过最小化 $\hat{\mu}_{PPI}$ 的方差自动调优，估计器对任意 $\lambda > 0$ 均保持无偏。

在 ESCI 检索基准上评估 Precision@4（n=30 金标，N=60K LLM 标注）：

估计器	Bias (↓)	Std. Err. (↓)	推理成本
Gold only (n=30)	1.04	4.45	—
+ Claude 3 Sonnet	0.70	3.50	$946
+ Claude 3 Haiku	0.29	3.86	$79

未标注/金标比例：框架在 100× 比例时饱和，N=3,000 LLM 查询与 N=60,000 提供近乎相同的标准误差。
生产 A/B 测试：使用 n=100 人工标注 + N=8,400 LLM 判断，在 2 小时内完成三个系统变体排名（T1 >> T2 >> Control），T1 在日销售额上提升 +407 bps、CTR 提升 +571 bps。LLM-only 估计因系统性上偏无法区分变体，PPI 校正后恢复了区分能力。

统计学 vs. 工程学思路：不追求更好的 LLM judge，而是接受偏差并统计校正——只要有少量金标就能保证无偏，且每增加一个 LLM 标注只降方差不引入新偏差。
稀疏重构的工程意义：将层次化指标的输出空间从指数级降到可枚举，使 PPI 适用于真实排名评估场景。
生产验证：在真实搜索系统中 2 小时内完成评估并通过 A/B 测试确认，证明实际可用性。