BayesJudge: Uncertainty-Aware Bayesian Meta-Evaluation of Human and LLM Judgments¶

会议: NeurIPS 2026
arXiv: 2610.11116
OpenReview: https://openreview.net/forum?id=wxiKp62nSu
代码: https://anonymous.4open.science/r/BayesJudge-0879
领域: LLM评测
关键词: 贝叶斯元评测, 大语言模型裁判, 不确定度感知, 位置偏差, 标注者噪声建模

一句话总结¶

针对成对评测中人类标注分歧与 LLM 裁判系统性偏差交织的难题，BayesJudge 构建了在线流式贝叶斯元评测层，通过开放平局选项与 AB/BA 交换调用解耦数据歧义与评测器偏差，输出后验裁决分布及不确定度。

研究背景与动机¶

现代大语言模型的训练与基准评测高度依赖成对比较数据，然而在实际流水线中，不同评测者对同一对回复给出冲突标签已是常态。评测分歧不仅源于标注疏忽，更来自样本固有的语义模糊、评测准则的规范欠缺、标注人员的主观偏好及疲劳。将冲突结果简单硬压缩为多数票，抹杀了极具工程价值的诊断信息——既无法发现需要厘清细则的边缘用例，也无法甄别不可靠的标注员。与此同时，LLM-as-a-judge 虽被广泛用于低成本自动化评测，却普遍存在强烈的展示位置偏差和长度偏好，未经校准的机器裁判会进一步放大并扭曲整体评价结果。

现有研究大多将这两类问题割裂处理：LLM 裁判去偏工作通常只针对模型自身的位置伪影做启发式修正，忽略了其对齐目标即人类标注本身就充满噪声；而传统的众包噪声模型又假设机器标签具备对齐基准，无法应对机器裁判在位置调换时自我矛盾的结构性偏差。更关键的是，主流方法均以单一硬标签或标量分数作为聚合输出，在缺乏绝对客观真值的开放式生成任务中，这种做法人为掩盖了真实的不确定性。

面对人类标注内部的分歧以及 LLM 裁判的系统性位置扭曲，评测系统应当将冲突视为可量化的诊断证据而非噪声。核心 idea：通过协议级的开放平局标签（tie-open labels）与 AB/BA 交换查询（paired order swaps）作为识别工具，结合 Rao-Blackwellized 假设密度序贯蒙特卡洛（SMC）在线联合推断样本隐式偏好、人类混淆矩阵与 LLM 位置偏差，输出全后验裁决分布及熵不确定度。

方法详解¶

整体框架¶

BayesJudge 将成对评测表述为在线贝叶斯序贯推断过程。对于连续到来的评测样本流，每个样本包含待评测文本对、一组人类标注者给出的离散评价，以及由 LLM 裁判在正向（AB）与反向（BA）两种提示顺序下生成的判决结果。系统在每个时间步联合推断局部样本的内在质量与平局倾向参数，同时在线更新全局评测器参数——包括每位人类标注者的 $3 \times 3$ 混淆矩阵和每位 LLM 裁判的标量展示位置偏差系数。整体推断通过 Rao-Blackwellized 粒子滤波结合局部最大后验（MAP）优化实现轻量化流式更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["成对评测流输入<br/>原始文本对 (A, B)"] --> B["双协议评测接入<br/>开放平局标注 + AB/BA 交换提示"]
    B --> C["局部隐变量 MAP 求解<br/>质量差 θ 与平局倾向 τ"]
    C --> D["重要性权重与剖面似然更新<br/>SMC 粒子状态表征 LLM 偏差 β"]
    D --> E["序贯自适应重采样与迁移<br/>ESS 阈值监控 + 粒子多样性恢复"]
    E --> F["狄利克雷伪计数更新<br/>人类混淆矩阵 Cr 序贯更新"]
    F --> G["全后验诊断输出<br/>后验裁决分布 + 熵不确定度 + 评测偏差"]

关键设计¶

1. 双协议识别机制：利用开放平局与成对调换解除参数混淆
在成对比较模型中，若评测协议强行要求标注者在 A 和 B 之间二选一（forced choice），样本的真实平局/模糊概率在数学上是不可识别的。论文从理论上严格证明，任何非零平局质量均可被折叠进强制二元选择中而不改变观测边际分布。因此 BayesJudge 强制引入平局标签 $\text{T}$，并基于 Bradley-Terry-Davidson 扩展模型构建三元隐变量 $\eta_t = (\theta_t, \tau_t)$，其中 $\theta_t$ 控制 A 与 B 的净优劣，$\tau_t$ 控制平局倾向： $$\pi_t = g(\eta_t) = \operatorname{softmax}(\theta_t, \tau_t, -\theta_t) = \left(\frac{e^{\theta_t}}{Z_t}, \frac{e^{\tau_t}}{Z_t}, \frac{e^{-\theta_t}}{Z_t}\right), \quad Z_t = e^{\theta_t} + e^{\tau_t} + e^{-\theta_t}$$ 对于 LLM 裁判的位置偏差 $\beta_j$，若仅采用单一展示顺序 $AB$，样本固有偏好 $\theta_t$ 与位置加成 $\beta_j$ 严格线性耦合（$\ell_{AB} = 2\theta_t + 2\beta_j$）。通过构造对称调换协议，在 $AB$ 顺序赋予符号 $s_{AB}=+1$，在 $BA$ 顺序赋予 $s_{BA}=-1$，LLM 在原响应坐标系下的对数几率差被严格解耦： $$\theta_t = \frac{\ell_{AB} + \ell_{BA}}{4}, \qquad \beta_j = \frac{\ell_{AB} - \ell_{BA}}{4}$$ 由此使成对调换成为识别位置偏差的严密统计工具，而非简单的经验过滤启发式。

2. 异构观测通道联合似然：人类 Dawid-Skene 与 LLM 符号反转融合
针对多源冲突证据，模型解耦人类与 LLM 的生成机制。人类通道引入离散潜在真实类别 $z_t \in \{A, T, B\}$，边缘化 $z_t$ 后得到多人类标注者的联合似然： $$H_t(\eta_t, C) = \sum_{k \in \{A, T, B\}} g_k(\eta_t) \prod_{r \in R_t} C_r[k, y_{tr}^H]$$ 其中每位人类标注者 $r$ 拥有行随机混淆矩阵 $C_r \in [0, 1]^{3 \times 3}$，其各行服从以对角线为先验中心的狄利克雷分布 $\operatorname{Dir}(\lambda_{\text{off}}\mathbf{1} + (\lambda_{\text{diag}} - \lambda_{\text{off}})e_k)$。LLM 通道则直接将当前候选的质量差与位置偏置叠加为对数几率，在原响应坐标系下形成成对交换似然： $$L_{tj}^{\text{swap}}(\eta_t, \beta_j) = p_{tj}^{L,(AB)}(y_{tj}^{L,(AB)}) \cdot p_{tj}^{L,(BA)}(y_{tj}^{L,(BA)})$$ 样本级联合似然分解为 $p(D_t \mid \eta_t, \Phi) = H_t(\eta_t, C) \prod_{j \in J_t} L_{tj}^{\text{swap}}(\eta_t, \beta_j)$，使得人类分类混淆与机器展示偏差在统一贝叶斯骨架下相互校验。

3. Rao-Blackwellized 假设密度序贯蒙特卡洛：轻量级流式在线更新
为了支撑实时高吞吐评测流，BayesJudge 避免了对全局参数和全部历史样本的联合 MCMC 采样。算法利用 Rao-Blackwellization 策略，将低维连续的 LLM 偏差向量 $\boldsymbol{\beta}$ 交由 $M$ 个加权 SMC 粒子追踪，而每位人类的混淆矩阵 $C_r$ 则通过精确的共轭狄利克雷充分统计量 $\alpha_{r,k,\ell}^{(t)}$ 在线维护。当新样本 $D_t$ 到达时，每个粒子 $m$ 首先针对局部隐变量 $\eta$ 快速求解局部 MAP： $$\widehat{\eta}_t^{(m)} = \arg\max_\eta \left( \log \mathcal{N}(\eta; \mu_0, \Sigma_0) + \log H_t(\eta, \widehat{C}^{(t-1)}) + \sum_{j \in J_t} \log L_{tj}^{\text{swap}}(\eta, \beta_{j,t}^{(m)}) \right)$$ 利用局部 MAP 的极值高度构建剖面似然 $\widehat{m}_t^{(m)} \propto \exp\{\mathcal{L}_t^{(m)}(\widehat{\eta}_t^{(m)})\}$ 更新粒子重要性权重，并计算有效样本量（$\operatorname{ESS}$）。当 $\operatorname{ESS} < \kappa M$ 时触发系统重采样与高斯扰动迁移。随后计算后验隐类别归属度 $\bar{\rho}_{t,k}$，采用 Hard-MAP 判定将观测增量累加进对应标注者的狄利克雷先验中，实现单样本毫秒级的流式参数演进。

损失函数 / 训练策略¶

该框架为在线无监督贝叶斯推断框架，无离线梯度反向传播过程。局部优化目标为上述目标函数 $\mathcal{L}_t^{(m)}(\eta)$，在二维空间内采用 L-BFGS-B 或轻量随机游走 Metropolis-Hastings（MH）即可在 5-10 次迭代内精确收敛。全局核心超参数设置为：SMC 粒子数 $M=300$，有效样本重采样阈值比例 $\kappa=0.5$，MCMC 迁移步长 $\epsilon_t = 0.5/\sqrt{t}$，先验分布采用标准高斯先验 $\eta_t \sim \mathcal{N}(\mathbf{0}, I)$ 与 $\beta_j \sim \mathcal{N}(0, 1.0^2)$，人类混淆矩阵采用对角占优狄利克雷先验 $\lambda_{\text{diag}}=1.0, \lambda_{\text{off}}=0.05$。

实验关键数据¶

主实验¶

在现实基准 SummEval 数据集（包含 8 位人类评测者，其中 3 名专家、5 名众包标注员，以及 GPT-4o-mini 双向成对裁决，共 1,000 个比较样本）上，进行留一标注者（Leave-One-Human-Out, LOHO）预测评测，对比主流聚合算法的分类准确率（Acc）、负对数似然（NLL）、Brier 分数与期望校准误差（ECE）。

评测方法	专家组 Acc (↑)	专家组 NLL (↓)	专家组 ECE (↓)	众包组 Acc (↑)	众包组 NLL (↓)	众包组 ECE (↓)
Majority-Vote	44.8%	3.421	0.239	64.7%	2.034	0.078
Bradley–Terry–Davidson	46.33%	1.180	0.168	62.10%	1.111	0.066
MACE	38.00%	1.093	0.069	69.10%	0.792	0.035
GLAD	44.33%	1.126	0.219	63.60%	1.773	0.118
BayesJudge (本文)	65.3%	0.886	0.109	42.3%	1.008	0.042
BayesJudge (仅 LLM 交换)	59.5%	0.942	0.060	39.2%	1.075	0.053
BayesJudge (仅人类通道)	43.7%	1.019	0.056	68.9%	0.854	0.176

消融实验¶

在受控合成数据流（1,000 个样本，预设真实专家/新手混淆矩阵与无偏/有偏 LLM）上，测试不同组件对留出测试集预测对数似然（Predictive Log-Likelihood, PLL）的贡献，验证各模块互补性。

实验配置	预测对数似然 PLL (↑)	相对衰减 / 差异	说明
BayesJudge (完整模型)	-5.3356	0.0000	完整在线流式推断框架
无人类混淆学习 ($C_r = I$)	-5.3620	-0.0264	冻结人类混淆矩阵，忽略标注者能力差异
无 LLM 偏置学习 ($\beta_j = 0$)	-5.8719	-0.5363	假设 LLM 完全无位置偏差，性能剧烈恶化
冻结两端更新 ($C_r=I, \beta_j=0$)	-6.0188	-0.6832	退化为朴素三元模型，似然概率降低约一倍
仅单向评测 (No-Swap)	显著偏置且高方差	差异显著 ($p < 10^{-6}$)	单向提示导致 $\theta_t$ 与 $\beta_j$ 深度混淆

此外，针对后验熵与真实人类投票熵的相关性分析显示，二者呈现高度正相关（Spearman $\rho = 0.404, p < 10^{-40}$）。最低熵分位区间 Q1（模型确定度最高）的人类平均分歧熵仅为 $0.4165$，而最高熵分位区间 Q5（模型高度不确定）的人类分歧熵飙升至 $0.8377$。

关键发现¶

专家与众包的信号翻转特性：纯人类通道在众包评测者上表现出色（Acc 68.9%），但在专家上仅有 43.7%；而去偏后的 LLM 裁判对专家倾向的捕获能力显著强于众包（Acc 59.5%）。BayesJudge 将两者融合后，将专家预测准度一举提升至 65.3%，展现了互补融合优势。
位置偏差学习是提升的关键瓶颈：消融实验中，去掉 LLM 偏差学习使得测试 PLL 剧烈下降 0.5363 nats，而去掉人类混淆矩阵仅下降 0.0264 nats，证实机器裁判的展示偏差是污染自动化评测的首要系统性误差源。
Hard 赋值优于 Soft 赋值：在混淆矩阵狄利克雷伪计数更新中，使用硬判决（Hard-MAP）相比软责任（Soft）在运行速度上提升 22%–38%，最终混淆矩阵的 Frobenius 误差降低 6.6 倍（0.0598 vs. 0.3931），避免了初期粒子权重震荡导致概率质量过度弥散。

亮点与洞察¶

将冲突与分歧视为信息而非噪声：打破了必须压制为离散胜负标签的旧范式，把标注冲突转化为后验概率分布与熵不确定度，为生产级评测流水线提供了自动化分流（路由到人工复审）的可靠准则。
理论完备的统计识别工具箱：严密论证了“开放平局选项”对于辨识底层样本模糊度的必要性，以及“AB/BA 交换”对于解耦机器展示偏置与真实质量的代数本质，将工程经验升华为严谨的统计协议。
轻量在线滤波解耦局部与全局：采用 Rao-Blackwellized 假设密度 SMC，粒子只负责追踪极低维的裁判偏差向量，局部样本质量通过解析凸优化就地解决，在保证渐近一致性的同时获得了单样本数百毫秒的高效流式吞吐。

局限与展望¶

偏差建模维度受限：当前模型为了推导的解析便利性，仅将 LLM 偏差显式建模为标量展示位置偏置，尚未涵盖长度偏见（verbosity bias）、自偏好（self-enhancement bias）等高维复杂伪影。
样本标注覆盖稀疏性：在真实公开数据集中，每个样本通常仅由极少数标注员打分且标注者跨样本重叠度低，导致人类混淆矩阵参数在极度稀疏下收敛较慢。
下游对齐验证有待拓展：论文主要聚焦于元评测与诊断环节，后验裁决概率分布直接反哺强化学习（如 RLHF / DPO 奖励模型训练）的收益仍有待进一步实证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将成对调换和开放平局形式化为识别工具，构建了融合人机双通道的贝叶斯元评测框架。
实验充分度: ⭐⭐⭐⭐☆ 合成数据恢复与真实 SummEval 双重验证，涵盖参数收敛、消融分析与分歧熵相关性检验。
写作质量: ⭐⭐⭐⭐⭐ 统计表述极其严密，公式推导清晰，理论识别性与工程实现契合紧密。
价值: ⭐⭐⭐⭐⭐ 为大模型自动化评测、众包质量审计与 RLHF 偏好数据清洗提供了极具落地价值的方法论工具。