Heterogeneous Judge-Aware Ranking with Sensitivity, Disagreement, and Confidence¶

会议: NeurIPS 2026
arXiv: 2605.05073
代码: https://anonymous.4open.science/r/HJA-Ranking-37BF/
领域: LLM评测
关键词: 多裁判排序, 裁判异质性, Bradley-Terry-Luce模型, 结构化残差偏好, 置信度量化

一句话总结¶

本文提出了异质裁判感知排序框架（HJA），将多裁判两两比较评分矩阵可辨识地分解为跨裁判共识、裁判共识敏感度与正交低秩残差分歧分量，配合固定裁判面板渐近推导与锚定交替近端算法，实现了高精度排序恢复、置信区间量化与裁判偏好诊断。

研究背景与动机¶

成对比较（Pairwise Comparisons）已经成为大语言模型评估、基准排行榜构建以及基于人类/AI反馈偏好对齐（RLHF/DPO）的核心接口。然而，现代评测流程中的成对判断往往不再来自单一理想评估者，而是由不同规模、不同Prompting协议、不同语言偏好甚至不同模型家族的LLM裁判（LLM-as-a-judge）或人类标注面板共同完成。现有主流排名管线（如标准Bradley-Terry-Luce模型，BTL）习惯于将所有裁判给出的投票结果直接混合池化，将其简化为一个单一的潜在得分向量，本质上是将评委之间的系统性分歧均当作各向同性的独立同分布噪声抹杀。

这种池化假设的核心矛盾在于：裁判之间的分歧绝非单纯的均匀无偏噪声，而是兼具「共识敏感度差异」与「系统性偏好异质性」的复合结构。一方面，不同裁判对全局质量共识的分辨锐度各异，较弱的模型可能输出接近随机的微弱信号；另一方面，不同裁判往往对特定的文本风格、回答长度、任务领域或特定模型家族存在固有的评判偏好（例如自偏好效应或家族偏好）。如果简单采用单标量区分度加权的敏感度模型（如JA-Ranking中的 $S = \gamma \mu^\top$），则只能处理尺度伸缩，遇到两两平局/相近能力模型（near-tie）时，模型会因无法建模结构化偏差而产生系统性偏倚与排序翻转；而如果完全放开采用无约束的低秩偏好补全，又会丢失可直接解释的全局共识排序。

本文的切入角度是：不应将多裁判比较看作争夺唯一定论的投票，而应将其视为多个既具共识又含个性偏好的统计推断目标。核心 idea：将多裁判潜在BTL得分矩阵严格可辨识地分解为全局共识方向、裁判特异性敏感度以及与其严格正交的低秩结构化残差分歧分量（$S = \gamma \mu^\top + UV^\top$），并在固定裁判面板渐近体制下建立参数渐近正态性与统计置信区间，将排序、敏感度与分歧诊断解耦量化。

方法详解¶

整体框架¶

HJA针对 $K$ 个裁判和 $N$ 个候选模型，观测带有重复比较次数的三元组集合 $\Omega = \{(k, i, j): n_{kij} > 0\}$。每个裁判 $k$ 对应一组模型得分向量 $S_{k, :}$，其成对胜负数 $Y_{kij} \sim \text{Binomial}(n_{kij}, p_{kij})$ 遵循经典的Logistic链接函数：$\text{logit}(p_{kij}) = S_{ki} - S_{kj}$。为了从混合判断中解开共识与异质性，HJA将得分矩阵表示为共识秩一分量与残差低秩分量的结构化叠加 $S = \gamma \mu^\top + UV^\top$。

整个推断流程从池化BTL与单裁判BTL联合初始化开始，通过近端交替优化分别交替更新裁判参数块 $(\gamma, U)$ 与候选模型参数块 $(\mu, V)$，并在每一轮更新后执行严格的几何重锚定（ReAnchor）以保证正交性与尺度唯一性，收敛后利用外层Fisher信息矩阵计算平滑排序对比的Wald置信区间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["多裁判成对比较数据<br/>{n_kij, Y_kij}"] --> B["初始化：混合BTL与裁判独立SVD分解"]
    B --> C["近端交替优化：裁判块与模型块交替下降"]
    C --> D["几何重锚定：规范化正交投影与SVD对齐"]
    D --> E["参数辨识收敛：获得最优分解 S = γμᵀ + UVᵀ"]
    E --> OUT["统计推断与诊断：共识与个性化排序、置信区间、杠杆率热图"]

关键设计¶

1. 规范化可辨识约束与几何分解：解耦共识、敏感度与正交分歧

直接对非凸双线性形式 $S = \gamma \mu^\top + UV^\top$ 进行似然优化存在无限多尺度的旋转与平移不确定性。为建立具有统计含义的唯一规范表示，HJA建立了四组代数约束：中心化约束要求 $\mathbf{1}_N^\top \mu = 0$ 且 $V^\top \mathbf{1}_N = \mathbf{0}_r$，吸收BTL得分的行平移自由度；标度约束要求 $\mathbf{1}_K^\top U = \mathbf{0}_r^\top$ 且裁判平均敏感度满足 $\mathbf{1}_K^\top \gamma = K$；正交性约束强制共识方向与残差模型坐标严格垂直，即 $\mu^\top V = \mathbf{0}_r^\top$；子空间锚定约束要求 $N^{-1} V^\top V = I_r$ 且 $K^{-1} U^\top U = D$（$D$ 为对角线严格递减的正定矩阵）。在这组规范约束下，共识向量精确等于所有裁判得分矩阵的行均值： $$ \mu^\top = \frac{1}{K} \mathbf{1}_K^\top S, \qquad \gamma = \frac{K}{|\mathbf{1}_K^\top S|_2^2} S S^\top \mathbf{1}_K $$ 残差分歧矩阵 $\widetilde{S} = S P_{S^\top \mathbf{1}_K}^\perp = UV^\top$ 则完全位于共识方向的正交补空间。这一设计不仅允许 $\gamma_k$ 自由测量裁判对共识的响应锐度（甚至允许异常/恶意裁判出现 $\gamma_k \le 0$），更从数学上保证了低秩项 $UV^\top$ 纯粹承载偏离共识的结构化偏好模式，而非任意的潜在偏好空间。

2. 近端交替优化与几何重锚定：保持流形约束与局部线性收敛

约束似然的目标负对数似然函数为： $$ \mathcal{L}n(\theta) = \sum} n_{kij} \left[ -\bar{Y{kij} \eta(\theta))\right) \right] $$ 其中 }(\theta) + \log\left(1 + \exp(\eta_{kij$\eta_{kij}(\theta) = \gamma_k(\mu_i - \mu_j) + U_{k,:}(V_{i,:} - V_{j,:})^\top$。由于非凸双线性与正交约束共存，直接投影梯度极易发散。算法引入带近端惩罚 $\frac{\tau}{2} (\|\gamma - \gamma^{(t)}\|_2^2 + \|U - U^{(t)}\|_F^2)$ 的交替分块步：固定 $(\mu^{(t)}, V^{(t)})$ 时，对 $(\gamma, U)$ 执行带有零均值线性约束的凸优化；固定更新后的 $(\widetilde{\gamma}, \widetilde{U})$ 时，对 $(\mu, V)$ 执行凸优化。

每次双块更新后，中间量 $(\widetilde{\gamma}, \widetilde{\mu}, \widetilde{U}, \widetilde{V})$ 会轻微脱离流形。算法紧接着执行无损的重锚定步骤（ReAnchor）：计算投影系数向量 $a = \widetilde{V}^\top \widetilde{\mu} / \|\widetilde{\mu}\|_2^2$，消除 $\widetilde{V}$ 在 $\widetilde{\mu}$ 上的平行投影 $\bar{V} = \widetilde{V} - \widetilde{\mu} a^\top$，并将对应的共识偏移补偿到敏感度上 $\gamma^+ = \widetilde{\gamma} + \widetilde{U} a$；随后对残差矩阵 $\bar{H} = \widetilde{U} \bar{V}^\top$ 计算薄SVD以恢复严格正交的 $U^+, V^+$，并根据第一非零元正负固定列符号。理论证明（定理2）该序列在局部图卡内保持目标函数单调递减并享有几何级数局部线性收敛率： $$ |\theta^{(t)} - \widehat{\theta}|_2 + \mathcal{L}_n(\theta^{(t)}) - \mathcal{L}_n(\widehat{\theta}) \le C \rho^{t - t_0}, \quad \rho \in (0, 1) $$

3. 固定裁判面板渐近推导与方差估计：提供平滑排序对比置信区间

在LLM实际评测场景中，增加受信任的裁判极其昂贵，但裁判可在Prompt、Seed或题目上进行大量重复打分，因而 $K$ 与 $N$ 常被视作固定规模，样本量信息主要源自成对比较总数 $n \to \infty$。针对这一现实体制，HJA基于加权图拉普拉斯矩阵的谱连通性，推导了约束MLE的渐近正态分布（定理3）： $$ \sqrt{n}(\widehat{\theta} - \theta^) \xrightarrow{\text{d}} \mathcal{N}\left(0, \mathcal{I}(\theta^)^{-1}\right) $$ 针对排序结果在平局处不连续而无法直接进行方差分析的痛点，HJA通过Delta方法构造任意光滑对比泛函 $q(\theta)$（如共识分差 $\mu_i - \mu_j$、裁判个性分差 $S_{ki} - S_{kj}$、敏感度 $\gamma_k$）的Wald置信区间： $$ \widehat{\text{se}}{q(\widehat{\theta})} = \left[ \frac{1}{n} \nabla q(\widehat{\theta})^\top \mathcal{I}_n(\widehat{\theta})^{-1} \nabla q(\widehat{\theta}) \right]^{1/2} $$ 结合外层Fisher信息插桩估计器 $\mathcal{I}_n(\widehat{\theta})$，模型能够为相近候选者的胜负关系给出严格可标定的不确定性区间。

4. 裁判杠杆率与残差亲和力诊断：辨识高影响离群裁判与模型家族偏好

为了防止将异常高敏且极端偏见的裁判误判为高质裁判，HJA建立了残差杠杆率诊断指标： $$ \widehat{h}k = |(\widehat{U} \widehat{V}^\top)}|_2, \qquad \widehat{\rhok = \frac{|(\widehat{U} \widehat{V}^\top) $$ 若裁判兼具极高的 }|_2}{|\widehat{\gamma}_k| |\widehat{\mu}|_2 + \varepsilon$\widehat{\gamma}_k$ 与极大的残差杠杆率 $\widehat{h}_k$，则表明其并非纯粹的黄金裁判，而是施加了强烈个性化偏执的高杠杆裁判（例如实证中发现的GLM-4.5-Air-FP8）。进一步，对残差得分矩阵 $\widehat{U}\widehat{V}^\top$ 进行双聚类（Biclustering），能清晰揭示不同LLM家族之间同源偏好或特定风格倾向。

损失函数 / 训练策略¶

优化目标由伯努利交叉熵目标函数驱动，秩 $r$ 可通过5折交叉验证最小化验证集负对数似然或基于信息准则 $\text{BIC}(r) = 2\mathcal{L}_n(\widehat{\theta}_r) + r(K + N - r - 3) \log n$ 进行一致选择。在单块子问题求解中采用 L-BFGS-B 算法，近端系数默认设为 $\tau = 30$。当重锚定步骤检测到 $\|\mu^+\|_2 < \delta_\mu$ 或残差奇异值 $\sigma_r(\Sigma) < \delta_\sigma$ 时自动触发Fail保护并放大 $\tau$，防止流形退化。

实验关键数据¶

主实验¶

在真实LLM评测数据集（Chatbot Arena、MT-Bench、UltraFeedback以及私有In-house数据集）上，对比HJA、JA-Ranking与经典BTL在注入噪声裁判后的鲁棒性、测试集泛化预测准确率以及近平局（Near-tie，胜率接近0.5）分级预测准确率。

数据集	方法	噪声鲁棒性 (Low)	噪声鲁棒性 (High)	留出集准确率	近平局准确率 (Closest)	近平局准确率 (Farthest)
Chatbot Arena	HJA (本文)	0.95 ± 0.07	0.82 ± 0.07	0.65 ± 0.01	0.68 ± 0.05	0.67 ± 0.06
Chatbot Arena	JA-Ranking	0.77 ± 0.09	0.46 ± 0.11	0.58 ± 0.01	0.58 ± 0.03	0.50 ± 0.06
Chatbot Arena	BTL	0.47 ± 0.16	0.21 ± 0.11	0.58 ± 0.01	0.57 ± 0.04	0.51 ± 0.06
MT-Bench	HJA (本文)	1.00 ± 0.00	1.00 ± 0.00	0.76 ± 0.01	0.74 ± 0.02	0.89 ± 0.01
MT-Bench	JA-Ranking	0.67 ± 0.00	0.67 ± 0.00	0.70 ± 0.01	0.62 ± 0.02	0.86 ± 0.01
MT-Bench	BTL	0.92 ± 0.15	0.85 ± 0.20	0.70 ± 0.01	0.62 ± 0.02	0.86 ± 0.01
UltraFeedback	HJA (本文)	0.81 ± 0.06	0.67 ± 0.13	0.70 ± 0.01	0.69 ± 0.05	0.71 ± 0.06
UltraFeedback	JA-Ranking	0.83 ± 0.11	0.62 ± 0.16	0.62 ± 0.01	0.55 ± 0.06	0.60 ± 0.04
UltraFeedback	BTL	0.57 ± 0.09	0.30 ± 0.10	0.61 ± 0.01	0.55 ± 0.06	0.60 ± 0.04
In-house	HJA (本文)	0.94 ± 0.05	0.33 ± 0.05	0.62 ± 0.01	0.60 ± 0.07	0.58 ± 0.10
In-house	JA-Ranking	0.65 ± 0.06	0.36 ± 0.08	0.61 ± 0.01	0.58 ± 0.07	0.59 ± 0.09
In-house	BTL	0.35 ± 0.08	0.12 ± 0.04	0.61 ± 0.01	0.57 ± 0.07	0.59 ± 0.09

消融实验¶

在受控合成数据实验（$N=8, K=4, r=1, 50$ 次独立重复）中，评估HJA完整模型、移除重锚定步骤（w/o ReAnchor）的变体、直接估计得分矩阵后再做SVD截断（Unstructured BTL+SVD）以及JA-Ranking在不同比较样本量 $T$ 与异质性尺度 $h$ 下的表现。

配置	得分矩阵MSE (T=800, h=1.0)	得分矩阵MSE (T=2500, h=1.0)	95%置信区间覆盖率 (T=2500)	裁判符号正确率 (SignAcc)
HJA 完整模型	0.35 ± 0.05	0.12 ± 0.02	94.8%	84.2%
w/o ReAnchor (省略重锚定)	0.58 ± 0.08	0.28 ± 0.04	— (非辨识不可算)	81.5%
Unstructured BTL + SVD	0.82 ± 0.12	0.39 ± 0.06	— (非光滑映射不可算)	76.8%
JA-Ranking (r=0, 仅敏感度)	0.74 ± 0.06	0.61 ± 0.04	51.3% (结构性严重失准)	73.1%
Pooled BTL (完全无异质性)	0.95 ± 0.07	0.88 ± 0.05	32.6% (严重偏差)	68.4%

关键发现¶

结构化残差分歧建模是近微弱差距（near-tie）场景的关键救星：在Chatbot Arena与UltraFeedback中，当模型能力接近（Closest near-tie）时，池化BTL与JA-Ranking预测准确率滑落至55%-58%，而HJA稳定在68%-69%，证明平局区域主要被评委的系统性审美分歧主导，而非随机噪声。
ReAnchor对数值恢复具有决定性稳定作用：消融实验显示，若省去重锚定步骤，虽然仍可保持一部分顺序信息，但由于参数在流形上发生漂移，得分矩阵MSE翻倍；非结构化的两阶段SVD在有限样本下方差过大。
不确定性覆盖率在模型错误设定下迅速崩溃：当异质性存在时，忽略残差结构的JA-Ranking名义95%置信区间实际覆盖率骤降至51.3%，HJA则完美校准至94.8%，说明只有将残差偏好显式剥离，共识排序的统计推断才具可信度。

亮点与洞察¶

解耦了「评判敏锐度」与「系统性偏执」：提出了共识敏感度 $\gamma_k$ 与残差杠杆率 $h_k$ 双轴指标，打破了传统认为“判决方差小/分辨力强就是好裁判”的直觉，成功揪出了具有强偏见的高杠杆裁判（如GLM-4.5）。
固定面板渐近理论契合现实LLM评测生态：针对工业界“评测模型固定、测试样例与Prompt扩增”的实际约束，摆脱了传统要求 $K \to \infty$ 的理论假设，给出了基于加权图拉普拉斯谱的方差保证。
可复用的流形锚定近端交替优化架构：在解决带双线性、行列归一化与正交约束的非凸极大似然问题时，将凸子问题近端迭代与无损奇异值重投影相结合的思路，可直接迁移至多任务偏好建模与推荐系统协同排序中。

局限与展望¶

对抗性合谋防范受限：若评测面板中多数裁判结盟形成系统性恶意偏见，HJA的共识均值 $\mu$ 将被合谋方向劫持，模型本身无法在缺乏真实参考基准时抵抗多数派串通。
非凸初值局部依赖性：算法采用BTL初始化，若初始成对比较图极度稀疏或不连通，局部近端优化可能陷入次优鞍点。
动态演进与非齐次性待拓展：当前模型假定裁判偏好是静态的，未考虑由于上下文学习（ICL）或长期多轮对话累积产生的评测漂移，未来可探索动态时变低秩偏好因子的建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在多裁判BTL框架中严格解耦共识、敏感度与正交低秩分歧，并证明了统计可辨识性与渐近正态性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖4个代表性真实LLM评测数据集、大规模合成控制试验、消融实验以及细致的双聚类诊断案例。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严密，理论推导逻辑闭环，实验图表信息密集且洞察深刻。
价值: ⭐⭐⭐⭐⭐ 为大模型时代的LLM-as-a-judge与复杂偏好对齐评估提供了兼具理论保证与实用诊断价值的基础统计工具。