Conditional Evaluation of Language Models with Cheap Auxiliary Signals¶
会议: NeurIPS 2026
arXiv: 2608.16210
OpenReview: https://openreview.net/forum?id=H1oCdymbyt
领域: LLM评测
关键词: LLM 评测、半监督估计、控制变量、条件性能画像、辅助信号
一句话总结¶
针对大语言模型细粒度条件性能评估中人工黄金标签昂贵而廉价代理信号（如 LLM-judge、置信度等）易偏倚失准的问题，提出局部增强控制变量评估方法 LACE，通过在目标剖析协变量邻域内对廉价信号进行局部中心化与岭回归控制变量增强，在无需校准的条件下实现渐近无偏且方差最优的高精度条件画像估计。
研究背景与动机¶
在大语言模型（LLM）的综合能力评估中，单一的宏观聚合准确率往往掩盖了模型在不同输入维度上的真实能力边界与系统性短板。例如，某个模型可能在代数运算上表现极佳但在几何推理上薄弱，在高中科学测试中表现稳定而在小学阶段反而频繁失误，抑或在特定细分专业领域出现异常衰退。这种以题目元数据或难度特征等剖析协变量 \(Z \in \mathcal{Z}\) 为索引的条件性能画像 \(\theta_m(z) = \mathbb{P}(Y_{im}=1 \mid Z_i=z)\)，对于模型定向选型、下游真实场景安全部署及科学诊断归因至关重要。然而，获取高质量真实正确性标签（Gold Labels）往往需要极高成本的专家评审与严苛裁决，在有限的预算约束下，单纯依赖少量黄金标签估计条件曲线会导致统计方差过大、置信区间失控。
与稀缺昂贵的黄金标签形成鲜明对比的是，现代评估流水线中充斥着极易全量获取的廉价辅助信号（Cheap Auxiliary Signals），例如 LLM-as-a-judge 评分、与基准 Anchor 模型的成对胜率比较、自报告置信度、以及判决 Prompt 扰动下的打分分歧度等。尽管这些信号具备全样本覆盖的优势，但将其直接视为可靠标签或校准概率却极其危险，因为自动化 Judge 普遍存在位置偏置、冗长偏好、过度自信及特定子群体的系统性误判。
因此，核心矛盾在于：如何在不假设廉价评估信号具备全局校准性或绝对正确性的前提下，严谨利用全样本辅助信号所蕴含的局部相关性来辅助稀疏黄金标签，从而大幅降低条件画像的估计方差。本文的核心 idea 是：将剖析变量 \(Z\) 视作唯一目标定义域，通过在 \(Z\) 的局部邻域内对廉价信号进行局部中心化（Local Centering），使得任意线性增强项的条件期望恒为零从而保证识别无偏性，并利用全样本辅助信号与稀疏黄金标签构造局部岭正则控制变量估计器（LACE），在无需校准的条件下达成局部渐近方差最优与半监督效率倍增。
方法详解¶
整体框架¶
LACE（Local Augmented Control-Variate Evaluation）以严谨的半监督学习框架统一了连续、有序离散及无序分类剖析空间的条件均值估计。假定基准测试集全样本池为 \(T = \{1, \dots, M\}\)，每个测试项 \(i\) 均完全可观测到剖析协变量 \(Z_i \in \mathcal{Z}\) 与多维廉价辅助信号向量 \(S_{im} \in \mathbb{R}^K\)；但候选模型 \(m\) 的真实正确性黄金标签 \(Y_{im} \in \{0, 1\}\) 仅在一个大小为 \(n\) 的均匀无放回随机子集 \(L \subset T\) 上可见（采样比例 \(\pi = n/M\)）。LACE 的核心目标是估计条件剖析曲线 \(\theta_m(z) = \mathbb{E}(Y_{im} \mid Z_i=z)\)。整个流程首先根据测试项的协变量 \(Z_i\) 计算局部核加权权重，接着在局部邻域内进行去中心化统计量估计与局部岭回归系数拟合，最后将稀疏黄金标签的局部残差均值与全样本池的廉价信号均值做控制变量加权组合。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据：全样本池 T 的 (Z_i, S_im)<br/>与稀疏子集 L 的黄金标签 Y_im"] --> B["剖析空间核局部加权机制<br/>计算连续/有序/分类空间下的邻域权重 w_{i,A}(z)"]
B --> C["局部中心化条件识别<br/>构建 E[S_im|Z_i=z] 条件去均值零期望投影"]
C --> D["局部岭回归控制变量系数求解<br/>利用全集协方差与带标签协方差计算 beta_m(z)"]
D --> E["半监督双层残差重构估计<br/>结合 L 上的残差均值与 T 上的全池廉价信号均值"]
E --> F["输出目标：渐近无偏且方差最优的条件性能画像 theta_m(z)"]关键设计¶
1. 剖析空间核局部加权机制：统一覆盖连续、有序离散与无序分类的统一邻域赋权
传统半监督或预测驱动推断（PPI）往往将辅助特征与剖析特征混杂在同一条件集内，改变了原始边际推断目标。LACE 明确将剖析协变量 \(Z\) 与辅助信号向量 \(S\) 解耦，仅由 \(Z\) 刻画条件画像的目标切片。针对不同类型的剖析空间 \(\mathcal{Z}\)，设计统一的局部权重分配准则：对连续空间 \(\mathbb{R}^q\)，采用核函数加权 \(w_{i,A,h}(z) = K_h(Z_i - z) / \sum_{\ell \in A} K_h(Z_\ell - z)\)（其中 \(K_h(u) = h^{-q} K(u/h)\)）；对离散有序剖析空间，采用归一化三角有序权重 \(w_{i,A}(g) \propto (1 - |Z_i - g| / b_{\text{ord}})_+ \mathbf{1}(i \in A)\)，使临近难度或年级能够平滑借力；对无序类别变量，则自然退化为严格的子群组内均值指示权重 \(w_{i,A}(g) = \mathbf{1}(Z_i=g) / \sum_{\ell \in A} \mathbf{1}(Z_\ell=g)\)。这一统一加权方案使得局部统计量在任意剖析几何下均可一致性收敛。
2. 局部中心化条件识别：完全免疫代理偏倚的无校准零期望投影
廉价 Judge 信号普遍具有不可信的绝对打分与系统性偏倚。LACE 建立在局部中心化这一基础代数恒等式上：令 \(\mu_{S,m}(z) = \mathbb{E}(S_{im} \mid Z_i = z)\) 为廉价信号在条件 \(Z_i = z\) 下的真实条件均值。对于任意确定的权重向量 \(b(z) \in \mathbb{R}^K\)，恒有： $$ \mathbb{E}\left[ Y_{im} - b(z)^\top { S_{im} - \mu_{S,m}(z) } \mid Z_i = z \right] = \theta_m(z) $$ 由于局部去中心化后的辅助项条件期望为零，线性增广项绝不会篡改被估计量 \(\theta_m(z)\) 的期望中心。因此，LACE 彻底摆脱了对外部模型预测校准性或真实似然模型的依赖，增广系数向量 \(b(z)\) 的唯一职责就是最小化局部条件方差，即使 LLM-judge 给出具有极端位置偏差或长度偏好的打分，也绝不会引入渐近估计偏差。
3. 局部岭回归控制变量系数求解：局部最优相关性解耦与抗病态收缩
为了消除最大程度的局部线性变异，理论上最优的局部向量投影系数对应于总体条件协方差方程的解 \(\beta_m^\star(z) = \Sigma_{SS,m}(z)^\dagger \Sigma_{SY,m}(z)\)，其中 \(\Sigma_{SS,m}(z) = \operatorname{Var}(S_{im} \mid Z_i = z)\)，\(\Sigma_{SY,m}(z) = \operatorname{Cov}(S_{im}, Y_{im} \mid Z_i = z)\)。在有限样本下，为了防止局部邻域内带标签样本稀疏导致协方差矩阵奇异或过拟合，LACE 引入两尺度带宽与岭正则化：使用全样本池 \(T\)（数据充裕）来估计局部自协方差 \(\widehat{\Sigma}_{SS,m}(z)\)，而在带标签子集 \(L\) 上估计互协方差 \(\widehat{\Sigma}_{SY,m}(z)\)，并施加岭正则参数 \(\lambda > 0\)： $$ \widehat{\beta}m(z) = { \widehat{\Sigma}(z) $$ 当廉价信号在局部邻域内完全不具解释力时（}(z) + \lambda I_K }^{-1} \widehat{\Sigma}_{SY,m\(\widehat{\Sigma}_{SY,m}(z) \approx 0\)），\(\widehat{\beta}_m(z)\) 自动收缩至 0，估计器优雅退化为纯黄金标签的光滑核估计；一旦廉价信号与真实结果存在局部相关，岭系数便精确捕获并予以消除。理论证明，该估计满足一阶自适应性（First-order Adaptivity），估计系数的扰动在中心化残差下仅引入更高阶的微弱误差。
4. 半监督双层残差重构估计：全局辅助信息引导下的局部黄金残差估计
结合求解得到的自适应局部系数 \(\widehat{\beta}_m(z)\)，LACE 将最终估计器写成优美的双层残差均值形式： $$ \widehat{\theta}m^{\text{LACE}}(z) = \bar{Y}}(z) - \widehat{\betam(z)^\top { \bar{S}}(z) - \bar{S{m,T}(z) } $$ 等价地，它可以直观地改写为： $$ \widehat{\theta}m^{\text{LACE}}(z) = \sum w}(z) { Y_{im} - \widehat{\betam(z)^\top S} } + \sum_{i \in T} w_{i,T}(z) \widehat{\betam(z)^\top S $$ 这揭示了 LACE 的本质机制：昂贵且稀缺的黄金标签 \(Y\) 仅用于拟合局部线性残差的均值，而占总变异极大部分的基底信号则直接交由全样本池 \(T\) 上的大量未标注项进行精确估计。根据渐近有效性定理，LACE 相对 Naive 局部平滑估计的理论渐近相对效率增益严格等于： $$ \operatorname{Gain}_m(z) = \frac{1}{1 - (1 - \pi_0) R_m^2(z)} $$ 其中 \(R_m^2(z)\) 为局部总体多重判定系数。若辅助信号与真实标签高度相关（\(R_m^2(z) \to 1\)），方差缩减上限直接逼近 \(1/\pi\)（当 \(\pi=0.1\) 时理论增益可达 10 倍）。
实验关键数据¶
主实验¶
实验在涵盖数学推理、常识推理、科学问答与通用知识的 8 大基准（MATH-500、ScienceQA、MMLU、WinoGrande、HellaSwag、TruthfulQA、GSM8K、ARC）上展开，评估 Claude Haiku 3、Ministral 3B 与 Qwen3 32B 三大模型，辅助信号由 Claude Opus 4.6 提供。在每个基准-模型组合上独立进行 \(B=100\) 次随机抽样划分，并在三种带标签样本预算 \(n_{\text{lab}} \in \{50, 100, 200\}\)（总样本 \(M=500\)）下进行对照评估。评价指标为以全样本池真实核平滑曲线为金标准的均方误差比值（相对效率 RE，数值越大于 1 表明相对于仅用金标签的 Naive 方法提升越显著）。
下表为 24 个“基准-候选模型”单元在各标签预算下几何平均相对效率（RE）及 95% 置信区间的全景对比（表 2）：
| 估计器 (Estimator) | \(n_{\text{lab}}=50\) | \(n_{\text{lab}}=100\) | \(n_{\text{lab}}=200\) | Overall 综合 |
|---|---|---|---|---|
| Naive（仅黄金标签核平滑） | 1.000 [1.000, 1.000] | 1.000 [1.000, 1.000] | 1.000 [1.000, 1.000] | 1.000 [1.000, 1.000] |
| Plug-in (judge)（单 Judge 逻辑拟合） | 3.128 [2.342, 4.177] | 2.780 [2.398, 3.223] | 2.093 [1.863, 2.351] | 2.630 [2.270, 3.047] |
| Plug-in (multi)（多变量岭逻辑回归） | 3.214 [2.438, 4.236] | 2.876 [2.366, 3.497] | 2.006 [1.770, 2.272] | 2.647 [2.277, 3.078] |
| Aug. plug-in（增广插值法） | 1.060 [0.798, 1.406] | 1.227 [1.090, 1.382] | 1.502 [1.302, 1.734] | 1.250 [1.098, 1.423] |
| Global CV（全局单一系数控制变量） | 1.438 [1.383, 1.494] | 1.568 [1.507, 1.633] | 1.703 [1.612, 1.799] | 1.566 [1.516, 1.618] |
| Per-signal CV（仅首要信号单变量 CV） | 0.891 [0.873, 0.909] | 1.118 [1.103, 1.134] | 1.175 [1.160, 1.190] | 1.054 [1.042, 1.066] |
| Residual-only（仅带标签残差消融） | 1.185 [1.097, 1.279] | 1.049 [0.900, 1.224] | 0.597 [0.543, 0.656] | 0.906 [0.833, 0.985] |
| Scalar prediction CV（标量预测 CV） | 0.772 [0.665, 0.896] | 1.236 [1.140, 1.339] | 1.480 [1.371, 1.597] | 1.122 [1.050, 1.199] |
| Local PPI (Gu & Xia, 2024) | 0.590 [0.564, 0.617] | 0.664 [0.647, 0.683] | 0.610 [0.593, 0.627] | 0.621 [0.607, 0.636] |
| PPCI (Sui et al., 2026) | 1.171 [0.983, 1.393] | 1.262 [1.119, 1.423] | 1.347 [1.182, 1.535] | 1.258 [1.143, 1.384] |
| StratPPI (Fisch et al., 2024) | 0.676 [0.581, 0.788] | 0.850 [0.727, 0.994] | 0.863 [0.794, 0.939] | 0.792 [0.726, 0.864] |
| LACE (feasible)（本文完整方法） | 5.400 [4.997, 5.836] | 5.761 [5.321, 6.238] | 5.431 [4.895, 6.025] | 5.528 [5.181, 5.898] |
消融与代表性基准细粒度分析¶
以典型通用常识与科学基准（Ministral 3B 模型在 MMLU 与 MATH-500 上的表现）为例，分析不同控制变量机制与消融配置的均方误差（\(\text{MSE} \times 10^3\)）与相对效率：
| 基准与配置 | 指标 | \(n_{\text{lab}}=50\) | \(n_{\text{lab}}=100\) | \(n_{\text{lab}}=200\) | 说明 |
|---|---|---|---|---|---|
| MMLU (Naive) | \(\text{MSE} \times 10^3\) | 18.17 | 6.65 | 3.20 | 仅用金标签平滑，方差随标签数减半 |
| MMLU (Global CV) | RE [95% CI] | 1.20 [1.10, 1.30] | 1.28 [0.68, 2.40] | 1.41 [1.21, 1.65] | 全局固定系数无法适应难度区间变化 |
| MMLU (Per-signal CV) | RE [95% CI] | 0.84 [0.78, 0.91] | 0.99 [0.91, 1.07] | 1.09 [1.03, 1.16] | 仅用单一打分信号在极小样本时劣于 Naive |
| MMLU (Residual-only) | RE [95% CI] | 1.19 [0.98, 1.45] | 1.13 [0.84, 1.52] | 0.74 [0.44, 1.24] | 剥离未标注全样本池后效率急剧劣化 |
| MMLU (LACE 完整版) | RE [95% CI] | 4.70 [4.12, 5.37] | 4.88 [3.58, 6.64] | 4.86 [4.05, 5.83] | 完整融合 6 维异构信号与局部岭控制变量 |
| MATH-500 (Naive) | \(\text{MSE} \times 10^3\) | 7.46 | 3.50 | 1.63 | 数学推理基准金标签基准方差 |
| MATH-500 (Local PPI) | RE [95% CI] | 0.58 [0.48, 0.69] | 0.69 [0.58, 0.80] | 0.66 [0.56, 0.76] | 未重估局部权重致误差放大（RE<1） |
| MATH-500 (PPCI) | RE [95% CI] | 1.06 [0.12, 9.65] | 1.10 [0.51, 2.38] | 1.15 [0.82, 1.61] | RKHS 加权与雅可比倒数在小样本下不稳 |
| MATH-500 (LACE 完整版) | RE [95% CI] | 5.71 [3.58, 9.11] | 5.97 [4.39, 8.12] | 5.34 [2.13, 13.38] | 误差降低逾 5 倍，大幅超越各类 baseline |
关键发现¶
- 全胜战绩与巨大效率增益：LACE 在所有 72 个评估切片（8 基准 \(\times\) 3 模型 \(\times\) 3 标签预算）中均一致取得了最优性能，总体相对效率几何均值高达 5.528 倍，个别单元甚至实现超过 10 倍的方差缩减，意味着用 50 个真实标签就能达到传统方法近 300 个标签的评估精度。
- 消融剖析：全样本池辅助均值是核心动力：对比“Residual-only”（去掉了未标注全样本池项 \(\bar{S}_{m,T}(z)\)），其 RE 在 \(n_{\text{lab}}=200\) 时甚至暴跌至 0.597（严重负优化）。这证明控制变量的威力核心在于借力全样本池中海量未标注项对廉价信号均值的精准估计。
- 局部多维系数优于全局或单一标量：Global CV（全局固定单个 \(\beta\)）仅取得 1.566 倍 RE，而 Per-signal CV（仅用主 Judge 评分）平均仅 1.054 倍 RE。异构信号（Judge 分歧度、成对锚点胜率、自报告置信度）在不同题目难度区间内的互补解释能力显著，必须依靠局部多维自适应系数予以激活。
- 现有局部 PPI 方法在条件任务上的水土不服：Local PPI 与 StratPPI 的 RE 常常小于 1（分别为 0.621 与 0.792），出现严重的方差反噬。这是由于它们要么直接依赖未经重权重的外部固定预测器，要么分箱过粗引入了显著的分箱偏差与边界不连续。
亮点与洞察¶
- 解耦“剖析条件空间”与“精度增强信号”：巧妙地将科学研究关心的剖析变量 \(Z\) 保持为唯一的条件轴，而将繁杂失准的廉价信号向量 \(S\) 作为无偏控制变量引入。这既保证了无论辅助信号如何丰富均不改变科学推断的目标定义，又使得方差缩减能力最大化。
- 零代价的免校准无偏性与一阶自适应：在局部核邻域内执行中心化，使得系数 \(\beta(z)\) 的精度仅影响估计方差而不影响估计期望，且估计系数带来的统计扰动以更高阶速度衰减（\(o_p((nh^q)^{-1/2})\)），在理论与实践上完美规避了 LLM-judge 固有偏倚的侵害。
- 可复用的半监督评测范式：不仅适用于单模型剖析，还严谨推广至成对模型差距直接估计（利用同题目下成对差分的更低局部方差）与部署分布加权推断（结合重要性重加权与局部影响函数），可直接平移至代码生成、长文本理解乃至跨模态多任务细粒度评测。
局限与展望¶
- 依赖局部相关性强度：若在某些特定的极端难度区域，廉价 Judge 信号与真实正确性完全无关（局部判定系数 \(R_m^2(z) \approx 0\)），LACE 虽有岭正则保底不至于大幅恶化，但也无法带来额外的方差缩减。
- 连续剖析维度的维数灾难：局部核平滑在连续协变量维度 \(q\) 增大时，有效局部样本量按 \(n h^q\) 速度急剧衰减，目前理论与算法主要适用于低维元数据轴（\(q \le 2\)），尚无法直接在原始的高维 Dense Embedding 空间上做无参平滑。
- 极小样本下的协方差病态风险：在极稀疏标注或多维廉价信号较多时，局部协方差估计虽有岭参数 \(\lambda\) 保护，但仍需合理配置正则化超参。未来可探索将自适应带宽选择与贝叶斯局部收缩进一步结合。
相关工作与启发¶
- vs Local PPI (Gu & Xia, 2024)：Local PPI 针对标量外生预测模型设计，强制要求预测器形式固定且不进行基于局部残差相关性的自适应加权；LACE 则直接在多维辅助信号向量上自适应求解局部方差最优的岭回归系数，避免了预测器失准带来的方差膨胀。
- vs StratPPI (Fisch et al., 2024)：StratPPI 采用全局离散分箱与分层插值，分箱过细易遇局部无样本，分箱过粗则破坏连续剖析曲线的光滑性；LACE 通过统一核加权与局部三角权重，无缝覆盖连续、有序及分类变量，提供点态渐近无偏保障。
- vs MultiPPI (Cowen-Breen et al., 2026)：MultiPPI 解决了全局标量均值下的多源预测融合，而 LACE 将控制变量拓展至局部非参数条件函数空间，揭示了局部效率增益由局部总体 \(R_m^2(z)\) 决定的统计本质。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向 LLM 条件剖析的局部控制变量半监督估计器，数学构造精巧，解耦思路极其清晰。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 个标杆基准、3 款开源与闭源前沿模型、跨越多种离散与连续维度，扎实完成 100 次匹配重抽样与严格消融。
- 写作质量: ⭐⭐⭐⭐⭐ 统计表述极其严密规范，理论定理证明闭环完备，从直觉动机到代数推导层层递进。
- 价值: ⭐⭐⭐⭐⭐ 为大模型工业界与学术界降低高质量细粒度评测成本提供了理论坚固、即插即用且完全免校准的权威统计工具。