HERO: Improving the Reliability and Sensitivity of Generative Model Evaluation Using Historical Data¶

会议: NeurIPS 2026
arXiv: 2606.29784
OpenReview: https://openreview.net/forum?id=8YiaoJ83Yi
领域: 图像生成
关键词: 生成模型评测, 历史数据复用, 标注偏差校准, 控制变量法, 方差缩减

一句话总结¶

针对生成式 AI 评测中专家金标昂贵稀疏、众包或 AI 银标异质且存在偏差的难题，本文提出 HERO 框架，利用多轮历史评测沉淀的锚定金标通过 EM 算法校准银标标注者可靠性以消除偏差，并引入跨轮共享 prompt 协变量构建得分层控制变量实现方差缩减，在 3D 资产缺陷与安全评测基准上显著降低了估计 MSE。

研究背景与动机¶

生成式 AI 模型的评测已从传统学术打榜的单次静态测试，转变为工业界产品迭代中的例行化敏捷运营实践。无论是在 3D 资产生成、文生图还是大语言模型对齐场景中，企业都需要在连续的模型版本演进、安全审核策略更新与日常部署上线之间频繁开展评测。在商业决策中，几个百分点的胜率（Win Rate）或缺陷率差异便直接决定了千万级用户流量的模型推断与发布决策。然而，获取经过专家仲裁的权威“金标”（Gold labels）成本极其高昂且样本量极小，企业日常运营主要依赖大规模但噪声严重的“银标”（Silver labels）——例如众包标注员、数据外包商或大模型自动化评委（LLM/VLM-as-a-judge）。直接对银标求平均（如简单多数表决 Majority Vote）会严重受制于标注者的系统性偏置与低质倾向，导致估计出的模型性能产生不可忽视的系统偏差；而仅依靠小规模金标样本构建的均值估计量又具有极大的方差，难以有效分辨出不同模型版本之间的真实微小差距。

深入分析工业级模型评测的真实数据可以发现，这类任务具有两个此前标注理论较少关注的本质特征：其一是组织在多轮评测生命周期中积累了海量的历史标注日志，且其中往往包含小比例的专家复核金标；其二是生成式评测的测试集往往复用固定的高质量 Prompt 库或稳定的用户流量分布，使得跨轮次的输入协变量特征（如 Prompt 语义表征与元数据）呈现出高度的分布延续性。然而，现有评测方法大多仅孤立地在当前轮次内运作，既无法消除由于标注池人员更替（Labeler Pool Shift）与标注者能力异质（Heterogeneous Reliability）引起的估计扭曲，也未能利用海量历史数据对当前有限样本的统计效力提供增益支撑。

针对上述矛盾，本文提出历史数据增强的稳健评测框架（HERO）。核心 idea：利用历史数据中稀疏锚定的专家金标通过两阶段 EM 算法辨识出银标标注者的敏感度与特异度，据此构建对当前无金标评测集去偏的一阶极大似然估计量，并进一步利用跨轮共享的 Prompt 协变量在高精度历史均值下的残差构建得分层控制变量（Control Variates），在不引入额外偏差的前提下大幅压缩估计方差。

方法详解¶

整体框架¶

HERO 的核心逻辑分为两阶段串行处理：第一阶段为标注者信度校准与偏差消除（HERO-1），第二阶段为得分层控制变量驱动的方差缩减（HERO-2）。整个评测场景涵盖历史数据集 $\mathcal{D}_{\text{hist}} = \{(\widetilde{Z}_i, \widetilde{A}_i, \widetilde{R}_i, \widetilde{Y}_i, \widetilde{X}_i)\}_{i=1}^N$ 与当前评测集 $\mathcal{D}_{\text{curr}} = \{(Z_i, A_i, X_i)\}_{i=1}^n$（其中 $n \ll N$）。在历史数据中，只有随机采样的子集（$\widetilde{R}_i=1$）由专家标注了金标 $\widetilde{Y}_i \in \{0, 1\}$，其余样本仅有银标集合 $\widetilde{Z}_i$（$\widetilde{A}_{ij}=1$ 表示标注者 $j$ 对样本 $i$ 完成了标注）；而在当前评测集中完全不存在金标，目标是无偏且高效地估计当前模型的真实平均性能参数 $\mu = \mathbb{E}[Y_i]$。

整个方法的执行流程如下所示：首先在历史数据上利用金标子集初始化标注者可靠性参数，并通过全样本半监督 EM 算法联合收敛出每位银标标注者的敏感度与特异度；随后将该参数迁移至当前评测轮次，构建边缘似然方程解出无偏的基准估计量 $\widehat{\mu}_{\text{HERO-1}}$；最后计算当前样本的得分向量，结合历史海量样本提供的精确协变量均值进行线性残差修正，解出最终估计量 $\widehat{\mu}_{\text{HERO-2}}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>历史数据(N大/含稀疏金标) + 当前数据(n小/无金标)"] --> B["阶段1：历史半监督 EM 锚定校准<br/>金标初值初始化 + 全量历史似然最大化"]
    B --> C["阶段2：当前边缘似然估计 (HERO-1)<br/>固定标注者灵敏度/特异度，解得分方程去偏"]
    C --> D["阶段3：得分层控制变量方差缩减 (HERO-2)<br/>Prompt特征跨轮残差修正，压缩估计方差"]
    D --> E["输出目标参数估计量<br/>无偏且高灵敏度的模型性能估计"]

关键设计¶

1. 历史半监督 EM 锚定校准：解决无监督 Dawid-Skene 局部收敛与标注者异质偏差 传统众包评测采用的 Dawid-Skene (DS) 模型是纯无监督的潜在类别模型，其似然函数的海森矩阵在非凸空间中并非负半定，容易陷入局部极值甚至方向翻转的退化解；而直接在当前小样本数据（$n \ll N$）上联合估计标注者参数更会导致高方差与不可辨识问题。HERO 的关键洞察在于将标注者 $j$ 的内在决策特性解耦为跨任务、跨轮次可迁移的条件概率：敏感度（Sensitivity）$\alpha_j = P(Z_{ij}=1 \mid Y_i=1)$ 与特异度（Specificity）$\beta_j = P(Z_{ij}=0 \mid Y_i=0)$。 HERO 充分利用历史数据中通过随机路由机制选出的金标子集 $\mathcal{G} = \{i: \widetilde{R}_i=1\}$ 作为可靠锚点。在初始化阶段，直接利用金标子集的样本经验均值对参数赋值，确保迭代起点严格处于全局真实解的吸引域（Basin of Attraction）内： $$\alpha_j^{(0)} = \frac{\sum_{i\in\mathcal{G}} \widetilde{A}_{ij}\widetilde{Y}_i \widetilde{Z}_{ij}}{\sum_{i\in\mathcal{G}} \widetilde{A}_{ij}\widetilde{Y}_i}, \quad \beta_j^{(0)} = \frac{\sum_{i\in\mathcal{G}} \widetilde{A}_{ij}(1-\widetilde{Y}_i)(1-\widetilde{Z}_{ij})}{\sum_{i\in\mathcal{G}} \widetilde{A}_{ij}(1-\widetilde{Y}_i)}$$ 在随后的 EM 迭代中，对于没有金标的历史样本（$\widetilde{R}_i=0$），E-step 计算潜在金标后验期望 $\widetilde{\gamma}_i = \frac{\widetilde{\mu} \widetilde{\ell}_i(1)}{\widetilde{\mu} \widetilde{\ell}_i(1) + (1-\widetilde{\mu}) \widetilde{\ell}_i(0)}$，M-step 联合利用金标与伪标签后验更新所有标注者参数直至收敛。理论证明，该锚定 EM 估计量能够以 $O_p(N^{-1/2})$ 的参数化速率一致收敛于真值，为后续当前轮次的去偏提供了确定性基准。

2. 迁移信度的一阶当前似然去偏估计（HERO-1）：消除标注池流动与质量混淆 当进入当前评测轮次时，标注者池可能发生变动（例如老标注者流失、新老混杂），且当前样本完全无金标监督。若直接采用多数表决，其隐含假设所有标注者完全同质，最终估计必然沦为各个有偏标注者误差特性的线性混合物。 HERO 将历史估计出的固定信度参数 $(\widehat{\alpha}_j, \widehat{\beta}_j)$ 注入当前数据的似然结构中。对于当前样本 $i$，其在候选金标 $y \in \{0, 1\}$ 下的联合条件似然为： $$\ell_i(1) = \prod_{j: A_{ij}=1} \widehat{\alpha}_j^{Z_{ij}} (1-\widehat{\alpha}_j)^{1-Z_{ij}}, \quad \ell_i(0) = \prod_{j: A_{ij}=1} (1-\widehat{\beta}_j)^{Z_{ij}} \widehat{\beta}_j^{1-Z_{ij}}$$ 由于当前无金标，所有样本均以边缘对数似然形式汇入目标函数，HERO-1 估计量定义为使得当前边缘对数似然最大化的参数 $\widehat{\mu}_{\text{HERO-1}}$，对应于一维得分方程的根： $$\sum_{i=1}^n \psi_i(\mu) := \sum_{i=1}^n \frac{\ell_i(1) - \ell_i(0)}{\mu \ell_i(1) + (1-\mu) \ell_i(0)} = 0$$ 比值 $\ell_i(1)/\ell_i(0)$ 天然起到了动态实例重加权的作用：当高敏感度的可信标注者一致给出正向判定时，比值显著放大，驱动估计量向高质量标注倾斜；反之，若低特异度（易误报）标注者的负向判定则会被系统性衰减。由于 $\mu$ 是标量且一维似然严格凹，该方程可通过标准标量数值优化算法极速求解。

3. 得分层控制变量方差缩减（HERO-2）：利用跨轮共享协变量提升灵敏度 仅完成偏差校准仍然不足以解决工业决策痛点：当当前评测样本量 $n$ 较小（如出于预算限制仅抽测数百个样本）时，$\widehat{\mu}_{\text{HERO-1}}$ 的统计抽样方差可能远大于待检出的模型代际微小差异。经典统计学中的控制变量法（Control Variates）通常直接作用于原始输出变量的样本均值，但 HERO-1 是通过非线性 M 估计方程隐式定义的泛函，传统残差修正无法直接适配。 HERO 创新性地在估算得分函数（Score Function）层级构建控制变量。设当前样本具有易获取的辅助协变量 $X_i$（如 Prompt 词向量、TF-IDF 语义特征或跨模型共享的初筛 AI 评委评分），其在海量历史样本上的均值 $\widehat{m}_X = \frac{1}{N}\sum_{r=1}^N \widetilde{X}_r$ 具备极高的渐近精度（误差阶为 $O_p(N^{-1/2})$）。在获得试探估计量 $\widehat{\mu}_{\text{HERO-1}}$ 后，HERO 计算每个样本的经验得分贡献值 $\widehat{\psi}_i = \psi_i(\widehat{\mu}_{\text{HERO-1}})$，并通过多元线性回归估计控制变量系数向量： $$\widehat{\gamma} = \left[ \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})(X_i - \bar{X})^\top \right]^{-1} \left[ \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X}) \widehat{\psi}_i \right]$$ 最终的 HERO-2 估计量被定义为调整后增广得分方程的求根解： $$\frac{1}{n} \sum_{i=1}^n \frac{\ell_i(1) - \ell_i(0)}{\mu \ell_i(1) + (1-\mu) \ell_i(0)} - \widehat{\gamma}^\top (\bar{X} - \widehat{m}_X) = 0$$ 只要协变量 $X_i$ 与样本得分贡献 $\psi_i$ 存在相关性，该调整项便可从渐近方差中抵消掉 $\mathcal{I}_0^{-2} \mathrm{Cov}(\psi_i, X_i)^\top \Sigma_X^{-1} \mathrm{Cov}(X_i, \psi_i)$ 的正定量，在严格保持渐近无偏性的同时实现方差的大幅缩减；而当协变量不相关时，$\widehat{\gamma} \to 0$，自适应退化为 HERO-1，不会对估计引入额外退化。

实验关键数据¶

主实验¶

论文在两套来自真实工业界顶级科技企业的大规模生成模型评测脱敏数据集上进行了系统验证。数据集评测任务涵盖 3D 资产生成模型在连续版本迭代下的生成缺陷检测（Case Study I）与安全规范合规评测（Case Study II）。真实基准中同时包含了标注者流动（Labeler-pool shift）与显著的个体敏感度/特异度差异。实验采用重复重采样评估各估计量相对于专家金标基准的平均绝对偏差（|Bias|）、标准差（SD）与均方根误差（RMSE）。

下表展示了 Case Study I（3D 生成缺陷检测，金标覆盖率 $\rho=0.10$）的主评测对比结果，其中 HERO-2 采用 GPT-5 的预评测标签作为共享控制变量：

估计方法	估计均值	绝对偏差（\|Bias\|）	标准差（SD）	均方根误差（RMSE）
Majority Vote (简单多数表决)	0.110	0.130	0.019	0.131
Dawid–Skene (当前数据无监督 EM)	0.120	0.120	0.027	0.123
MLE (历史金标样本均值校准)	0.069	0.171	0.121	0.209
HERO-1 (历史锚定去偏)	0.302	0.062	0.070	0.093
HERO-2 (HERO-1 + 得分层控制变量)	0.288	0.048	0.064	0.080

在真实基准的缺陷检测任务中，多数表决与无监督 Dawid-Skene 出现严重的系统性低估（缺陷率真值在 0.24 左右），其偏差高达 0.12~0.13；单纯利用历史金标子集估计经验比例的 MLE 基线因小样本方差剧烈震荡（SD 高达 0.121）。相比之下，HERO-1 将偏差降低了 52% 以上（从 0.130 降至 0.062），而引入控制变量的 HERO-2 进一步将绝对偏差收敛至 0.048，同时将估计标准差从 0.070 压缩至 0.064（方差缩减约 16%），整体 RMSE 较多数表决降低近 39%（从 0.131 降至 0.080）。

消融实验与合成分析¶

论文在可控合成数据环境（$N=800, n=300, J=10$ 位银标标注者，蒙特卡洛重复 $B=200$ 次）下，针对标注者异质度分散参数 $k$（$k$ 越小表示标注者方差越分散、极端异质）和控制变量信息量强度进行了细致的剥离分析：

异质度水平 ($k$ 设定)	评测方法	绝对偏差（\|Bias\|）	标准差（SD）	RMSE	相对多数表决改善
Extreme 极度异质 ($k=3$)	Majority Vote	0.158	0.025	0.160	基线
	Dawid-Skene (Current)	0.098	0.038	0.105	改善 34.4%
	Historical Sample Prop	0.042	0.045	0.062	改善 61.3%
	HERO-1 (Ours)	0.021	0.034	0.040	改善 75.0%
	HERO-2 (Ours)	0.020	0.029	0.035	改善 78.1%
Moderate 中度异质 ($k=12$)	Majority Vote	0.142	0.022	0.144	基线
	Dawid-Skene (Current)	0.089	0.035	0.096	改善 33.3%
	HERO-1 (Ours)	0.018	0.033	0.038	改善 73.6%
	HERO-2 (Ours)	0.017	0.028	0.033	改善 77.1%
Very Low 近似同质 ($k=150$)	Majority Vote	0.135	0.020	0.136	基线
	HERO-2 (Ours)	0.015	0.027	0.031	改善 77.2%

关键发现¶

对标注者极端异质性的高鲁棒性：当标注者异质度加剧（$k$ 从 150 骤降至 3）时，多数表决的偏差单调攀升至 0.158，而 HERO-1/2 依然能将绝对偏差死死锁定在 0.020 左右。这表明历史半监督 EM 能够从全量矩阵结构中充分抽取每个标注者的非对称误差剖面（Sensitivity vs Specificity），完全免疫众包群体的偏置漂移。
稀疏金标路由的高利用率：即便历史金标采样率 $\rho$ 极低（低至 5%~6%，相当于每个标注者仅审验过极少数金标例题），仅靠金标经验比例校准的 baseline 会因小样本分母崩溃而剧烈失真，而 HERO-1 借助非金标样本在 E-step 上的后验协同更新，依旧维持了高精度的参数辨识。
得分层控制变量的普适有效性：在 Case Study II（模型安全合规评测）中，使用高维 TF-IDF 文本特征结合 Ridge 惩罚作为控制变量；而在 Case Study I 中使用 GPT-5 预打标作为标量控制变量，HERO-2 均在 HERO-1 的基础上方差降低了 5%~10%，等价于将当前评测所需标注样本量直接压缩 10%~20%，显著降低运营成本。

亮点与洞察¶

将经典统计中的控制变量法升维到 M-估计得分方程层级：传统方差缩减通常要求待估计量为线性样本均值，HERO 巧妙地针对非线性似然的一阶充分统计量（得分函数 $\psi_i(\mu)$）构建残差回归，在不破坏无偏渐近正态分布的前提下，打通了利用历史先验协变量直接为现代复杂评测去噪的理论通道。
重新定义模型评测的生命周期观：跳出单次评测孤立看待标注数据的传统定势，将工业界持续滚动评测中“沉淀的历史金标资产”与“稳定的 Prompt 输入流”两大现实特征提炼为系统性的统计增益源泉，具备极高的工程落地价值。
对评测范式具有广泛的即插即用泛化性：框架不仅支持单模型缺陷率评测，还能无缝适配模型两两对比（Comparative）、Side-by-Side 偏好胜率推断以及安全合规分类器混淆矩阵（Precision/Recall）标定等主流评测形态。

局限与展望¶

跨轮次标注者决策机制的时变漂移假设：HERO 的去偏理论建立在“同一标注者的敏感度与特异度在历史与当前轮次之间保持可迁移（Transportable）”的假设之上。若标注者的评分标准随着时间推移产生认知疲劳、准则漂移或经历了新的业务培训，则历史参数的刚性迁移可能引入二次估计偏差。
Prompt 协变量分布平移风险：HERO-2 的方差缩减要求跨轮次共享协变量的均值渐近一致。如果新一轮模型评测引入了全新领域、长尾甚至对抗性的 Prompt 分布，协变量均值漂移可能导致残差修正效力下降甚至退化。
多分类与连续评分的推广需求：当前理论推导与算法实现主要针对二元（Binary）判定场景（如缺陷存在与否、胜负判定、违规与否），后续可进一步推广至李克特量表（Likert scales）或连续细粒度评分的多分类/序次回归场景。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将历史沉淀金标的半监督校准与得分层控制变量相结合，开辟了利用历史数据增益生成模型敏捷评测的统计新路径。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖完备的渐近一致性与方差缩减理论证明、详尽的合成数据蒙特卡洛压力测试以及真实工业级 3D 资产缺陷与安全评测基准检验。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式推导严谨自洽，对工业界评测痛点的抽象与数学形式化表达非常精准。
价值: ⭐⭐⭐⭐⭐ 针对生成式 AI 工业界持续评测的高成本与高噪声痛点，提供了理论扎实、即插即用且能直接缩减标注开销的高价值解决方案。

异质度水平 (\(k\) 设定)	评测方法	绝对偏差（\|Bias\|）	标准差（SD）	RMSE	相对多数表决改善
Extreme 极度异质 (\(k=3\))	Majority Vote	0.158	0.025	0.160	基线
	Dawid-Skene (Current)	0.098	0.038	0.105	改善 34.4%
	Historical Sample Prop	0.042	0.045	0.062	改善 61.3%
	HERO-1 (Ours)	0.021	0.034	0.040	改善 75.0%
	HERO-2 (Ours)	0.020	0.029	0.035	改善 78.1%
Moderate 中度异质 (\(k=12\))	Majority Vote	0.142	0.022	0.144	基线
	Dawid-Skene (Current)	0.089	0.035	0.096	改善 33.3%
	HERO-1 (Ours)	0.018	0.033	0.038	改善 73.6%
	HERO-2 (Ours)	0.017	0.028	0.033	改善 77.1%
Very Low 近似同质 (\(k=150\))	Majority Vote	0.135	0.020	0.136	基线
	HERO-2 (Ours)	0.015	0.027	0.031	改善 77.2%