QUORUM: QUality-Optimized Routing Using Multiple annotators¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/amazon-science/QUORUM
领域: 多模态 VLM
关键词: 数据标注路由, 多标注者共识, 上下文老虎机, 预算感知优化, 难度特征估计
一句话总结¶
QUORUM 抛弃了传统依赖大模型置信度与不确定度前向推断的高开销范式,改用轻量级语言学与语义距离特征构建上下文表示,结合高斯后验更新与多标注者动态共识聚合,在固定标注预算下实现了标注质量与成本的帕累托最优协同。
研究背景与动机¶
大规模高质量数据标注是构建与对齐现代语言和多模态模型的核心瓶颈。虽然大语言模型(LLM)已成为低成本、高通量数据标注的主流替代方案,但其标注质量在不同难度和语境的样本间呈现高度的实例敏感性与方差:对于结构规范、模式固定的简单样本,轻量模型即可高精度完成;而对于蕴含细微推理、领域术语、语用歧义或复杂跨模态常识的样本,自动化标注极易产生错误甚至产生幻觉漂移,依旧高度依赖专业人类专家的监督与审核。因此,现实落地场景下的核心决策挑战已不再是单纯二选一(全人类标注还是全自动化标注),而是如何在严格的有限预算约束下,动态且最优地分配不同能力的异构标注算力与专家监督资源。
既有的人机协同与协同标注(co-annotation)范式主要依赖于模型不确定性估计或自报告置信度评分来决定是否向人类专家上报升级。然而,这类机制在实际生产管线中暴露出两大核心瓶颈:其一,它严重依赖于模型 logit 概率或自标定置信度输出的可靠性,而黑盒商业 API 往往不提供 logit,且模型自身经常存在过度自信或欠校准问题;其二,由于不确定度必须在模型完成前向生成乃至多次采样之后才能计算,导致系统在做出分流决策前必须先承担额外的 LLM 推理开销与延迟,在低预算或高吞吐数据流下极不划算。
本文的切入视角是绕过对模型内部不确定性推断的刚性依赖,直接从输入数据本身的内生复杂度和标注状态推导难度先验,并将多标注者冗余博弈内化为一个具有渐近理论保证的有预算多臂老虎机过程。核心 idea:利用基于无监督语言学指标与语义嵌入距离的轻量特征构建上下文状态,通过贝叶斯线性回归在线维护标注者质量后验,并基于后验不确定度与标注不一致性动态触发多标注者补充校验与加权共识决策,实现零模型推理预开销的高质量预算感知路由。
方法详解¶
整体框架¶
QUORUM 将数据标注分流建模为一个预算感知的序列决策过程。系统面对 \(T\) 个待标注样本,候选标注者集合包含 \(K\) 个能力与成本各异的 LLM 智能体以及人类专家 \(H\)。整个管线无需运行候选 LLM 生成任何不确定度指标,而是先通过离线静态特征工程提取输入文本的表层语言学特征与嵌入空间拓扑距离,拼接当前剩余预算比例、数据集处理进度以及标注历史掩码构成动态上下文向量 \(x_t\)。在执行主流程前,系统先预留少量人类预算进行特征空间的不确定性标定,建立针对各个标注者的初始先验;随后进入带衰减探索的在线路由阶段,根据实时预测的各标注者质量期望选择最佳执行者。初轮标注完成后,系统利用后验方差与已收集标签的分歧度计算样本优先级,对困难或争议样本自适应追加二次甚至三次标注,最终通过任务特定的加权投票或语义质心聚合生成终选标签。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入样本集合与标注预算约束"] --> B["特征空间不确定性与初始标定<br/>提取语言学与嵌入距离并校准先验"]
B --> C["高斯后验质量建模与衰减探索路由<br/>评估期望奖励并在低于阈值时上报人类"]
C --> D["预算感知自适应迭代精炼<br/>结合模型后验方差与标签分歧追加标注"]
D --> E["任务特异性共识聚合<br/>分类加权多数表决 / 摘要嵌入质心聚合"]
E --> F["输出高质量终选标注结果"]
关键设计¶
1. 特征空间不确定性与初始标定:摆脱模型前向推理依赖并建立可靠先验
针对传统协同标注依赖模型 logits 或自述置信度带来的高延迟与昂贵二次推理开销,QUORUM 提出完全脱离模型参数与推理信号的特征工程方案。每个输入样本 \(d_t\) 被映射为两部分特征的拼接:第一部分是 6 维浅层语言学特征,包括平均词长、词汇丰富度(Type-Token Ratio)、平均句长、归一化 Flesch 可读性得分、名词比例以及动词比例,这些标量刻画了文本的句法复杂度、词汇专业性与信息密度;第二部分是通过开源预训练多模态多语言文本编码器(如 Stella-1.5B)抽取的稠密向量,计算其与预设特征空间中 \(k\) 个近邻的平均余弦距离,以表征样本在语义空间中的离群程度和罕见度。在正式路由启动前,系统分配约 20% 的可用人类预算进行初始标定:通过马氏距离 \(u_t = \sqrt{(\phi(d_t) - \mu)^\top \Sigma^{-1} (\phi(d_t) - \mu)}\) 选出特征空间不确定性最高的代表性样本请求人类标注,并以此评估各候选 LLM 的初始预测准确率,用于初始化贝叶斯线性回归的后验参数,从源头上杜绝冷启动盲目决策。
2. 高斯后验质量建模与衰减探索路由:平衡多模态异构标注者质量与成本权衡
为在整个标注序列中动态感知模型能力的局限性并决定何时求助专家,QUORUM 为每个候选标注臂 \(a \in \mathcal{A} = \{1, \dots, K, H\}\) 维护高斯后验参数 \(\theta_a \sim \mathcal{N}(\mu_a, \Sigma_a)\)。系统将当前输入特征 \(\phi(d_t)\) 与动态系统状态拼接构成上下文向量 \(x_t = [\phi(d_t), b_t, p_t, m_t]\),其中 \(b_t\) 为剩余预算分数,\(p_t = t/T\) 为全局推进比例,\(m_t\) 为该样本已查询标注者的二进制掩码。各 LLM 臂预测质量通过内积估计 \(q_a = \mu_a^\top x_t\)。为防止在线策略过早收敛到局部最优的廉价模型,系统引入衰减探索因子 \(\epsilon_t = \epsilon_0 / (1 + \gamma t)\):以 \(\epsilon_t\) 概率均匀探索各可用模型;在贪心利用步中,若最优模型的预测得分 \(q_{a^*}\) 依然低于人类升级安全阈值 \(\tau_H\)(默认设为 0.5),则系统果断触发专家介入机制上报至人类标注者 \(H\)。每次获得真实或伪真实反馈后,利用共轭贝叶斯线性回归公式解析更新 \(\mu_a\) 和 \(\Sigma_a\),使得质量估计方差随处理样本数递增而严格单调衰减。
3. 预算感知自适应迭代精炼:打破单次决策局限并靶向解决标注冲突
单一路由决策往往无法应对处于决策边界附近的模糊实例,QUORUM 打破了以往“一经路由即盖棺定论”的限制,设计了基于多标注者协同决策的双阶段自适应机制。在所有样本完成初次路由后,若整体监控预算仍有剩余(系统显式保留一部分 \(B_{\text{reserved}}\) 防止前序贪婪耗尽专家预算),系统会基于后验不确定度与标注不一致性计算再标注优先级分数: $\(P_t = D_t + \Delta_t + \mathbb{I}(\text{no human})\)$ 其中 \(D_t = \frac{1}{K}\sum_{a} x_t^\top \Sigma_a x_t\) 为全模型在当前特征点上的后验认知不确定性,\(\Delta_t = 1 - \frac{\max_y \text{count}(y)}{|\mathcal{Y}_t|}\) 为已有标注集合 \(\mathcal{Y}_t\) 中的离散分歧度,\(\mathbb{I}(\text{no human})\) 则给尚无人类专家校验的样本增加补偿惩罚。系统按 \(P_t\) 降序抽取高争议样本增配额外 LLM 或人类标注(单样本上限设为 3 个标注),直到预算耗尽。
4. 任务特异性共识聚合:异构可信度加权表决与非结构化语义质心匹配
收集到多方标注后,QUORUM 依据任务输出特性定制聚合逻辑。对于包含离散标签的分类与多项选择 QA 任务,设计了人类权威偏置的加权投票共识机制:人类标注赋予权重 \(w_H = 10\),而普通 LLM 标注赋予基础权重 \(w_{\text{LLM}} = 1\)。当加权共识率超过阈值时停止额外请求,由多数裁决输出终解。对于不存在硬标签对齐的开放式文本摘要任务,离散表决失效,QUORUM 转向嵌入空间的语义一致性计算:利用编码器计算多份摘要间的两两平均余弦相似度 \(r_t = \frac{2}{|\mathcal{Y}_t|(|\mathcal{Y}_t|-1)}\sum_{i \neq j} \cos(e_i, e_j)\),并将最接近所有候选摘要嵌入均值(质心)的文本作为最终输出,从而在无监督文本生成任务中最大化语义连贯性与群体共识。
损失函数 / 训练策略¶
QUORUM 的核心推断不需要基于反向传播更新 LLM 基础权重,而是依托闭式贝叶斯线性回归进行在线后验参数迭代更新: $\(\Sigma_{a, t+1}^{-1} = \Sigma_{a, t}^{-1} + \frac{1}{\sigma^2} x_t x_t^\top, \quad \mu_{a, t+1} = \Sigma_{a, t+1} \left( \Sigma_{a, t}^{-1} \mu_{a, t} + \frac{r_{a, t}}{\sigma^2} x_t \right)\)$ 初始化方面,LLM 模型臂初始化为标准无偏先验 \(\mu_a = \mathbf{0}, \Sigma_a = \mathbf{I}\);而人类专家臂则初始化为乐观高可靠先验 \(\mu_H = 0.3 \cdot \mathbf{1}, \Sigma_H = 0.5\mathbf{I}\)。超参数配置设定初始探索率 \(\epsilon_0 = 0.3\),探索衰减率 \(\gamma = 0.005\),人类上报阈值 \(\tau_H = 0.5\),单样本最多标注数设为 3,多模型共识早停阈值为 0.66。作者严格证明了在上下文有界假设下,预测误差随着最小特征值增长趋向于 0,使得时间平均遗憾 \(\lim_{T \to \infty} R(T)/T = 0\),保证在线策略几乎必然收敛至最优预言机路由(Oracle Routing)。
实验关键数据¶
主实验¶
在 AUDITOR STYLE(固定人类专家标注比例 10% 到 70%)与 DOLLARS(固定总金额预算,包含 Claude Sonnet 4.5: $0.05、Nova Pro: $0.03、Qwen3-32B: $0.01、人类: $0.105 的异构定价)两种经典基准下全面评估。在 PubMed、MMLU-Redux、AG's News 等代表性闭卷与开卷评测任务中,QUORUM 展现出对传统置信度基线(CDI、CoAnnotating、HyPAC)的显著优势。
表 1:AUDITOR STYLE 设置下分类与摘要任务在不同人类标注比例下的精度与成本对比
| 数据集 | 评估指标 | 标注方法 | 10% 人类预算 (Acc/Cost) | 30% 人类预算 (Acc/Cost) | 50% 人类预算 (Acc/Cost) | 70% 人类预算 (Acc/Cost) |
|---|---|---|---|---|---|---|
| AG's News (LLM: 0.834) | 准确率 ↑ / 成本 ($) ↓ | Random | 0.729 / 152 | 0.805 / 304 | 0.794 / 456 | 0.804 / 608 |
| ARAIDA | 0.787 / 144 | 0.834 / 281 | 0.861 / 418 | 0.886 / 555 | ||
| CDI | 0.800 / 152 | 0.841 / 304 | 0.887 / 456 | 0.921 / 608 | ||
| CoAnnotating | 0.800 / 152 | 0.844 / 304 | 0.889 / 456 | 0.922 / 608 | ||
| HyPAC | 0.794 / 152 | 0.840 / 304 | 0.875 / 456 | 0.903 / 608 | ||
| QUORUM (本文) | 0.800 / 144 | 0.845 / 281 | 0.890 / 418 | 0.936 / 555 | ||
| MMLU-Redux (LLM: 0.633) | 准确率 ↑ / 成本 ($) ↓ | Random | 0.706 / 60 | 0.691 / 120 | 0.767 / 180 | 0.901 / 240 |
| CDI | 0.764 / 60 | 0.832 / 120 | 0.889 / 180 | 0.939 / 240 | ||
| CoAnnotating | 0.772 / 60 | 0.836 / 120 | 0.884 / 180 | 0.936 / 240 | ||
| HyPAC | 0.759 / 60 | 0.808 / 120 | 0.865 / 180 | 0.923 / 240 | ||
| QUORUM (本文) | 0.778 / 57 | 0.815 / 111 | 0.891 / 165 | 0.954 / 219 | ||
| PubMed (LLM: 0.701) | 准确率 ↑ / 成本 ($) ↓ | Random | 0.616 / 591 | 0.708 / 1183 | 0.731 / 1775 | 0.752 / 2366 |
| CDI | 0.677 / 591 | 0.749 / 1183 | 0.820 / 1775 | 0.892 / 2366 | ||
| CoAnnotating | 0.678 / 591 | 0.750 / 1183 | 0.821 / 1775 | 0.890 / 2366 | ||
| HyPAC | 0.678 / 591 | 0.749 / 1183 | 0.820 / 1775 | 0.891 / 2366 | ||
| QUORUM (本文) | 0.683 / 562 | 0.762 / 1094 | 0.835 / 1627 | 0.905 / 2159 | ||
| CNN/DM (LLM: 0.363) | ROUGE-1 ↑ / 成本 ($) ↓ | Random | 0.402 / 10455 | 0.521 / 31137 | 0.619 / 51819 | 0.781 / 72501 |
| CDI | 0.423 / 11604 | 0.556 / 34584 | 0.682 / 57564 | 0.807 / 80544 | ||
| CoAnnotating | 0.423 / 11604 | 0.550 / 34584 | 0.677 / 57564 | 0.810 / 80544 | ||
| HyPAC | 0.423 / 11604 | 0.550 / 34584 | 0.677 / 57564 | 0.806 / 80544 | ||
| QUORUM (本文) | 0.425 / 10455 | 0.560 / 31137 | 0.678 / 51819 | 0.816 / 72501 |
消融实验¶
研究者针对核心机制开展了详细消融分析,包括:(1) 基于静态特征难度的路由机制与传统 LLM 不确定性指标/随机特征的对比;(2) 增设多标注者聚合(1 到 3 个标注)对终选性能的递增增益;(3) 路由决策前序开销耗时(秒)的对比。
表 2:特征类型对比与标注数量/路由前序耗时消融分析
| 实验组 / 变量 | 配置项 / 数据集 | 评估指标 | 实验数值 | 说明与分析 |
|---|---|---|---|---|
| 特征类型对比 (10% 预算) | AG's News (LLM 不确定性 / 随机 / 本文特征) | 准确率 | 0.800 / 0.697 / 0.800 | 本文特征无需推理即可打平置信度基线 |
| SST2 (LLM 不确定性 / 随机 / 本文特征) | 准确率 | 0.948 / 0.901 / 0.968 | 本文特征在简单分类任务上甚至反超 2.0% | |
| Global-MMLU es (不确定性 / 随机 / 本文) | 准确率 | 0.741 / 0.518 / 0.749 | 随机特征雪崩,证明结构化信号不可或缺 | |
| 多标注者冗余增益 (#Annotations) | AG's News (#1 / #2 / #3) | 准确率 | 0.852 / 0.873 / 0.891 | 随标注者增加呈现显著阶梯式上升 (+3.9%) |
| PubMed (#1 / #2 / #3) | 准确率 | 0.740 / 0.756 / 0.791 | 专业医学文本中多标注共识消除单模态偏见 | |
| MMLU-Redux (#1 / #2 / #3) | 准确率 | 0.721 / 0.754 / 0.766 | 复杂问答中消除幻觉噪声带来的增益明显 | |
| CNN/DailyMail (#1 / #2 / #3) | ROUGE-1 | 0.387 / 0.398 / 0.410 | 开放生成任务通过语义质心聚合显著提质 | |
| 路由前开销对比 (AG's News) | CDI / CoAnnotating (置信度推断 CT) | 前序耗时 | 0.503s + CT (~2小时) | 每次决策前必须先跑一次 LLM 获得输出与概率 |
| SANT / ARAIDA (监督训练 TT) | 前序耗时 | 4.988s + TT (~20分钟) | 依赖专门离线训练模型,部署难度与延迟高 | |
| QUORUM (本文) | 前序耗时 | 0.494s + ET (~4分钟) | 仅依赖轻量特征抽取与一次性向量表征,提速超30倍 |
关键发现¶
- 预算状态是首要分流驱动力:老虎机特征重要性分析显示,剩余预算比值 \(b_t\)(权重 0.5333)是决定是否升级到高成本人类或昂贵模型的决定性信号,其次为已标注掩码 \(m_t\) 与词汇丰富度。系统在初期偏向均匀探索,在中期收敛到性价比最高的自动化模型,并在剩余预算见底前精准将专家配额留给真正位于困难分布的离群点。
- 特征代换完全打破“精度-延迟”负相关:采用语言学统计量加近邻余弦距离作为难度代理,不仅没有像预期那样因缺乏模型内部状态而降质,反而因为避免了 LLM 幻觉校准误差,在 10%–70% 预算区间内全面匹配甚至超越了传统模型自评置信度路由,在 SST2 上甚至实现了从 0.948 到 0.968 的超越。
- 多语言跨领域零样本泛化强劲:在西班牙语与日语的 Global-MMLU 与 XLSum 测试中,QUORUM 展现出超越英文本土任务的代际优势,在 70% 预算下的日语 Global-MMLU 上准确率达到 0.946,相比第二名领先近 4 个绝对百分点,且在带噪声的人类真实标注数据集 SentiMP-En 上维持了极高的抗噪鲁棒性。
亮点与洞察¶
- 完全解耦路由决策与模型推断:传统方法必须“先让大模型跑一遍看其信心再决定要不要请人”,本质上没有节省模型推理开销;QUORUM 颠覆了这一固有逻辑,实现真正的零推理预判断,将前序耗时从 2 小时骤降到 4 分钟。
- 兼顾离散硬标签与开放式连续生成:巧妙地将加权多数表决与基于嵌入空间的质心余弦一致性统一在同一个框架下,让同一个预算感知路由策略平滑支持多选题、分类与开放文本摘要生成。
- 保留预算缓冲池的动态再标注机制:通过拆分工作预算与预留预算 \(B_{\text{reserved}}\),并在第一轮粗筛后以 \(P_t\) 不确定度与分歧度作为优先级拉入多标注者重审,彻底解决了贪心策略在处理长数据流时后期无钱可用的早衰困境。
局限与展望¶
- 作者承认的局限:目前的实验评估以英语语料为主,多语言评测仅涵盖西班牙语和日语;此外,主要在通用分类与摘要基准上验证,尚未拓展至更加专精的垂直领域(如高度敏感的法律条款深度审查与精密临床多模态推理)。
- 潜在研究局限:语言学指标(如 Flesch 得分、词长、词性比例)高度依赖印欧语系的分词与形态学特征,对于无明显词边界的表意文字(如中文、日语)或非结构化多模态图文对,表层语言学特征的代表性有所削弱,主要由向量嵌入距离承载难度估计。
- 未来改进方向:可进一步引入多模态视觉复杂度指标(如图像信息熵、频域分布、图文对齐不匹配度),将该路由机制直接推广至带有高分辨率图表与长视频理解的超大视觉语言模型数据标注流水线。
相关工作与启发¶
- vs CoAnnotating (Li et al., 2023) / CDI (Gligorić et al., 2025):传统协同标注通过提示词自评概率或 logit 熵建立不确定度估计,不仅受限于 API 黑盒无法获取内部信息,且产生巨大的冗余计算;QUORUM 改用静态语言学+语义距离特征作为复杂度先验,兼顾极高吞吐与极低成本。
- vs HyPAC (Zeng et al., 2026):HyPAC 虽然给出了 PAC 泛化误差界,但依然依赖于输入空间的划分与模型不确定性采样;QUORUM 通过贝叶斯线性回归在线维护参数后验,同时给出后验集中性与渐近零后悔率理论证明,并天然支持多标注者增量协同。
- vs ARAIDA / SANT (Huang et al., 2024a/b):检索增强与主动学习分类器需要繁重的离线监督拟合步骤;QUORUM 的闭式后验更新完全在线进行,开箱即用且自适应冷启动。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 摆脱模型自评置信度惯性,以特征工程与有预算老虎机重新定义多标注者协同。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖分类、多项选择 QA 与开放式摘要,提供完整消融、敏感性分析与理论证明。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述严谨,符号系统统一,理论推导与算法伪代码结构极为清晰。
- 价值: ⭐⭐⭐⭐⭐ 对工业界海量数据清洗、混合智能体标注管线降本增效具有极高的落地参考价值。