跳转至

Measuring Source-Resolution Distortion in LLM Output Arbitration: A Source-Bounded Evaluation Framework

会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/datasets/Ning311/A2R-Benchmark
领域: 信息抽取
关键词: 仲裁压缩, 来源分辨率畸变, 决策账本, LLM-as-a-Judge, 可审计仲裁

一句话总结

针对多模型输出仲裁压缩过程中出现的来源结构丢失与错误映射,本文形式化定义了来源分辨率畸变(SRD),提出了源有界评测基准,并设计了先提取单元构建稀疏决策账本、再确定性渲染的 A2R 仲裁方法,显著降低冲突抹除率并提高来源可恢复性。

研究背景与动机

在大语言模型与多智能体系统中,LLM 越来越频繁地被用作仲裁者(Arbiter)或裁判(LLM-as-a-Judge),负责汇总多个候选智能体或生成系统的异构回答,并将其压缩为一个连贯的最终结论。在实际应用场景中(例如跨国医疗监管与合规调研),不同候选回答往往各自识别出高度互补或存在潜在制约的关键要素,例如某一候选提出市场与技术研发可并行展开,而另一候选强调产品分类是确定监管路径的前提条件。现有大模型仲裁者在进行信息融合时,极易输出看似合乎常理、文通字顺但实则抹平了先验制约的概括性表述(例如“在全流程持续确认监管分类的同时并行推进调研”),使得下游决策者误以为可以无条件同步开展所有事务。

这一现象暴露出的核心矛盾在于:仲裁生成的最终答案在表面语言层面上并未出现显式的事实性错误,但在多源信息压缩(Arbitration Compression)的过程中,任务强相关的来源侧逻辑结构(如前提约束、互斥冲突、归属关系等)遭到了不可逆的丢失或错位。现有关于大模型评测与裁判的研究,主要聚焦于裁判模型的偏见鲁棒性、与人类评分的宏观对齐度,或是粗粒度分数的聚合机制;而传统的检索增强生成(RAG)溯源与事实性评测,也仅停留在验证单个断言是否得到外部证据支持。然而,一个断言即便完全被来源句授权,来源之间的互斥冲突依然可能被仲裁者悄然抹除,附加在特定结论上的先决条件也可能发生漂移脱钩。

面对现有工作缺乏对“裁判/仲裁阶段来源结构损失”显式建模与量化诊断的空白,本文借鉴数字信号处理中“在不可逆降采样前通过抗混叠滤波器保留可区分频段成分”的原理,构建了源有界结构评测框架,并在仲裁执行前锚定来源侧参考结构。核心 idea:将多源仲裁建模为有损压缩过程并形式化定义来源分辨率畸变(SRD),提出先显式抽取源单元并记录局部仲裁关系的决策账本方法 A2R,以账本为刚性边界指导确定性渲染,从根本上阻断仲裁压缩过程中的结构混叠。

方法详解

整体框架

本文构建了完整的 SRD(Source-Resolution Distortion)评测理论模型与 A2R(Auditable Arbitration for Resolution)可审计仲裁框架。评测端以配对仲裁输入 \(x=(q, A, B)\) 为基础(同时外推至三候选 \(k=3\) 设定),在系统执行前由黄金标准锚定任务强相关的来源侧参考结构 \(\mathcal{S}_q(x) = (\mathcal{U}_A, \mathcal{U}_B, \mathcal{E}_q, \mathcal{P}_q, \mathcal{Q}_q)\),包括查询相关的源单元、条件关系、预期溯源与条件限定(Caveat)。评测体系使用 6 个细粒度指标定量度量最终输出对参考结构的保留与错误映射。

在仲裁方法上,A2R 打破了传统端到端生成中黑盒隐式压缩的范式,将仲裁拆解为“抽取源单元 \(\to\) 构建决策账本 \(\to\) 确定性约束渲染”的三阶段串行流水线:首先由抽取器 \(E\) 提取出候选回答中的原子事实与限定单元 \(\hat{\mathcal{U}}\);随后决策模块 \(L\) 审查源单元之间的查询条件关系,生成稀疏结构化的决策账本 \(\hat{L}\);最后渲染器 \(G\) 严格基于账本中授权的断言模板化生成最终回答 \(\hat{y}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 q 与候选回答集合 A, B"] --> B["源单元抽取器 E<br/>结构化原子单元提取"]
    B --> C["决策模块 L<br/>稀疏决策账本构建"]
    C --> D["确定性约束渲染器 G<br/>模板化声明拼接与溯源继承"]
    D --> E["最终回答 ŷ 与可审计决策账本 L"]

关键设计

1. 源单元抽取器 E:从非结构化候选文本中解耦查询相关的原子断言与约束
针对自由文本仲裁中源信息交织、边界模糊导致的属性混叠痛点,抽取器 \(E\) 并不直接生成综合答案,而是将候选回答 \(A\) 与 \(B\) 映射为结构化的原子源单元集合 \(\hat{\mathcal{U}} = \{u_i\}\)。每个单元表示为五元组 \(u_i = (\text{id}_i, \text{source}_i, \text{text}_i, \text{type}_i, \text{flags}_i)\),其中 \(\text{source}_i\) 严格锁定候选身份(\(A\) 或 \(B\)),\(\text{text}_i\) 保存原始文本锚点,\(\text{type}_i\) 与 \(\text{flags}_i\) 则精确标记其功能属性(如普通断言、证据陈述、建议项、限定条件 caveat 或约束 constraint)。抽取阶段仅筛选与查询 \(q\) 相关的有效信息并保留限定范围,从而在源头为后续关系推断提供高保真的可区分离散信号,经审计其抽取召回率达到 0.91。

2. 决策模块 L:显式记录查询条件下的局部关系与操作授权
针对多源融合中大模型容易无视逻辑冲突强行拼接、或将限定条件移花接木的痛点,决策模块 \(L\) 对抽取的源单元进行成对或局部审查,构建由稀疏决策记录组成的账本 \(\hat{L} = \{\ell_m\}\)。每条记录由六元组定义: $\(\ell_m = (d_m, I_m, r_m, o_m, c_m, p_m)\)$ 其中 \(d_m\) 为决策 ID;\(I_m \subseteq \hat{\mathcal{U}}\) 包含参与本次局部裁决的源单元;\(r_m\) 为查询条件下的语义关系(如等价 equivalent、增补 additive、互斥冲突 conflict、查询无效 query_invalid 等);\(o_m\) 为仲裁操作(如合并 merge、附带条件 condition_sources、舍弃 drop 或未决声明 report_unresolved);\(c_m\) 为本次决策唯一授权进入最终回答的断言,若包含 caveat 则强制与对应目标约束在同一作用域内;\(p_m\) 记录来源授权类别(单源 \([A]/[B]\)、联合源 \([A+B]\)、查询推导 \([query]\)、局部仲裁产生 \([resolution]\) 或显式新推断 \([new]\))。该机制将复杂的全局压缩拆解为局部可证明的原子决策,有效杜绝了无授权内容的凭空生成。

3. 确定性约束渲染器 G:消除自由重写引入的溯源丢失与条件漂移
针对大模型在最终语言组织阶段倾向于自由平滑措辞、从而导致已辨明关系再度被语义泛化抹除的痛点,渲染器 \(G\) 摒弃了黑盒大模型的自由自由重写,转而采用确定性模板对账本中的断言集合 \(\{c_m\}\) 进行串行化装配: $\(\hat{y} = G(\hat{L})\)$ 渲染器严格遵循账本记录的顺序组织语篇,仅负责合并同主题的相邻条目并补全合乎语法的逻辑连接词,断言内容、限定条件作用域和溯源标签全盘继承自账本。如果决策标记为 report_unresolved(在信息不足或标准缺失的偏好歧义场景),模板会显式陈述互斥的备选项并点明缺失的裁定准则,坚决拒绝伪造单一选择。最终生成的回答中每个实质断言均通过 final_claim_ledger 中的 licensed_by 精确回溯到具体的决策记录 \(d_m\) 和源单元,实现仲裁输出端到端的全链路可解释性与可复原性。

评估基准与实验设计

为了科学检验仲裁压缩中的结构畸变,本文建立了源有界评测集(包含 320 例受控分层样本与 200 例真实自然样本,并在 200 例 \(k=3\) 扩展集上进行鲁棒性验证),并设计了六大离散指标量化 SRD: - 冲突抹除率(CER):真实冲突被忽略或抹杀的比例,\(CER = \frac{n_{\text{eras}}}{n_{\text{res}} + n_{\text{cond}} + n_{\text{eras}}}\); - 误报冲突率(FCR):互补或等价信息被错误仲裁为冲突的比例; - 无授权添加率(UAR):输出中包含未经源内容或有效推导授权的实质陷阱断言比例; - 溯源调和分数(Prov-H):溯源暴露度 \(P_{\text{cov}} = \frac{n_{\text{ec}} + n_{\text{ew}}}{n_{\text{app}}}\) 与正确率 \(P_{\text{acc}} = \frac{n_{\text{ec}}}{n_{\text{ec}} + n_{\text{ew}}}\) 的调和均值 \(\text{Prov-H} = \frac{2 P_{\text{cov}} P_{\text{acc}}}{P_{\text{cov}} + P_{\text{acc}}}\); - 限定保留率(CPR):关键限定条件未发生漂移或脱落的比例; - 关系保真度(RF*):查询条件关系分类的曝光率与 Macro-F1。

实验关键数据

主实验

在 520 对配对样本上,将 A2R-Decision 与直接裁判(Free Judge)、带引用提示(Source-Citing Prompt)、检查表提示(Checklist Prompt)、源标记合成(Source-Tagged Synthesizer)、事后溯源(Post-hoc Attribution)、CoT 合成及开源 LLM-Blender 进行全方位对比(均基于主推理后端 gpt-5.4-2026-03-05,相对成本以 Checklist Prompt 的推理 token 量归一化为 1.00)。

系统 / 方案 CER ↓ FCR ↓ UAR ↓ Prov-H ↑ CPR ↑ 相对成本 (Rel. cost)
Free Judge 0.34 0.05 0.22 0.08 0.58 0.31
Source-Citing Prompt 0.30 0.09 0.18 0.36 0.60 0.46
Checklist Prompt 0.23 0.10 0.15 0.45 0.68 1.00
Source-Tagged Synthesizer 0.22 0.12 0.16 0.52 0.66 1.17
Post-hoc Attribution 0.24 0.09 0.17 0.55 0.64 1.54
CoT-based Synthesizer 0.24 0.06 0.16 0.31 0.64 1.38
LLM-Blender 0.27 0.04 0.16 0.18 0.63 1.22
A2R-Heuristic 0.19 0.08 0.17 0.60 0.66 0.67
A2R-Decision (Ours) 0.16 0.07 0.14 0.67 0.72 1.44

在 50 例留出验证集上的盲重构(Blind Reconstruction)与决策效用(Decision Utility)评估显示,A2R-Decision 的重构准确率达到 0.79(Checklist 为 0.58,Free Judge 仅 0.29),决策准确率达到 0.74,原因覆盖率 0.71,风险覆盖率 0.66,全流程完成时间由 218s 缩短至 128s,验证了其溯源指标与下游高风险决策的真实对应性。

消融实验

为了严格解耦“决策结构本身”与“渲染器机制”各自的贡献,作者对比了在同一框架下分别替换决策媒介与渲染器方式的表现:

配置方案 (System) 决策结构 / 渲染器 CER ↓ Prov-H ↑ 相对推理成本
Checklist Prompt 紧凑检查表 / 自由大模型终稿 0.23 0.45 1.00
Checklist-Templated 紧凑检查表 / 确定性模板渲染 0.21 0.53 0.95
A2R-LLM-Final A2R 决策账本 / 自由大模型重写 0.18 0.58 1.84
A2R-Decision A2R 决策账本 / 确定性模板渲染 0.16 0.67 1.44

在 40 例偏好歧义子集上,启用 report_unresolved 操作后,正确展现条件性或未决状态的比例从 52.5%(21/40)提升至 65.0%(26/40),错误强行给出结论的比例从 40.0%(16/40)大幅下降至 27.5%(11/40)。

关键发现

  • 答案偏好与来源可恢复性严重解耦:盲测用户偏好评估(Win+Tie/2)显示,A2R-Decision 对比 Checklist Prompt 为 53%,对比 Source-Tagged Synth 为 51%,对比 Post-hoc Attribution 为 51%,而在语言流畅度极佳的基线(Free Judge、CoT、LLM-Blender)上,即使表面回答偏好并驾齐驱,基线的 Prov-H 极低(0.08~0.31),CER 高达 0.24~0.34,证明自由生成模型普遍通过“磨平表层分歧”换取流利度,掩盖了关键结构的严重失真。
  • 账本与确定性渲染形成双重防线:如消融表所示,仅引入确定性渲染(Checklist-Templated)将 Prov-H 从 0.45 提至 0.53;仅引入 A2R 账本但保留 LLM 自由重写(A2R-LLM-Final)使 Prov-H 达到 0.58;而两者协同使 Prov-H 跃升至 0.67,CER 降至 0.16,证明中间结构化决策与最终语法约束缺一不可。
  • 查询动态诱导单元逻辑关系:在 150 组查询对比实验中,查询感知分类器 Macro-F1 达到 0.73,显著优于盲查模型(0.54)和对照查询模型(0.45),证明源断言间的冲突或互补并非由文本字面相似度决定,而是严格取决于查询语境下的实际任务目标。

亮点与洞察

  • 将信号处理抗混叠思想迁移至文本仲裁:巧妙地将多智能体输出压缩过程类比为数字信号的下采样,提出在不可逆压缩前先构建可区分结构(决策账本),以“先仲裁分辨、后约束聚合”的机制根治了仲裁合并带来的结构混叠。
  • 揭示了“高流畅度假象”下的评测盲区:有力指出主流 LLM-as-a-Judge 与多候选集成体系长期依赖的“答案偏好/流畅度”无法表征事实结构的留存,为复杂多源推理系统提供了亟需的溯源性与可审计性度量工具。
  • 层次化的算力与保真度权衡设计:设计的 A2R-Heuristic 版本仅以简单的启发式规则筛选源单元,就能在 0.67x 相对成本下达成 Prov-H 0.60 与 CER 0.19,为资源受限的高通量生产部署提供了极具实用价值的落地范式。

局限与展望

  • 源有界评估与开域真实性的边界:当前框架属于源有界(Source-bounded)评测,即仅衡量仲裁过程是否忠实保留了候选回答提供的结构,无法核验候选回答本身在开域世界中的客观真实性;若候选系统输入包含事实错误且被账本采纳,输出依然会忠实呈现该错误。
  • 源抽取阶段的不可逆漏检风险:A2R-Decision 依赖前期抽取器 \(E\) 的表现,当前抽取召回率约为 0.91;一旦关键源单元在第一阶段遗漏,后续账本与渲染器均无法恢复,虽可通过覆盖率重审(Coverage Review)缓解但会额外增加模型调用。
  • 复杂多源与动态交互场景的扩展:主实验主要立足于双候选仲裁,在 \(k=3\) 扩展验证中 Prov-H 从 0.67 降至 0.55,面对超大规模、高度异质性候选集或多轮交互式智能体辩论,高阶逻辑组合与溯源图的建模复杂度将显著攀升。

相关工作与启发

  • vs LLM-as-a-Judge 鲁棒性与偏见研究 (CheckEval / ContextualJudgeBench):以往工作重在评估裁判模型自身的分数一致性、位置偏见或提示语抵抗力,而本文首次将仲裁输出本身作为信息压缩对象,量化了候选源逻辑结构在仲裁过程中的微观畸变。
  • vs RAG 溯源与引用生成 (CiteEval / FActScore):传统溯源方法侧重检验生成文本中各个孤立陈述是否有对应引文支撑,而 SRD 聚焦于多源候选间的“关系拓扑”(如冲突是否被掩盖、前提约束是否脱钩),防范了“虽有依据但关系混叠”的隐蔽缺陷。
  • vs 多模型集成与生成融合 (LLM-Blender / CoT-based Synthesizer):现有融合方案大多采用端到端模型直接综合多候选生成最优文本,容易抹除表层冲突并引入无授权外推;本文提出的 A2R 引入显式离散决策账本,为可信多源融合提供了兼具高保真与可追溯性的工程蓝图。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从信号抗混叠与有损压缩视角形式化定义来源分辨率畸变,切入角度原创深刻。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 520 对双选、200 例三选、留出盲重构、决策效用及跨模型后端检验,实证扎实完备。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨清晰,数学与逻辑符号统一,问题驱动性与方法论阐述极具说服力。
  • 价值: ⭐⭐⭐⭐⭐ 为多智能体决策汇总、LLM-as-a-Judge 可解释性及合规问答系统的安全落地提供了关键基准与解决方案。