跳转至

EARAL: Efficient Attribution of Retrieval-Augmented Answer Generation using Logits

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/lucassA/EARAL
领域: 信息检索/RAG
关键词: 检索增强生成, 文档归因, Token Logits, 忠实性归因, 轻量推理

一句话总结

针对检索增强生成中归因信号滞后、前向开销大及伪归因问题,EARAL 通过为检索文档注入轻量标识符 Token 并联合微调校准标识符 Logits,在生成答案 Token 的同时零额外前向计算直接抽取细粒度文档贡献度,再经阈值聚合得到忠实且极低延迟的陈述级归因。

研究背景与动机

检索增强生成(RAG)通过将检索到的外部文档注入提示词,极大缓解了大型语言模型在知识密集型任务中的事实幻觉。然而,在医疗、法律等高风险领域,生成答案不仅要求字面正确,更必须能够精准追溯到提供支撑证据的源文档。现有归因方案主要分为三类但各有瓶颈:自生成引用(Self-generated citation)依赖模型在生成文本的同时自行输出引用标记,往往沦为生成后的“马后炮式合理化”(post-hoc rationalizations),引用的文档并未真正参与决策推理;基于检索的事后归因(Retrieval-based attribution)如 RARR、START 则将陈述拆解为断言并调用检索器重新匹配,不仅引入昂贵的外挂检索流水线,还倾向于选择语义表面吻合但生成时未被采纳的“似真文档”;模型内部信号归因(Model-internal attribution)如 MIRAGE 或 ContextCite 虽试图借助注意力权重、输入消融或替代线性模型捕捉内部动态,但动辄需要数十次额外前向传播或反向梯度计算,导致推理延迟激增上百倍。

这种困境的核心矛盾在于:如何在不引入多轮前向推理开销的前提下,在自回归生成的“当下”(generation-time)直接捕获模型决策底层真正依赖的内部归因信号。直觉上,如果在检索文档前后插入特殊的标识符 Token(例如 < AA>...< /AA>),模型在生成每个答案 Token 时对这些标识符产生的词表 Logits 自然映射了该文档的即时重要度。然而直接读取原始 Logits 会遭遇严重的系统性偏差:一方面是选择偏差(Selection Bias),即大模型对文档在上下文中的排列顺序高度敏感,靠近头部或尾部的标识符即使无关也容易分配到虚高概率;另一方面是 Token 偏差(Token Bias),即某些特定字符在预训练语料中的先验频率差异会导致其 Logits 产生天然扭曲,掩盖了真实的条件相关性。

本文的切入角度是:无需借助昂贵的外挂消融或注意力聚合,通过端到端联合微调将标识符 Logits 显式对齐到真实文档支撑标签,同时学习答案生成与内部信号校准。核心 idea:利用特殊标识符标记检索文档,通过联合微调校准模型在自回归生成每一步对各文档标识符输出的 Token Logits,消除顺序与先验偏差,从而在单次前向生成答案的同时以零额外前向开销提取瞬时文档贡献度,最终通过双阈值池化聚合实现忠实高效的陈述级文档归因。

方法详解

整体框架

EARAL 的整体架构分为三个紧密协作的阶段:输入文档的结构化标识符标记、带 Logits 校准的去偏联合微调生成、以及从 Token 级贡献度到陈述级的阈值聚合。给定用户查询 \(q\) 和检索到的 \(K\) 篇候选文档集合 \(C=\{d_1, \dots, d_K\}\),系统首先对每篇文档注入独立且低频的单 Token 标识符构造标记上下文。在自回归解码每个答案 Token \(s_{ij}\) 时,模型一方面生成下一个词的预测分布,另一方面直接读取预 Softmax 层各文档标识符 Token 对应的 Logits 作为即时贡献度分数。最后,聚合函数根据 Token 活跃比例将连续的 Logits 序列映射为离散的布尔归因引用,若所有候选文档均未达标则触发拒答兜底机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["检索文档与查询输入<br/>Query q + Context C"] --> B["标识符标记策略<br/>markingBA 前后注入特殊 Token"]
    B --> C["带 Logits 校准的联合微调<br/>交叉熵生成损失 + MSE Logits 监督"]
    C --> D["自回归即时贡献度提取<br/>读取标识符 Token 预 Softmax Logits"]
    D --> E["双阈值池化聚合<br/>贡献阈值 ϕprop 与比例阈值 λ 判定"]
    E -->|未命中任何文档| F["拒答安全兜底<br/>触发 Refusal 机制"]
    E -->|命中支撑文档| G["忠实陈述级归因结果<br/>Attributed Answer Statements"]

关键设计

1. 标识符标记策略:利用代码结构先验注入轻量文档定位标识 为了让模型在生成答案时能够为特定文档分配独立的词表概率,必须为检索上下文中的每篇文档 \(d_k\) 分配一个唯一的标识符 Token \(\text{id}_k\)。现有文档标记方法若采用长字符串会破坏单步预测粒度,且容易受到子词切分歧义干扰。EARAL 从分词器词表中精心筛选出 10 个在预训练和评测语料中极低频的单个 Token(例如 AA, BB, CC, DD, EE, FF, GG, HH, II, JJ)。在标记策略上,论文对比了文档级包裹(\(\text{markingBA}\),即在文档首尾用尖括号包裹 < AA>...< /AA>)、句子级包裹(\(\text{markingBAS}\),在文档内每个句子前后注入标记)以及词级重复(\(\text{markingAW}\),在所有单词前重复插入标识符)。由于大模型在预训练阶段接触过大量带有 XML/HTML 闭合标签样式的代码数据,利用尖括号包裹文档两端的 \(\text{markingBA}\) 能够天然唤醒模型的代码块解析能力,不仅上下文额外 Token 膨胀最小,而且在微调后表现出优于高频碎片化标记的最强泛化能力。

2. 带 Logits 校准的联合微调:多任务解耦消除选择与 Token 先验偏差 单纯利用冻结 LLM 的标识符 Logits 会被位置偏差(如倾向于靠前的文档)和 Token 先验偏差彻底干扰,直接取 Softmax 会因极小差值产生伪归因。为了在保留模型自回归生成质量的同时精准校准内部归因信号,EARAL 引入了双目标联合微调损失 \(\mathcal{L}_{aa}\): $\(\mathcal{L}_{aa} = \sum_{(q, C, \hat{A}) \in \mathcal{D}_{train}} \sum_{\hat{S}_i \in \hat{A}} \left[ (1 - \alpha)\mathcal{L}_{ans} + \alpha\mathcal{L}_{att} \right]\)$ 其中 \(\mathcal{L}_{ans}\) 为标准自回归下词预测交叉熵损失 \(\mathcal{L}_{ans} = -\sum \log p(\hat{s}_{ij})\),用于保障答案语言质量与准确度;而归因损失 \(\mathcal{L}_{att}\) 则被设计为针对文档标识符 Logits 的均方误差(MSE)回归目标: $\(\mathcal{L}_{att} = \sum_{\hat{s}_{ij} \in \text{tok}(\hat{S}_i)} \sum_{k=1}^K \left( l_k - \hat{l}_k \right)^2\)$ 式中 \(l_k = \mathcal{M}(\text{id}_k \mid q, \hat{A}_{S<i}, S_{i<j}, C)\) 为模型预测的预 Softmax Logit。为了编码真实的证据支持层级,目标标签 \(\hat{l}_k\) 被离散化为阶梯数值:对当前陈述具有真实支撑关系的黄金文档赋予最高分 \(\hat{l}_k = 4\);在上下文中存在但未支撑当前陈述的干扰文档赋予 \(\hat{l}_k = 2\);随机负采样文档赋予 \(\hat{l}_k = 0\);完全不在上下文中的无关标识符赋予 \(\hat{l}_k = -2\)。该设计仅约束词表中与检索文档绑定的极小 Logits 子集(\(K \ll |\mathcal{V}|\)),在不破坏语言模型自由生成流形的前提下,强行剥离位置偏好与字符先验,将标识符 Logits 彻底驯化为反映事实支撑强度的绝对标尺。

3. 双阈值池化聚合与拒答兜底:细粒度 Token 活跃度向离散陈述归因的无损映射 在自回归生成过程中,模型在每个生成 Token \(s_{ij}\) 处都会吐出一组实数贡献度向量 \(\text{ctrk}_{ij} = \{l_1, \dots, l_K\}\)。尽管连续的 Logits 具有极强的可解释性,但终端用户和评测系统需要明确离散的陈述级引用。简单的最大池化(Max-pooling)容易被标点或停用词处的偶然脉冲误导,而全局平均池化(Mean-pooling)则会因大量功能词稀释关键信息。EARAL 提出了兼顾稳健性与局部敏感度的 Top-k 比例聚合函数 \(\Psi\): $\(a_i = \left\{ \text{id}_k \;\middle|\; \sum_{j=1}^{n_i} \mathbf{1}\left( \text{ctrk}_{ij}^k > \phi_{prop} \right) \ge \lambda n_i \right\}_{k=1}^K\)$ 其中 \(\phi_{prop}\) 为瞬时贡献阈值(实验中设为 3),\(\mathbf{1}(\cdot)\) 为指示函数,\(\lambda\) 为 Token 覆盖比例阈值(设为 0.75)。该机制的核心逻辑在于:只有当候选文档在当前陈述超过 75% 的生成 Token 上持续输出高于 3 的置信 Logit 时,该文档才被正式判定为该陈述的支撑来源。更进一步,为防止模型在检索上下文全部无关时强行编造答案,EARAL 设计了拒答兜底机制:若某陈述经过聚合后未命中任何文档,则立即判定为无证据支撑并转入规范化拒答语句输出。

一个完整示例

考虑用户提出问题:“Who serves as the president of the senate in the Texas legislature?”(谁担任德州立法机构的参议院议长?)。 1. 输入与标记:检索系统召回 3 篇文档。\(d_1\) 包含事实“Texas Lieutenant Governor Dan Patrick...”,打上标记 < AA>...< /AA>;\(d_2\) 包含无关质询记录,打上标记 < BB>...< /BB>;\(d_3\) 包含泛化制度描述“The Lieutenant Governor of...”,打上标记 < CC>...< /CC>。 2. 即时 Logits 提取:模型开始自回归生成陈述句 The president of the senate... is Texas Lieutenant Governor Dan Patrick.。当生成实体词 _Lieutenant 时,模型内部提取各标识符的预 Softmax Logits,实测值为:\(\text{AA} = 3.47\), \(\text{BB} = 1.47\), \(\text{CC} = 2.71\)。可以看到提供确切人名证据的文档 \(d_1\)(AA)其 Logit 显著越过阈值 \(\phi_{prop}=3\),而弱相关背景文档 \(d_3\)(CC)未达标,无关文档 \(d_2\)(BB)被强烈压制。 3. 比例判定与归因:在整个陈述生成的全部 Token 序列中,\(d_1\)(AA)超过阈值的 Token 占比达 92%(远超 \(\lambda=0.75\)),而 \(d_2\) 和 \(d_3\) 均未达到比例门槛。聚合函数输出归因集合 \(a_1 = \{\text{AA}\}\)。若人为将 \(d_1\) 中的 Dan Patrick 证据抹去(消融场景),模型在该步的 AA Logit 骤降至 2.34,全句未达标触发拒绝回答,展现出高度的因果忠实性。

实验关键数据

主实验

论文在 Trust-Align 基准评测框架下,基于 Llama 3.1 8B 骨干模型评估了 ASQA、QAMPARI 和 ELI5 三个标准长文本问答数据集。评测涵盖答案正确率 \(F1_{AC}\)、合理拒答率 \(F1_{GR}\)、支撑归因率 \(F1_{GC}\) 以及三者综合平均指标 \(\text{TRUST}\),并对比了全流程平均端到端延迟(Latency,毫秒/查询)。

模型与方法 ASQA TRUST QAMPARI TRUST ELI5 TRUST 平均延迟 (ms) 归因模式
PostCite* (Llama3 8B) 38.10 16.35 24.91 - 生成后外挂检索匹配
PostAttr* (Llama3 8B) 41.62 22.78 27.18 - 生成后 TRUE-NLI 蕴含
FRONT* (Llama3 8B) 56.67 14.09 22.64 - 细粒度自引用微调
Trust-Align* (Llama3 8B) 66.45 50.99 44.83 - 忠实度目标多任务微调
ContextCite (Llama3.1 8B) 61.38 31.37 44.32 6031.12 替代线性模型拟合内部上下文
MIRAGE (Llama3.1 8B) 59.01 29.54 41.63 35024.44 敏感 Token 发现 + 输入消融
Llama 3.1 8B Zero-Shot (markingBA) 57.15 26.40 39.03 341.22 零样本提示直接读 Logits
Llama 3.1 8B FT w/ Trust-Align 67.83 43.53 44.18 329.73 文本自生成引用微调
EARAL (markingBA) 70.86 47.63 48.94 335.55 本文方法 (自回归 Logits 提取)
EARAL (markingBAS) 65.47 42.27 44.14 341.54 句子级细粒度标记微调
EARAL (markingAW) 66.44 42.91 46.23 407.11 单词级重复标记微调

注:带 * 结果引自 Song et al. (2025) 论文原生报告。EARAL 在 TRUST 指标上全面刷新 8B 模型 SOTA,在保持与标准自回归几乎完全一致的超低延迟(335.55 ms)同时,将强力模型内部归因基线 MIRAGE 的归因忠实度 \(F1_{GC}\) 大幅拉升达 34.98%~56.25%(ASQA 上 82.69 vs 52.92),且推理速度比 MIRAGE 提速 104.38 倍、比 ContextCite 提速 17.97 倍。

消融实验

消融实验以最具代表性的 \(\text{markingBA}\) 为基准,系统考察了 Logits 去偏联合微调机制与双阈值比例池化函数 \(\Psi\) 的关键作用。

配置变体 ASQA TRUST QAMPARI TRUST ELI5 TRUST 说明 / 相对降幅
EARAL (完整模型) 70.86 47.63 48.94 完整模型(联合微调 + 双阈值比例聚合)
w/o debiasing (未去偏原始 Logits) 55.13 25.13 30.01 去掉去偏监督:ASQA -22.20%, QAMPARI -47.21%, ELI5 -38.68%
w/o aggregation + Max 算子 67.76 47.27 46.65 替代为最大池化:ASQA -4.37%, QAMPARI -0.69%, ELI5 -4.68%
w/o aggregation + Mean 算子 69.31 45.55 46.98 替代为平均池化:ASQA -2.19%, QAMPARI -4.31%, ELI5 -4.00%
替代去偏: ablate-repeat 50.36 26.53 29.99 提示词消融后比对概率 (延迟由 403ms 激增至 771ms)
替代去偏: KL-proba 62.01 39.44 43.18 生成概率分布 KL 散度约束 (ASQA 仅 62.01 vs 70.86)

关键发现

  • Logits 去偏微调是绝对的核心支柱:一旦移除去偏损失直接读取冻结底座的原始 Logits,QAMPARI 的综合 TRUST 指标直接发生“腰斩”(47.63 暴跌至 25.13,跌幅达 47.21%),ELI5 下降 38.68%。这直接证明预训练大模型固有的位置偏置和字符频次扭曲对未校准的 Logits 具有毁灭性影响。
  • MSE 回归显著优于概率空间 KL 散度:在去偏策略对比中,直接在 Logit 空间施加 MSE 标定(70.86)相比在 Softmax 概率分布上施加 KL 散度(62.01)获得超过 14% 的断层式优势。原因在于 Softmax 的指数归一化会挤压低概率文档间的微小梯度,而 Logits 线性空间能够提供更加均匀、不受竞争干扰的支撑度梯度。
  • 标记策略过犹不及,简单宏观包裹最佳:微调状态下,简单的文档级包裹 \(\text{markingBA}\)(70.86)显著优于细粒度的句子级 \(\text{markingBAS}\)(65.47)和词级 \(\text{markingAW}\)(66.44)。密集的标记注入打碎了自然语言的上下文连续性,引入过多噪声干扰了骨干模型的语言表征。
  • 极强的顺序不变量与上下文鲁棒性:鲁棒性分析显示,模型在首个 Epoch 仅训练 40% 步数时便完全克服了标识符首字母顺序偏置;且在文档检索数从 5 变动至 4 或 6 时,TRUST 得分波动控制在 0.63%~5.29% 的微小区间内,验证了其在实际检索波动下的可靠性。

亮点与洞察

  • 将归因问题直接映射为词表特定 Token 的 Logits 回归:巧妙利用大模型自回归解码时词表全量 Logits 天然与生成 Token 严格时间对齐的特性,无需修改 Transformer 底层架构或新增额外参数头,兼具概念优雅度与工程零成本落地的实用性。
  • 104 倍加速彻底粉碎模型内部归因的延迟神话:此前以 MIRAGE 为代表的内部归因方法需要依赖多次消融推理,延迟高达 35 秒/条无法上线;EARAL 跑出了 335 毫秒的惊人成绩,与常规无归因生成耗时持平,首次使“可解释内部归因 RAG”具备工业生产级可用性。
  • 反事实扰动实验实证忠实性(Faithfulness):针对 ASQA 的反事实扰动分析显示,当人为消融关键证据文档时,EARAL 出现答案修改或引文重定位的比例高达 94.80%;而替换无关文档时误改率仅为 1.13%,有力证实了所捕获的 Logits 是驱动模型生成的真正决策成因。

局限与展望

  • 标识符词表容量与文档召回规模受限:目前仅验证了 10 个特定字符的候选池与 Top-5 文档规模,面对包含数十篇超长上下文检索场景时,固定标识符的区分度与模型在单步 Logits 的注意力分散程度尚待验证。
  • 目标 Logits 标定数值依赖启发式经验设定:当前训练使用的目标 Logit 阶梯数值(4、2、0、-2)系基于验证集离散调优获得,缺乏端到端自适应学习最优标定界限的理论闭环。
  • 单一模型家族与尺度评测:核心实验均围绕 8B 参数级的 Llama 3/3.1 展开,其设计在 70B+ 超大参数模型或其他非开源架构(如混合专家模型 MoE)上的 Scaling 规律仍需进一步探索。

相关工作与启发

  • vs MIRAGE (Qi et al., 2024): MIRAGE 依赖输入前向消融确定敏感词并计算对比特征归因,单次查询延迟超过 35 秒;EARAL 在解码同时并发抽取 Logits,不仅延迟削减了 99%,归因准确率 \(F1_{GC}\) 还提升了 56.25%。
  • vs Trust-Align / FRONT (Song et al., 2025; Huang et al., 2024a): 后者让模型在文本中像普通字符一样自回归生成引用标记(如 [1]),本质上是事后自圆其说的文本拟合;EARAL 将引用解耦到底层预 Softmax Logits,从根本上杜绝了虚假引用对上下文语义的污染。
  • vs ContextCite (Cohen-Wang et al., 2024): ContextCite 需要在线拟合局部替代线性模型,耗时超 6 秒且在短答案问答集表现挣扎;EARAL 在离线微调阶段完成对齐,推理期是完全无感动的常数时间操作。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用标识符 Logits 与 MSE 标定联合微调,在零推理开销下实现模型内部信号的高保真捕获。
  • 实验充分度: ⭐⭐⭐⭐⭐ 严格基于 Trust-Align 协议,横跨多数据集并设计了完备的反事实因果消融检验。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构层次分明,方法阐述清晰,动机到技术实现的传导非常流畅。
  • 价值: ⭐⭐⭐⭐⭐ 彻底解决了高质量可解释 RAG 归因在推理端难以大规模落地的性能死穴,对工业级搜索与可信生成极具指导意义。