The RAT: A Unified Bayesian Model for RAG Evaluation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/vodezhaw/rat
领域: 信息检索
关键词: RAG评测, 贝叶斯模型, 拒绝回答, 策略遵循, 不确定性量化
一句话总结¶
论文提出了面向检索增强生成(RAG)评测的统一贝叶斯模型 RAT,沿流水线信息流将检索成功、拒绝回答与任务成功进行联合概率分解,显式区分终端任务正确性与生成器策略遵循度,并借助信息论分析指出检索标注对策略遵循度估计的关键价值,同时支持校准的 LLM 裁判噪声融合。
研究背景与动机¶
检索增强生成(RAG)系统已成为大语言模型接入外部专业知识和降低事实幻觉的核心架构,但对其系统性能的全面评测依然十分繁琐且存在结构性盲区。目前主流评测范式通常将检索模块与生成模块割裂开来单独打分(如利用标准 IR 指标评估检索,或借助合成数据与对抗扰动单独测试生成器),或者仅关注终端端到端答案是否命中参考答案。然而,RAG 在工程本质上是一个串行流水线系统,级联组件之间存在强烈的信息依赖与误差传播效应:当检索模块未能召回包含完整答案的事实证据时,生成器在客观上已丧失给出有据可依答案的基础,此时最符合系统安全策略的行为理应是显式拒绝回答(Abstention)。
现有端到端评测指标的核心痛点在于混淆了两种截然不同的成功概念:衡量最终用户是否得到正确答案的“任务成功”(Task Success),以及衡量生成器在给定检索上下文的前提下决策行为是否合理的“生成器成功/策略遵循”(Generator Success / Policy Adherence)。这种混淆掩盖了严重的系统隐患:一个从不拒答的冒进型生成器,可能单纯凭借参数化记忆或盲猜在端到端任务成功率上取得体面的分数,却在检索失败时系统性违反安全策略;反之,两套具有完全相同端到端准确率的系统,在检索失败场景下的可靠性表现可能天差地别。边缘统计指标无法穿透流水线的级联黑盒,也无法量化标注稀缺下的后验不确定性。
为了打破这种端到端评测的假象,必须建立能够显式建模检索质量、拒答倾向与生成正确性之间条件依赖关系的评测模型。本文的核心 idea 是沿 RAG 流水线的信息流建立检索成功、拒答行为与生成正确性的联合贝叶斯因果分解,将策略遵循严格形式化为二值确定性变量,从而在统一概率图模型下实现不确定性传播、样本高效的主动标注分配与带噪声校准的 LLM 裁判融合。
方法详解¶
整体框架¶
RAT(Retrieval-Abstention-Task Bayesian Model)的核心设计是将 RAG 评测形式化为一个沿信息流动方向因果分解的贝叶斯有向无环图。模型首先观测或定义流水线中的三个基础随机变量:表示检索上下文是否包含完整必要答案信息的检索成功 \(R \in \{0, 1\}\);表示生成器是否显式拒绝回答(如输出“I DO NOT KNOW”或“NOT ENOUGH INFO”)的拒答行为 \(A \in \{0, 1\}\);以及表示最终答案是否正确的任务成功 \(T \in \{0, 1\}\)(在拒答 \(A=1\) 时自然约束 \(T=0\))。
在此基础上,RAT 将联合分布因果分解为先验检索概率 \(P(R)\)、基于检索状态的拒答决策概率 \(P(A \mid R)\),以及在决定作答前提下依赖检索状态的任务成功概率 \(P(T \mid A=0, R)\)。最终,生成器策略遵循变量 \(G \in \{0, 1\}\) 被定义为由前述状态完全决定的确定性逻辑变量,使得模型能够清晰量化生成器是否在检索失败时稳健拒答、在检索成功时忠实回答。整个贝叶斯推断由 Stan 平台上的 Hamilton Monte Carlo(NUTS 采样器)实现,具备天然处理变量部分缺失边际化与集成校准自动裁判(LLM-as-a-Judge)的能力。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["RAG 评测输入数据<br/>(Query, Context, Output)"] --> B["信息流因果条件分解<br/>P(R) · P(A|R) · P(T|A=0, R)"]
B --> C["策略遵循确定性裁决<br/>G = (R=0 ∧ A=1) ∨ (R=1 ∧ A=0 ∧ T=1)"]
C --> D["不确定性贝叶斯推断<br/>Stan NUTS 采样与部分观测边际化"]
D --> E["信息论标注分配优化<br/>针对目标指标的最优样本配置"]
D --> F["校准 LLM 裁判观测拓展<br/>Dirichlet 先验与噪声似然建模"]
关键设计¶
1. 信息流因果条件分解:解耦检索、拒答与有据作答的五参数参数化空间
端到端单一准确率无法解释系统错误根源,且容易将参数化记忆的侥幸作答误判为系统能力。为了刻画 RAG 系统内部的依赖关系,RAT 遵循信息流动拓扑结构将联合分布严格分解为 \(P(R, A, T) = P(R) P(A \mid R) P(T \mid A, R)\)。由于拒答状态下不存在正确答案(即 \(A=1 \implies T=0\)),模型仅需五个具有明确行为学解释的核心概率参数即可完整刻画系统:
其中 \(\theta_R\) 刻画检索模块的基本能力,\(\theta_{A-}\) 代表检索失败时的合理拒答率,\(\theta_{A+}\) 代表检索成功时的误拒答率(假阴性),\(\theta_{T-}\) 代表在缺乏检索支撑下的盲猜/幻觉正确率,而 \(\theta_{T+}\) 则代表得到检索证据支持下的有据作答准确率。这种参数化彻底解耦了生成器自身的内在知识与它对检索证据的利用能力。
2. 策略遵循确定性逻辑裁决:将期望行为与端到端任务成功严格剥离
传统评测往往默认“只要最终答对就是好系统”,从而对检索失败时的幻觉盲猜予以奖励,同时对合理的安全拒答施加惩罚。RAT 在概率模型内部引入了一个确定性逻辑变量 \(G\) 来严格度量生成器的策略遵循度(Policy Adherence):
公式表明,生成器被判为遵循策略当且仅当满足两种合规路径之一:其一,在检索未能提供依据时(\(R=0\)),模型保持谦逊并明确拒答(\(A=1\));其二,在检索提供必要依据时(\(R=1\)),模型积极作答(\(A=0\))且输出正确结果(\(T=1\))。任何在检索缺失时的擅自作答(无论答案最终对错)或在检索完备时的无理拒答,均被判为策略违背(\(G=0\))。该设计为安全敏感型领域提供了区分“碰巧答对”与“可信作答”的数学标准。
3. 不确定性传播与部分观测边际化推断:Stan 贝叶斯后验计算
在实际工业级评测中,获取人工标注成本极高,且各类标注的采集成本严重不均(例如检测文本是否包含拒答短语可以通过规则字符串匹配免费获得,而检索完备性与答案正确性则需高成本专家标注)。RAT 将评测设定在贝叶斯推断框架下,为五个基础参数赋予独立的均匀先验 \(\mathrm{Uniform}(0, 1)\),并在 Stan 中运行 No-U-Turn Sampler(NUTS)进行哈密顿蒙特卡洛(HMC)采样(默认运行 5 条链,每条链 2,000 次预热与 10,000 次有效采样)。对于未标注变量,贝叶斯后验能够天然进行边际化积分离散处理,使得不完整观测样本依然能够为全局后验提供梯度信息,同时为衍生指标 \(P(G=1)\) 提供严格的 95% 置信可信区间(Credible Intervals),避免小样本点估计引发的误导。
4. 信息论驱动的样本分配不对称性机制:检索标注对策略遵循的主导作用
当固定标注预算时,工程师往往直觉性地将预算分配给终端答案标注。RAT 深入分析了在拒答 \(A\) 免费可测前提下的条件互信息 \(I(G; \cdot \mid A)\)。在四种可能的 \((R, A)\) 状态组合中,有三种状态可以直接确定性解出 \(G\):\((0, 1) \to G=1\)、\((0, 0) \to G=0\)、\((1, 1) \to G=0\);唯独在检索成功且模型选择作答的单元格 \((1, 0)\) 中,\(G\) 的值才依赖于 \(T\)(此时 \(G=T\))。
由此产生的信息论结构性不对称性表明:观测 \(R\) 能够直接确定性消除四分之三状态空间中关于 \(G\) 的不确定性;而观测 \(T\) 仅能在 \((A=0, T=0)\) 这一种非零状态中确定性推导 \(G=0\)。因此,在有限预算下若目标是评估策略遵循度 \(P(G=1)\),额外标注检索成功 \(R\) 的边际信息增益远超标注任务正确性 \(T\)。
5. 带噪声校准的 LLM 裁判扩展:将自动化评估无缝吸纳为不完美观测
针对人工标注昂贵而 LLM 裁判(LLM-as-a-Judge)成本低廉但充满系统偏差的现状,RAT 提出了基于校准矩阵的裁判观测扩展模型。引入二值裁判观测变量 \(R_J\) 与 \(T_J\),将联合分布扩展为 \(P(R, A, T, R_J, T_J) = P(R, A, T) P(R_J, T_J \mid R, A, T)\)。针对 6 个可行的 \((R, A, T)\) 潜在状态,定义 4 分类的裁判联合似然,并配置对称 Dirichlet 先验以避免条件独立性虚假假设。通过将裁判的真正类率(TPR)与假正类率(FPR)作为观测算子嵌入后验,模型能够在融合数千条廉价自动裁判数据的同时,由少量人类黄金标注对裁判固有偏差进行实时后验修正与不确定性放大。
实验关键数据¶
主实验¶
论文在 KILT 基准的三个代表性任务上系统评测了 27 种 RAG 配置:FEVER(事实核查,单证据句)、HotpotQA(多跳问答,固定 2 篇支持文档)与 Natural Questions(NQ,开放域问答,单证据句)。检索器涵盖 Sparse(BM25)、Dense(Jina-embeddings-v3 搭配 HNSW FAISS 索引)与 Hybrid(倒数排名融合 RRF);生成器涵盖 Apertus 8B、Gemma3 12B 与 Qwen3.5 9B。
下表摘录了 27 组配置中的边缘概率分布数据,对比了检索成功率 \(P(R=1)\)、拒答率 \(P(A=1)\)、终端任务正确率 \(P(T=1)\) 以及策略遵循度 \(P(G=1)\) 的真实表现:
| 数据集 | 检索器 | 生成器 | \(P(R=1)\) | \(P(A=1)\) | \(P(T=1)\) | \(P(G=1)\) |
|---|---|---|---|---|---|---|
| FEVER | Dense | Apertus 8B | 0.603 | 0.135 | 0.753 | 0.608 |
| FEVER | Dense | Gemma3 12B | 0.603 | 0.180 | 0.784 | 0.736 |
| FEVER | Dense | Qwen3.5 9B | 0.603 | 0.199 | 0.751 | 0.744 |
| FEVER | Hybrid | Apertus 8B | 0.655 | 0.089 | 0.801 | 0.614 |
| FEVER | Hybrid | Gemma3 12B | 0.655 | 0.096 | 0.864 | 0.701 |
| FEVER | Hybrid | Qwen3.5 9B | 0.655 | 0.112 | 0.838 | 0.703 |
| FEVER | Sparse | Apertus 8B | 0.456 | 0.124 | 0.759 | 0.504 |
| FEVER | Sparse | Gemma3 12B | 0.456 | 0.221 | 0.744 | 0.644 |
| FEVER | Sparse | Qwen3.5 9B | 0.456 | 0.246 | 0.708 | 0.657 |
| HotpotQA | Dense | Apertus 8B | 0.151 | 0.038 | 0.260 | 0.110 |
| HotpotQA | Dense | Gemma3 12B | 0.151 | 0.311 | 0.253 | 0.391 |
| HotpotQA | Dense | Qwen3.5 9B | 0.151 | 0.489 | 0.260 | 0.574 |
| HotpotQA | Hybrid | Apertus 8B | 0.207 | 0.032 | 0.304 | 0.138 |
| HotpotQA | Hybrid | Gemma3 12B | 0.207 | 0.218 | 0.315 | 0.337 |
| HotpotQA | Hybrid | Qwen3.5 9B | 0.207 | 0.375 | 0.329 | 0.503 |
| HotpotQA | Sparse | Apertus 8B | 0.218 | 0.033 | 0.318 | 0.152 |
| HotpotQA | Sparse | Gemma3 12B | 0.218 | 0.226 | 0.318 | 0.360 |
| HotpotQA | Sparse | Qwen3.5 9B | 0.218 | 0.391 | 0.326 | 0.535 |
| NQ | Dense | Apertus 8B | 0.347 | 0.028 | 0.239 | 0.164 |
| NQ | Dense | Gemma3 12B | 0.347 | 0.256 | 0.242 | 0.414 |
| NQ | Dense | Qwen3.5 9B | 0.347 | 0.355 | 0.243 | 0.496 |
| NQ | Hybrid | Apertus 8B | 0.348 | 0.024 | 0.267 | 0.163 |
| NQ | Hybrid | Gemma3 12B | 0.348 | 0.198 | 0.267 | 0.359 |
| NQ | Hybrid | Qwen3.5 9B | 0.348 | 0.307 | 0.266 | 0.451 |
| NQ | Sparse | Apertus 8B | 0.244 | 0.039 | 0.233 | 0.136 |
| NQ | Sparse | Gemma3 12B | 0.244 | 0.300 | 0.220 | 0.412 |
| NQ | Sparse | Qwen3.5 9B | 0.244 | 0.434 | 0.215 | 0.531 |
条件分解与机制分析¶
通过贝叶斯模型求解得到的后验均值条件概率分布揭示了边缘指标所无法察觉的深层行为机制:
| 数据集 | 检索器 | 生成器 | \(\theta_{A-} = P(A=1 \mid R=0)\) | \(\theta_{A+} = P(A=1 \mid R=1)\) | \(\theta_{T-} = P(T=1 \mid R=0, A=0)\) | \(\theta_{T+} = P(T=1 \mid R=1, A=0)\) |
|---|---|---|---|---|---|---|
| FEVER | Dense | Apertus 8B | 0.245 | 0.063 | 0.810 | 0.903 |
| FEVER | Dense | Gemma3 12B | 0.422 | 0.021 | 0.941 | 0.962 |
| FEVER | Dense | Qwen3.5 9B | 0.462 | 0.027 | 0.894 | 0.954 |
| FEVER | Hybrid | Apertus 8B | 0.158 | 0.053 | 0.831 | 0.901 |
| FEVER | Hybrid | Gemma3 12B | 0.242 | 0.019 | 0.940 | 0.961 |
| FEVER | Hybrid | Qwen3.5 9B | 0.274 | 0.027 | 0.913 | 0.955 |
| FEVER | Sparse | Apertus 8B | 0.197 | 0.038 | 0.828 | 0.906 |
| FEVER | Sparse | Gemma3 12B | 0.391 | 0.018 | 0.942 | 0.963 |
| FEVER | Sparse | Qwen3.5 9B | 0.428 | 0.028 | 0.916 | 0.956 |
| HotpotQA | Dense | Apertus 8B | 0.044 | 0.010 | 0.229 | 0.492 |
| HotpotQA | Dense | Gemma3 12B | 0.361 | 0.026 | 0.313 | 0.570 |
| HotpotQA | Dense | Qwen3.5 9B | 0.568 | 0.044 | 0.458 | 0.638 |
| HotpotQA | Hybrid | Apertus 8B | 0.039 | 0.005 | 0.258 | 0.519 |
| HotpotQA | Hybrid | Gemma3 12B | 0.270 | 0.021 | 0.331 | 0.608 |
| HotpotQA | Hybrid | Qwen3.5 9B | 0.463 | 0.036 | 0.456 | 0.678 |
| HotpotQA | Sparse | Apertus 8B | 0.041 | 0.006 | 0.264 | 0.552 |
| HotpotQA | Sparse | Gemma3 12B | 0.286 | 0.011 | 0.326 | 0.632 |
| HotpotQA | Sparse | Qwen3.5 9B | 0.493 | 0.028 | 0.446 | 0.704 |
| NQ | Dense | Apertus 8B | 0.039 | 0.007 | 0.161 | 0.402 |
| NQ | Dense | Gemma3 12B | 0.382 | 0.021 | 0.192 | 0.485 |
| NQ | Dense | Qwen3.5 9B | 0.513 | 0.060 | 0.256 | 0.494 |
| NQ | Hybrid | Apertus 8B | 0.034 | 0.006 | 0.179 | 0.408 |
| NQ | Hybrid | Gemma3 12B | 0.290 | 0.024 | 0.210 | 0.499 |
| NQ | Hybrid | Qwen3.5 9B | 0.439 | 0.061 | 0.277 | 0.503 |
| NQ | Sparse | Apertus 8B | 0.050 | 0.009 | 0.187 | 0.407 |
| NQ | Sparse | Gemma3 12B | 0.387 | 0.032 | 0.216 | 0.505 |
| NQ | Sparse | Qwen3.5 9B | 0.550 | 0.077 | 0.293 | 0.513 |
此外,在基于 200 条人类基准标注并加入不同数量 GPT-4o-mini 裁判标注(\(n_{\mathrm{add}} \in \{0, 500, 5000\}\))的校准评测中,Apertus 8B 在 HotpotQA + Hybrid 上的表现显示出 LLM 裁判的严重局限:
| 额外裁判样本数 \(n_{\mathrm{add}}\) | \(P(G=1)\) MAE | \(P(G=1)\) 95% CI 宽度 | \(P(T=1)\) MAE | \(P(T=1)\) 95% CI 宽度 |
|---|---|---|---|---|
| 0 | 0.0174 | 0.0941 | 0.0232 | 0.1246 |
| 500 | 0.0166 | 0.0838 | 0.0243 | 0.1176 |
| 5,000 | 0.0170 | 0.0802 | 0.0230 | 0.1150 |
关键发现¶
- 边缘指标与策略遵循的严重脱钩:在 NQ 数据集配合 Dense 检索器时,Apertus(0.239)、Gemma3(0.242)与 Qwen3.5(0.243)的终端任务准确率几乎完全相同。然而,它们的策略遵循度 \(P(G=1)\) 却天差地别:Apertus 仅有 0.164,Gemma3 为 0.414,而 Qwen3.5 高达 0.496。条件分解清晰证明,这一差距完全是由检索失败时的拒答率 \(\theta_{A-}\) 驱动的(Apertus 仅 0.039,而 Qwen3.5 达 0.513)。
- 标注分配的互信息不对称性:在以评估策略遵循度 \(P(G=1)\) 为目标时,单纯标注检索成功率(All-R 策略)能够捕获 All-Joint 策略基线 58.0%~65.6% 的信息量;而单纯标注任务成功率(All-T 策略)仅能捕获 29.3%~40.8% 的信息量。这与信息论推导的“R 决定 4 个联合单元格中的 3 个,而 T 仅决定 1 个”的理论结论完全一致。
- 高虚警率下 LLM 裁判的边际收益递减:GPT-4o-mini 作为检索裁判与任务裁判时,虽然召回率较高(TPR 达 0.77~0.94),但假正类率同样极高(FPR 达 0.17~0.43),系统性虚高估计检索与任务成功率。实验证明,即便追加高达 5,000 条自动裁判标注,由于噪声方差较大,后验不确定性区间的收缩极其微弱(95% CI 宽度仅从 0.0941 降至 0.0802),说明海量劣质裁判无法弥补少量高质量人类标注的缺失。
亮点与洞察¶
- 评测因果建模的范式跃迁:将 RAG 评测从传统的独立维度分数打分(如 RAGAs、ARES 的孤立三元组打分)提升为严格遵循信息流因果图的联合概率分解,使评测具备了严格的数学一致性与不确定性推断能力。
- 信息论对标注经济学的理论解释:首次利用条件互信息定量证明了在 RAG 评测中“检定检索质量”在数学上对“评估生成合规性”具有绝对优先的信息增益,打破了工业界一味堆砌端到端答案标注的盲目惯性。
- 可复用的贝叶斯校准裁判扩展接口:提供了一套将噪声观测与黄金标准融合的标准化贝叶斯图模型结构,使得评测体系能够以原则性方式吸收廉价但有偏的模型判决。
局限与展望¶
- 指标与变量的二值化简化假设:当前模型为了推断封闭解与可解释性,将检索成功与作答成功均严格约束为二值变量(\(0/1\))。而在真实工业检索场景中,文档相关性往往是连续谱系(如 NDCG、MRR),附录的扩展实验证明三元分解(无检索、部分检索、完全检索)依然有效,但通用的连续型贝叶斯建模尚未建立。
- 单轮检索生成假设的局限:模型面向经典的“检索-生成”单轮结构设计,无法直接建模多轮交互问答、主动查询改写(Query Reformulation)以及具备回溯反思能力的 Agentic RAG 系统。
- 确定性策略定义的刚性:当前生成器策略遵循度 \(G\) 的定义硬编码为“仅当完全检索成功时作答且答对”。在实际应用中,系统可能被允许在证据不全时进行概率性局部回答或给出不确定性对冲说明,未来可扩展至连续软策略评估。
相关工作与启发¶
- vs RAGAs (Es et al., 2024) / ARES (Saad-Falcon et al., 2024):两者均将忠实度、上下文相关性与答案相关性作为互相独立的维度进行统计或裁判打分,缺乏显式依赖建模;RAT 沿流水线信息流进行联合概率分解,能够捕捉跨组件的误差传播并严谨区分任务成功与策略遵循。
- vs Feb4RAG (Wang et al., 2024):Feb4RAG 侧重于构建对抗检索环境来经验性探测生成器的鲁棒性;RAT 则构建了内生性的生成器拒绝决策模型与贝叶斯推断框架,通过条件概率直接量化系统在自然环境下的内在策略遵循行为。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立统一的 RAG 评测因果贝叶斯图模型并给出信息论最优标注解释。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 27 种真实模型/检索器系统配置,开展了详实的后验采样与裁判校准验证。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨流畅,数学形式化清晰,图表与实验分析高度自洽。
- 价值: ⭐⭐⭐⭐⭐ 为 RAG 评测体系摆脱端到端黑盒假象、降低标注预算提供了极具实用价值的统计学工具。