Gated Residual Discrepancy for Efficient Bi-Encoder Factuality Verification¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/lzy248/grd
领域: 信息检索/RAG
关键词: 事实性核查, 双塔模型, 非对称蕴含, 残差差异, 自适应门控
一句话总结¶
针对传统双塔模型在事实性核查中易受对称相似度误导和长文档背景噪声干扰的问题,GRD提出基于多槽语义表征的双视角残差差异算子与自适应门控放大机制,在保持双塔离线缓存与23.55倍推理加速的同时达到接近交叉编码器的79.99% Macro-F1。
研究背景与动机¶
大语言模型在开放生成任务中表现出极强的表意能力,但不可避免地伴随着事实性幻觉风险,这使得面向可靠证据文档的事后事实性核查(Post-hoc Factuality Verification)成为关键防线。现有主流核查系统(如基于大模型或自然语言推理 NLI 交叉编码器 Cross-Encoder 的验证器)大多依赖将证据文档与待测声明拼接后的联合深度自注意力计算。在细粒度核查管线中,长文本被切分为多个原子声明逐一检验,长篇证据因而被反复联合编码,计算复杂度随声明与检索候选数目呈乘性爆炸,造成严重的吞吐量瓶颈。
双塔架构(Bi-Encoder)通过解耦证据与声明的表征,允许离线预计算并缓存长证据向量,在线仅需编码轻量声明并进行向量空间快速交互。然而,标准双塔模型面临两个根本性瓶颈:其一是核查任务本质上是非对称蕴含(证据蕴含声明并不等价于声明蕴含证据),传统基于余弦或点积的对称相似度度量会因声明与证据的高词汇重叠而误判未支持声明;其二是向量空间的背景噪声脆弱性,长文档包含的大量无关语境与良性释义容易掩盖微小但致命的事实矛盾。以往如 E-Verify 等方法试图通过拼接对称特征与差值特征、或依赖昂贵的双端原子切分来缓解,却削弱了双塔架构的效率优势。
本文的切入角度是:彻底抛弃对称特征融合,转向以差异为主导的表征范式,并在多槽向量空间中结合动态降噪。核心 idea:通过多槽多头注意力解耦多粒度语义视角,构建融合方向残差与幅度残差的双视角向量差值以建模非对称蕴含,并引入可学习的自适应门控机制动态过滤长文本语境噪声,使轻量双塔架构在宽泛证据下直接实现敏感且鲁棒的高吞吐事实检验。
方法详解¶
整体框架¶
GRD 采用解耦的双塔交互范式。系统输入为完整的证据文档 \(e\) 与待验证声明 \(c\),通过参数共享的文本编码器与多槽语义聚合模块,分别提取 \(K\) 个多粒度视角的语义槽向量。证据槽向量可在数据库中预先编码并离线缓存,在线验证时仅需编码声明向量。随后,证据与声明对应的语义槽进入 GRD 算子,依次提取包含方向残差和幅度残差的双视角向量差,并通过自适应门控网络抑制良性释义及无关背景噪声;最后聚合所有槽位的最大冲突特征,由分类器输出最终的蕴含置信度得分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["证据文档 e & 待验证声明 c"] --> B["多粒度语义编码<br/>共享编码器提取 K 个槽向量"]
B --> C["双视角残差提取<br/>方向残差与幅度残差拼接"]
C --> D["自适应门控放大<br/>并行计算特征与动态门控掩码"]
D --> E["槽位最大池化与判别打分<br/>Max-Pooling 保留最强冲突"]
E --> F["输出蕴含概率 y_hat<br/>Support / Unsupport 判决"]
关键设计¶
1. 多粒度语义编码:避免全局单向量的信息瓶颈
传统双塔模型将整段文本压缩至单个 [CLS] 向量,在面对未切分的长篇证据时,局部的细粒度事实极易被主导的宏观全局语义淹没。为提升局部事实分辨率,GRD 采用基于池化的多头注意力模块(Pooling-based Multi-Head Attention, PMA)。对于文本编码器输出的 token 级上下文表征 \(T_x \in \mathbb{R}^{L \times d}\),维护 \(K\) 个可学习的种子向量 \(S = \{s_1, \dots, s_K\} \in \mathbb{R}^{K \times d}\) 作为查询向量,通过交叉注意力聚合并经过层归一化与前馈网络,生成 \(K\) 个语义槽向量 \(H_x \in \mathbb{R}^{K \times d}\),并分别对每个槽做 \(\ell_2\) 归一化得到 \(\tilde{H}_x = \{\tilde{h}^{(1)}_x, \dots, \tilde{h}^{(K)}_x\}\)。由于证据与声明共享 PMA 种子,对应编号的槽被隐式对齐在相近的语义子空间中,分别承载实体、动作或时序等异构视角。
2. 双视角残差提取:显式建模非对称蕴含与偏差显著度 传统双塔模型直接计算点积或拼接,会因词汇重合产生相似度饱和。GRD 抛弃对称相似度计算,对于每个槽位 \(k \in \{1, \dots, K\}\),提取互补的双视角残差: $\(r_k = [\delta_k; \mu_k] \in \mathbb{R}^{2d}\)$ 其中方向残差 \(\delta_k = \tilde{h}^{(k)}_e - \tilde{h}^{(k)}_c\) 显式保留了几何空间位移的方向性,区分证据相对声明的信息过剩(有效支持)与信息不足(幻觉引入),从而精准捕捉非对称逻辑约束;幅度残差 \(\mu_k = |\tilde{h}^{(k)}_e - \tilde{h}^{(k)}_c|\) 则衡量元素维度的绝对偏差强度,量化语义变化的显著程度,用以区分轻微的同义替换与高强度的真实事实冲突。
3. 自适应门控放大:在嵌入空间动态抑制长文本语境噪声 在长文档匹配中,自然的句式变化与无关背景常造成非零向量偏差。为防止背景噪声掩盖真实冲突,GRD 引入自适应门控机制,将残差描述符 \(r_k\) 投影到隐藏维度 \(d_h\),并行计算候选特征与门控掩码: $\(\phi_k = \text{ReLU}(W_f r_k + b_f), \quad g_k = \sigma(W_g r_k + b_g)\)$ 门控后的残差表征计算为 \(\tilde{r}_k = \text{LN}(\phi_k \odot g_k)\)。当某一维度的残差由良性句式变化引起时,\(g_k\) 自适应趋向于 0,有效衰减伪偏差;当残差对应关键事实矛盾时,\(g_k\) 接近 1,将冲突信号无损传递并通过非线性变换放大。这一机制彻底消除了对证据端进行繁琐原子切分的依赖。
4. 槽位最大池化与判别打分:保留最强局部矛盾信号 在事实性核查中,哪怕整段文本大部分内容吻合,只要存在一处致命的事实冲突,整个声明即属于未支持状态。平均池化容易将局部的强烈冲突稀释,因此 GRD 对 \(K\) 个槽位的门控残差向量沿维度执行元素级最大池化: $\(\bar{r}_j = \max_{k=1}^K \tilde{r}_{k,j}\)$ 聚合特征 \(\bar{r} \in \mathbb{R}^{d_h}\) 保留了跨槽位最显著的局部冲突信号,最后通过两层 MLP 分类器输出预测置信度: $\(\hat{y} = \sigma(W_2 \text{ReLU}(W_1 \bar{r} + b_1) + b_2)\)$
损失函数 / 训练策略¶
模型采用二元交叉熵损失函数进行端到端优化: $\(\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \left[ y_i \log \hat{y}_i + (1 - y_i) \log(1 - \hat{y}_i) \right]\)$ 为避免冷启动时新生交互层破坏预训练表征,训练采用两阶段策略:第一阶段冻结预训练语言模型(BGE-large-en-v1.5),仅以 \(5 \times 10^{-5}\) 的学习率优化 PMA 和 GRD 模块参数 4 个 epoch;第二阶段在语言模型最后两层 Transformer 的 \(W_Q, W_V\) 注入 rank \(r=8\) 的 LoRA 适配器,以 \(2 \times 10^{-5}\) 的学习率微调高层语义对齐,全流程 batch size 设为 32。
实验关键数据¶
主实验¶
在涵盖事实性核查与 NLI 的 8 个通用基准数据集上评测 Macro-F1(%),基准包含大模型零样本判定、NLI 交叉编码器以及嵌入双塔模型。
| 模型类型 | 模型 | FEVER | SNLI | MNLI | Wiki-EN | Bio-S | Bio-H | WebNLG | Climate | SciFact | 平均 Macro-F1 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 大模型上限 | Qwen2.5-7B | 93.51 | 95.76 | 92.69 | 98.25 | 93.15 | 82.92 | 86.41 | 69.84 | 83.54 | 88.45 |
| 小参数大模型 | Llama-3.2-3B | 89.59 | 91.73 | 82.44 | 89.07 | 80.82 | 51.91 | 57.97 | 32.79 | 27.14 | 67.05 |
| 小参数大模型 | Qwen2.5-0.5B | 82.43 | 89.30 | 78.55 | 86.05 | 72.75 | 66.74 | 77.54 | 54.47 | 58.27 | 74.01 |
| 交叉编码器 | MiniCheck-DeBERTa | 89.72 | 90.68 | 84.83 | 91.55 | 87.16 | 76.95 | 59.67 | 48.96 | 52.50 | 75.78 |
| 交叉编码器 | DeBERTa-v3-NLI | 93.46 | 94.23 | 92.93 | 96.57 | 88.30 | 74.68 | 75.65 | 53.68 | 60.73 | 81.14 |
| 交叉编码器 | NLI-RoBERTa | 87.23 | 94.87 | 90.72 | 93.34 | 78.48 | 63.52 | 61.52 | 55.97 | 54.26 | 75.55 |
| 对称双塔 | BERTScore | 33.56 | 33.77 | 34.21 | 36.61 | 37.87 | 25.35 | 23.77 | 32.14 | 39.69 | 33.00 |
| 对称双塔 | ColBERT | 33.60 | 42.39 | 35.52 | 53.08 | 38.00 | 27.20 | 28.24 | 32.14 | 39.69 | 36.65 |
| 前序双塔 SOTA | E-Verify | 60.87 | 81.23 | 79.22 | 96.97 | 79.15 | 65.08 | 65.29 | 52.81 | 48.97 | 69.95 |
| 本文方法 | GRD (Ours) | 87.42 | 96.17 | 90.43 | 98.15 | 81.59 | 70.85 | 72.05 | 64.54 | 58.69 | 79.99 |
在 FEVER 真实检索场景(BM25 检索 top-5 证据候选)下的计算效率与端到端延迟对比:
| 模型 | 参数量 | 离线计算量 | 在线计算量 | 推理延迟 (GPU) | 相对加速比 |
|---|---|---|---|---|---|
| Qwen2.5-7B | 7.7B | – | 12.09 TFLOPs | 50.32 ms | 0.15× |
| MiniCheck-DeBERTa | 435M | – | 291.82 GFLOPs | 23.59 ms | 0.33× |
| DeBERTa-v3-NLI (基准) | 184M | – | 83.52 GFLOPs | 7.77 ms | 1.00× |
| E-Verify | 114M | 8.13 GFLOPs | 1.11 GFLOPs | 0.13 ms | 59.77× |
| GRD (Ours) | 342M | 28.69 GFLOPs | 3.96 GFLOPs | 0.33 ms | 23.55× |
消融实验¶
在核心基准上检验方向残差 \(\delta_k\)、幅度残差 \(\mu_k\) 以及自适应门控 \(g_k\) 的必要性(Macro-F1 %):
| 配置 | FEVER | MNLI | Bio-S | WebNLG | 平均说明 |
|---|---|---|---|---|---|
| GRD 完整模型 | 87.42 | 90.43 | 81.59 | 72.05 | 基准全配置 |
| 移除方向残差 w/o \(\delta_k\) | 82.82 | 87.35 | 67.83 | 60.19 | Bio-S 下跌 13.76%,WebNLG 下跌 11.86%,非对称表征受损 |
| 移除幅度残差 w/o \(\mu_k\) | 81.13 | 88.52 | 72.63 | 69.04 | FEVER 下跌 6.29%,冲突强度量化失效 |
| 移除自适应门控 w/o \(g_k\) | 85.20 | 84.49 | 80.08 | 70.54 | MNLI 下跌 5.94%,语境与句式噪声无法滤除 |
关键发现¶
- 双塔对称度量存在根本缺陷:BERTScore(33.00%)与 ColBERT(36.65%)由于仅依赖余弦相似度,在面临高词汇重叠的未支持样本时必然产生相似度饱和与大量误报;而 GRD 通过纯差异算子实现 79.99%,证实了显式建模非对称蕴含的必要性。
- 长文档语境鲁棒性:在 Bio-S 上将证据上下文长度从单句逐步扩展至 2000 字符时,前序双塔 SOTA E-Verify 的 F1 从 79.15% 崩塌至 30% 以下;而 GRD 在所有长度下保持稳定,门控机制带来的性能增益随长度增加从 1.51 个点持续扩大到 7.43 个点,表明动态门控在抑制长文本背景噪声上的关键作用。
- 算力与准确率帕累托前沿:GRD 仅落后计算昂贵的交叉编码器 SOTA(DeBERTa-v3-NLI,81.14%)1.15 个百分点,却将单次在线计算量从 83.52 GFLOPs 骤降至 3.96 GFLOPs,实现 23.55 倍推理加速。在检索候选集 \(k\) 扩展至 20 时,计算开销曲线几乎平坦。
亮点与洞察¶
- 差异主导判别范式:摒弃传统特征工程中“拼接对称相似度 + 差值”的做法,发现对称相似度在长文本核查中反而是掩盖冲突的噪声源,纯残差驱动能更纯粹地解耦事实冲突信号。
- 双视角残差正交互补:方向残差编码几何位移方向(判断是信息蕴含还是幻觉外溢),幅度残差编码偏差强度(区分良性润色与严重篡改),二者结合显著提升细粒度判别力。
- 解耦式离线长文本核查可落地:摆脱了以往双塔方法必须预先对证据切分为原子句的繁重预处理束缚,允许原生长文档证据的高吞吐低延迟检验。
局限与展望¶
- 复杂多步推理能力不足:在 SciFact 和 Climate-FEVER 等重度依赖科学多步演绎推理的数据集上,受限于向量空间密集压缩的表达能力,GRD(SciFact 58.69%)与大规模参数 LLM(Qwen2.5-7B 83.54%)仍有差距。
- 级联核查落地形态:作者指出 GRD 最适宜作为高并发在线核查系统的首道轻量级过滤器(First-pass Filter),快速裁决绝大多数显式事实冲突,仅将少量长推理链疑难样本路由给超大模型。
相关工作与启发¶
- vs Cross-Encoder (MiniCheck / DeBERTa-v3-NLI):交叉编码器依靠逐层全注意力获得细粒度语义交互,但在线 FLOPs 高且无法复用证据表征;GRD 通过 PMA 槽对齐与向量空间门控残差算子,在保留 98.5% 性能的同时节省了超过一个数量级的在线算力。
- vs E-Verify:E-Verify 虽探索了嵌入层核查,但因融合对称特征而导致长文档性能崩溃,依赖证据原子分解;GRD 依靠纯差异算子和自适应动态门控,直接支持原生长文档检索比对。
评分¶
- 新颖性: ⭐⭐⭐⭐ [提出差异主导的双视角残差与嵌入空间自适应门控,克服双塔核查长文本噪声与对称饱和两大痛点]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖8大基准、真实Top-k检索扩展性、2000字符长上下文压力测试及严格对照微调]
- 写作质量: ⭐⭐⭐⭐⭐ [动机链条严密清晰,公式与算子设计层次分明,图表论证扎实]
- 价值: ⭐⭐⭐⭐⭐ [大幅降低细粒度事实核查的计算门槛,为高并发 RAG 工业落地提供了极具实用价值的轻量级首关过滤器]