跳转至

XQDT: eXplainable and Quantitative Data-Text Alignment Metric with Feedback Signals

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/guihuzhang/xqdt
领域: 可解释性
关键词: 数据文本对齐, 可解释评估指标, 细粒度错误定位, 闭式公理化评分, 双向迭代生成修复

一句话总结

XQDT 提出了一种端到端可解释且定量的双向数据-文本对齐评估指标,通过在受控语义对抗扰动数据上微调开源模型显式定位原子三元组的正确、遗漏、错误与额外内容,并闭式聚合为精确度、召回率与 F1 分数,同时为数据到文本与文本到数据的双向生成提供细粒度的迭代修复反馈信号。

研究背景与动机

在数据到文本(Data-to-Text)和文本到数据(Text-to-Data)任务中,结构化图/三元组集合与非结构化自然语言文本之间需要保持双向严谨的事实对齐。然而,现有评估方法陷入了两种极端困境:传统的无参考或基于参考的启发式指标(如 BLEU、METEOR、PARENT)只能捕捉表面词汇或局部 n-gram 覆盖;而基于模型的评估器(如自然语言推理 NLI、回归模型 MonoLR、基于问答的 Data-QuestEval)虽然提升了语义相关性,却通常仅输出一个黑盒标量打分,无法向系统开发者解释生成的文本究竟在哪一部分产生幻觉、遗漏了哪些关键事实,或者篡改了什么实体关系。

与此同时,使用专有大语言模型充当裁判(LLM-as-Judge,如 GPT-4、GPT-5)虽然能生成自由文本解释,但不仅调用成本高昂、延迟巨大,且存在严重的幻觉、提示词敏感性以及过度预测倾向,难以产生稳定可复现的定量指标。更深层的矛盾在于:精细的错误局部归因与严密的定量指标之间缺乏可解释的数学桥梁。现有针对自由长文本的事实性核查指标(如 FActScore、SAFE)依赖将文本拆解为原子事实后检索外部知识源,无法原生适配具有给定结构化输入输入的双向对齐场景——在此类场景下,正确、遗漏与篡改单元必须精确锚定在输入数据端,而无依据的冗余信息则必须从文本中提炼并三元组化。此外,自然语料中缺乏三元组级别对齐错误的大规模精细标注,若采用朴素的负采样合成训练数据,模型极易依赖浅层的话题错配捷径,无法泛化到真实系统中细微的语义失真。

为了打破评估解释性与数学量化之间的割裂,本文的切入角度是:将数据-文本双向对齐形式化为结构化数据与文本之间的原子级四元标签分类,并通过保拓扑相关性的可控语义对抗扰动生成高保真负样本,微调参数高效的紧凑判别器,最终利用闭式代数公式将离散错误计数公理化映射为精准的 Precision、Recall 和 F1 打分,并反哺下游多轮迭代修正。核心 idea:将数据-文本双向对齐形式化为原子数据项的四分类局部归因(正确、遗漏、错误、额外),通过保拓扑的语义对抗扰动微调紧凑型判别器并闭式聚合出精确度、召回率与 F1,实现高解释性、强人类相关性的评估打分与双向生成迭代修复。

方法详解

整体框架

XQDT 面向输入的数据-文本对 \((D, T)\),其中 \(D\) 是由原子三元组 \(\langle s, p, o \rangle\) 组成的结构化数据集合,\(T\) 是英文文本。整个方法架构包含三个相互咬合的核心阶段:首先是离线阶段的保拓扑语义对抗扰动流水线,通过在金标对齐语料上实施正交的局部语义操作,合成包含遗漏、篡改与冗余的多重错误混合训练样本;其次是在线评估阶段,利用微调的判别语言模型将数据与文本对齐分解为原子三元组的四分类判定,并利用闭式公式直接聚合出 Precision、Recall 和 F1 定量评分;最后是下游增强阶段,将判定出的细粒度局部错误转化为结构化反馈信号,驱动下游修复大语言模型(Revision LLM)执行多轮精准编辑。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据-文本对<br/>(结构化数据 D, 文本 T)"] --> B["保拓扑语义对抗扰动<br/>构建单/多重错误混合训练集"]
    B --> C["原子级四分类与闭式量化聚合<br/>微调判别模型预测四元标签并闭式计算 P / R / F1"]
    C --> D["细粒度反馈双向迭代修正<br/>将局部错误转化为结构化 Prompt 指导多轮修复"]
    D --> E["输出对齐评估指标与修正后数据/文本"]

关键设计

1. 保拓扑语义对抗扰动:浅层捷径学习与人工标注匮乏 -> 关系受控的三类正交扰动流水线 -> 产出高保真多重错误混合语料

高质量原子级错误标注极度匮乏,直接进行随机负采样会导致负样本与正样本在主题和词汇上严重脱节,模型只需识别领域漂移就能作弊。为了迫使判别器关注细微的事实冲突,XQDT 在 WebNLG 3.0 和清洗后的 E2E 语料上设计了保留语义连结的三类可控扰动: - 遗漏数据(Omitted):模拟模型漏写事实。第一种方式是检索扩展,寻找共享至少一个实体或谓词但三元组完全不重叠的候选子图 \(D_2\) 合并到原数据 \(D_1\) 中,同时设定重叠过滤(剔除与原三元组重叠 2-3 个元素的近重复项),并将 \(D_2\) 规模硬截断在 1–4 个三元组;第二种方式是字段锚定伪造,随机抽取一个三元组,固定一个字段(如谓词),基于共现统计候选池并结合 BGE-1.5-Large 嵌入相似度(过滤相似度高于 0.65 的近义项)替换另外两个字段,构造出话题相关但文本未提及的伪造项 \(d^+\)。 - 冗余内容(Extra):与遗漏对称,模拟模型产生无依据幻觉。采用两种互补策略:要么从金标数据中剔除三元组 \(\{d^-\}\) 而保留原文本,使得原文本中对应表述变为无支撑的 Extra;要么将两个语义相关的文本进行拼接(\(T_1 \parallel T_2\))但仅保留第一个文本对应的数据图。 - 事实错误(Incorrect):模拟模型事实篡改与论元错配。保持文本不变,针对数据中的三元组进行单元素替换(从低相似度候选池中替换一个实体或谓词),或者在非对称谓词下直接对调主语和宾语(主客反转,例如将“美国 demonym 美国人”篡改为“美国人 demonym 美国”)。对称谓词(如 synonym、shares border with 等)被显式排除以避免语义等价。

为了模拟真实生成场景中复合错误的并发,三种扰动通过独立的伯努利试验并行采样,并严格执行操作拓扑时序(Omitted 作为外来扩展项不参与后续删除或篡改;Extra 删除的三元组不再被 Incorrect 修改;Incorrect 篡改后的三元组不作为语义检索参考),最终在句子级打乱文本并在三元组级打乱数据,彻底消除位置先验。人工审计验证该扰动构造的有效性达到 93.9%,且 85.6% 的样本无额外未标注对齐噪音。

2. 原子级四分类与闭式量化聚合:黑盒标量打分与多步推理开销 -> 基于数据锚定的四元判定与代数闭式评分 -> 兼具细粒度定位与公理化量化

现有的可解释评估往往依赖多轮复杂的链式问答或纯自由文本生成,不仅延迟高,而且主观输出难以稳定折算为度量标准。XQDT 将评估过程严格锚定在结构化单元上,判别器输出形式化的三元组差异列表并分配显式标签: - Correct:数据项 \(d_i \in D\) 在文本 \(T\) 中被准确、完整地表述。 - Incorrect:\(d_i \in D\) 被表述但在主语、谓词或宾语中存在单一元素被替换或主客对调,仍能明确溯源至该三元组。 - Omitted:\(d_i \in D\) 在文本中完全未提及,或因两个及以上元素失真而无法识别。 - Extra:文本中提及的事实在 \(D\) 中毫无支撑,由模型从文本中提取并表达为原子三元组。

在此基础上,XQDT 建立了无参数的闭式公理化评分机制,将局部频数直接代数聚合为精确度(Precision)、召回率(Recall)和 F1 分数:

\[P = \frac{|\text{Correct}|}{|\text{Correct}| + |\text{Extra}| + |\text{Incorrect}|}\]
\[R = \frac{|\text{Correct}|}{|\text{Correct}| + |\text{Omitted}| + |\text{Incorrect}|}\]
\[F_1 = \frac{2 \times P \times R}{P + R}\]

该设计的精妙之处在于严密的惩罚对称性:一个被篡改的错误单元(Incorrect)同时惩罚两端——在召回率中它未被正确覆盖,在精确度中它构成了不准确的输出实现;相比之下,Omitted 仅影响召回率分母(所有输入单元数 \(|\text{Correct}| + |\text{Omitted}| + |\text{Incorrect}|\)),而 Extra 仅影响精确度分母(所有生成实现单元数 \(|\text{Correct}| + |\text{Extra}| + |\text{Incorrect}|\))。这使得指标在数学定义上与信息检索的经典公理完美对齐。

3. 细粒度反馈双向迭代修正:标量指标无法指导下游修复 -> 显式结构化错误信号驱动 Revision LLM -> 显著提升双向生成忠实度

传统评估指标仅能给出一个分数,下游生成模型在获知低分后只能盲目重新采样或全局重写,极易在修补旧错误的同时引入新幻觉。XQDT 将判别器输出的离散错误三元组直接转化为可操作的诊断反馈,支持两类截然不同的下游生成修复: - 文本到数据(Text-to-Data)抽取修复:针对信息抽取模型(如 BT5、ReGen)输出的错误三元组,Verifier 判定出的 Extra 被映射为“待删除的无支撑三元组”,Incorrect 被映射为“需检查修正的潜在错误三元组”,Omitted 被映射为“需补全的缺失事实”。修复模型在受约束的 Markdown 表格提示下,仅执行局部符号增删改,避免了全量重抽取的级联崩溃。 - 数据到文本(Data-to-Text)生成修复:针对自然语言生成模型(如 Control Prefix),Verifier 将缺失、冗余和失真三元组注入 Prompt,指导 Revision LLM 在保持原文已对齐流畅句式的前提下,最小化范围改写受影响的局部子句,严格遵循“无错误则保持不变、局部问题局部修复”的原则。

通过最多 3 轮交互式反馈迭代(R1 \(\to\) R3),系统实现了从被动评分工具向主动强化闭环的跨越。

损失函数 / 训练策略

XQDT 评估模型基于标准自回归 Transformer 生成式架构,输入经过格式化的 \((D, T)\) 提示词,监督目标为自回归生成标注了错误类型的三元组差异集合 \(E\)。所有微调模型采用 LoRA 参数高效微调: - 参数配置:LoRA 作用于模型的所有线性层(Attention 与 MLP 投影层),Dropout 设为 0.05。对于 \(\le 1.7\text{B}\) 的紧凑模型,设定 LoRA 秩 \(r = 8\)、缩放因子 \(\alpha = 16\);对于 3B 至 14B 的中大模型,设定 \(r = 16\)、\(\alpha = 32\)。 - 优化与学习率:采用 Cosine 学习率调度策略(1 个周期预热后经历 15 个重启周期),最长训练 16 个 Epoch,早停策略设定为验证集连续 2 个 Epoch 无改善即停止。学习率按参数规模阶梯化设定:\(<1\text{B}\) 模型为 \(1 \times 10^{-4}\),\(1\text{B}\sim 4\text{B}\) 模型为 \(5 \times 10^{-5}\),\(8\text{B}\sim 14\text{B}\) 模型为 \(3 \times 10^{-5}\)。 - 计算环境与数据配比:所有训练均在 NVIDIA H100 GPU 上采用 bf16 混合精度完成。为了防止模型在关系单一的领域过拟合,在混合训练时将覆盖宽广领域(411 个谓词、3,622 个实体)的 WebNLG 样本与仅有 7 个属性的 E2E 样本保持约 4:1 的比例进行加权采样。

实验关键数据

主实验

论文在受控合成测试集(评估细粒度错误检测 F1)、人类主观打分基准 4L-RP-Human(评估 Precision/Recall/F1 相关性)以及下游文本-数据双向生成修复任务上进行了全面评测。

表格 1:WebNLG 合成测试集上的三元组级别错误定位 F1(%)对比

模型 类型/规模 Extra F1 Omitted F1 Incorrect F1 Macro F1
Qwen3-32B-Prompt Prompted Judge 2.8 1.2 47.6 17.2
Gemma3-27B-Prompt Prompted Judge 4.6 14.4 43.2 20.7
GPT-4.1-Prompt Prompted Judge 16.8 30.8 64.1 37.2
Llama3.3-70B-Prompt Prompted Judge 13.2 51.8 52.3 39.1
GPT-5.1-Prompt Prompted Judge 18.0 81.7 78.1 59.2
Qwen3-0.6B (Ours) Fine-tuned XQDT 69.7 96.2 95.2 87.1
Gemma3-1B (Ours) Fine-tuned XQDT 66.8 94.5 92.3 84.5
Llama3.1-8B (Ours) Fine-tuned XQDT 82.2 93.8 95.6 90.5
Gemma3-4B (Ours) Fine-tuned XQDT 78.3 97.6 96.5 90.8
Qwen3-8B (Ours) Fine-tuned XQDT 79.2 96.8 96.9 90.9
Qwen3-14B (Ours) Fine-tuned XQDT 81.3 96.8 97.1 91.7

表格 2:与 4L-RP-Human 人类打分的 Spearman 秩相关系数 \(\rho\) 对比

模型 指标类型 \(P_m \text{ vs } P_h\) \(R_m \text{ vs } R_h\) \(F1_m \text{ vs } F1_h\)
Data-QuestEval (DQE) QA-based Metric 61.2 58.3 62.5
MonoLR Regression Metric 71.0 63.7 70.6
NLI-Based Entailment Metric 73.4 73.2 73.3
FactSpotter (FS) Self-supervised Recall — 86.5 —
Qwen3-32B-Prompt Prompted Judge 35.9 30.4 35.0
GPT-5.1-Prompt Prompted Judge 80.9 76.8 78.5
Qwen3-0.6B (Ours) Fine-tuned XQDT 71.8 79.3 78.4
Gemma3-4B (Ours) Fine-tuned XQDT 79.0 87.6 87.4
Llama3.2-3B (Ours) Fine-tuned XQDT 85.0 80.4 85.9
Llama3.1-8B (Ours) Fine-tuned XQDT 82.4 78.3 84.3
Qwen3-8B (Ours) Fine-tuned XQDT 88.6 88.9 89.6

消融与分析实验

表格 3:下游文本到数据(Text-to-Data)抽取修复在 GenWiki 上的 Exact F1(%)表现

基础抽取模型 修复引导方法 修复轮次 Gemma3-12B Llama3.1-8B Qwen3-14B
BT5 Baseline (无修复) — 40.89 40.89 40.89
BT5 Self-Refine Round 1 42.13 40.26 41.49
BT5 Self-Refine Round 3 41.96 40.01 40.27
BT5 FactSpotter Round 3 36.96 38.92 33.10
BT5 NLI Round 3 49.36 41.58 40.14
BT5 PiVe Round 3 40.89 40.83 40.89
BT5 XQDT (Ours) Round 1 48.60 44.65 43.26
BT5 XQDT (Ours) Round 3 50.79 (+9.90) 47.80 (+6.91) 47.08 (+6.19)
ReGen Baseline (无修复) — 47.53 47.53 47.53
ReGen NLI Round 3 51.25 46.37 45.69
ReGen XQDT (Ours) Round 3 51.95 (+4.42) 50.48 (+2.95) 49.48 (+1.95)

关键发现

  • 微调紧凑判别器完胜超大参数 Prompted Judge:仅有 0.6B 参数的 Qwen3 微调模型在合成测试集上的 Macro F1 达到 87.1%,甚至远超 70B 开源模型(39.1%)和闭源的 GPT-5.1(59.2%);提示词驱动的裁判模型在未见过微调样本时,极易产生过误报,在 Extra 错误上的 F1 仅有可怜的 2.8%–18.0%。
  • 冗余内容(Extra)识别是核心瓶颈:所有微调模型在 Omitted(最高 97.6%)和 Incorrect(最高 97.1%)上均取得极高分数,但在 Extra 上的三元组精准 F1 普遍在 66.8%–82.2% 之间。根本原因在于检测 Extra 必须从非结构化文本中逆向解析并三元组化新的未见事实,而不能直接从输入数据三元组中复制。
  • 模型缩放存在边际收益与过拟合门槛:在与人类主观评价的相关性上,8B 模型(Qwen3-8B 取得最高的 89.6% F1 相关性)全面优于 14B 模型(Qwen3-14B 降至 69.5%)。分析表明,超过 8B 之后,模型倾向于过度拟合受控扰动的特定表面模式,反而损伤了在人类自然语言模糊表述下的校准能力。
  • 细粒度反馈驱动的闭环显著优于传统自省:在 Text-to-Data 抽取修复中,通用的 Self-Refine 反复迭代反而导致指标劣化(从 42.13% 降至 41.96%),而 XQDT 提供的显式三元组增删改反馈使 Exact F1 从 40.89% 大幅跃升至 50.79%(净增 9.9 个百分点)。

亮点与洞察

  • 形式化四元分类与经典代数评分的无缝嵌合:指标设计将自然语言生成评估的“解释性”与“定量性”统一在三元组集合的测度上,用公理化的代数式兼顾了事实覆盖与幻觉惩罚,优雅规避了回归打分不可解释、纯文本解释无法聚合的痛点。
  • 正交且保留拓扑关联的语义对抗负采样策略:通过嵌入距离阈值和实体/谓词图共现约束负样本生成,既保证了负样本的高拟真度(排除了低级词汇捷径),又通过伯努利组合覆盖了真实场景的复合错误形态。
  • 从评估器到交互式编辑器的自然迁移:验证器输出的每一个错误标签都具备明确的逆向编辑语义(Omitted \(\to\) 添加,Extra \(\to\) 删除,Incorrect \(\to\) 属性修正),为结构化抽取与文本生成的自动化纠错闭环提供了即插即用的强化监督信号。

局限与展望

  • 三元组原子假设对复杂语义结构的表征局限:模型框架严格依托 \(\langle s, p, o \rangle\) 知识三元组作为基本对齐单元,在图-文本与表格场景下表现优秀,但难以直接迁移至抽象语义表示(AMR)、成分句法树或篇章修辞结构等跨长程上下文的复杂语义表示。
  • 严格硬计数与人类部分信用容忍度之间的尺度偏差:在代数聚合中,三元组中只要有一个元素错误即被记为整个三元组 Incorrect,但在人类主观认知中,主谓正确仅宾语微调的表述往往能获得部分信用(Partial Credit),导致在极端模糊案例下绝对分数与人类心理量表存在系统性偏移。
  • 推理开销随错误单元数线性增长:与仅输出单个浮点数的标量模型相比,当文本存在大规模未支撑的冗余内容时,生成全部 Extra 三元组的自回归解码长度增加,带来了一定的延迟开销。

相关工作与启发

  • vs MonoLR:MonoLR 依赖交叉编码器直接回归 Precision/Recall 标量打分,推理极快,但无法给出任何关于哪些词句出错的归因线索;XQDT 通过单元级生成定位,不仅在人类相关性上更胜一筹(F1 相关性 89.6 vs 70.6),更提供了可直接指导修复的结构化诊断。
  • vs Data-QuestEval (DQE):DQE 依赖多步问答生成(QG)和机器阅读理解(QA)流水线计算覆盖度,流水线冗长且各环节误差累积严重;XQDT 采用端到端单次微调模型统一判断,在计算效率与定位精准度上具有明显优势。
  • vs FactSpotter:FactSpotter 仅针对三元组做召回率验证,先天不具备检测文本额外幻觉(Precision 端)的能力;XQDT 实现了真正在双向维度上的精确度与召回率对称量化。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将局部三元组四分类与闭式 Precision/Recall 公理化结合,打破了评估解释性与定量打分的割裂局面]
  • 实验充分度: ⭐⭐⭐⭐⭐ [涵盖 WebNLG、E2E、KELM、GenWiki 等多基准,横跨合成错误检测、多维度人类评价相关性及双向下游生成修复]
  • 写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑缜密,数学定义与实验消融条理极其清晰]
  • 价值: ⭐⭐⭐⭐⭐ [为数据-文本双向系统的自动化基准测试与强化学习/迭代自我纠错提供了即插即用的高质量验证器]