Ontology-Driven Structural Regularization for Document-Level Relation Extraction¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/mntlra/DocRE-StructuralConsistency
领域: NLP理解
关键词: 文档级关系抽取, 远程监督, 本体论约束, 结构正则化, 知识图谱构建
一句话总结¶
针对文档级关系抽取中远程监督数据存在的严重结构性逻辑矛盾,本文提出了一套基于网络本体语言(OWL)公理的本体驱动结构正则化框架,通过在预处理阶段清除违规实体并补全逆关系,在不改变模型架构的情况下大幅削减逻辑错误,实现抽取质量与泛化能力的系统性跃升。
研究背景与动机¶
文档级关系抽取(Document-Level Relation Extraction, DocRE)旨在从完整篇章中识别所有实体对之间蕴含的丰富语义关系,是将非结构化文本转化为高质量机器可读知识图谱(Knowledge Graph, KG)的核心技术支柱。然而,跨句子的复杂长距离依赖与篇章级推理对标注质量提出了极高要求,人工标注高昂的成本导致高质量基准数据集(如 DocRED 人工划分集)规模严重受限。为了训练具有广泛覆盖能力的抽取模型,研究者广泛依赖远程监督(Distant Supervision, DS)技术,通过将维基百科等文本中的共现实体与 Wikidata 等知识库三元组进行启发式对齐,构建了包含数万篇文档的超大规模弱监督数据集。然而,长文档中共现的实体对往往缺乏真实的上下文语义关联,这为远程监督数据集引入了极其显著的标签噪声。以往的去噪工作主要遵循以模型为中心(model-centric)的路线,聚焦于利用蒙特卡洛 Dropout 评估语义不确定度、过滤低置信度伪标签或借助主动学习挖掘长尾关系,本质上均是在独立的三元组分类概率空间内打补丁。
然而,这种传统的去噪视角存在一个致命盲区:关系三元组并非相互孤立的离散标签,其语义合法性受到现实世界本体结构(Ontology)严格的代数与拓扑公理制约。在当前最具代表性的 DocRED 远程监督数据集中,广泛充斥着反直觉的结构性违规——例如让非时间类型的实体充当“死亡时间”关系的值域、抽取了“首都属于”关系却遗漏反向的“首都是”、或者在非对称关系中同时预测双向因果。这些结构性缺陷严重破坏了抽取子图的逻辑完备性与一致性。更严峻的是,深度神经网络具有强烈的记忆与泛化能力,训练数据中的结构性逻辑矛盾会被模型无差别地拟合,进而直接“遗传”并放大到下游预测阶段,导致抽取出大量在物理现实中自相矛盾的三元组。现有的语义去噪方法对这种跨三元组的拓扑失范完全缺乏感知与约束能力。
本文从数据中心(data-centric)的全新视角切入,将本体层面的结构合法性确立为关系抽取监督信号中缺失的关键维度。研究团队借助网络本体语言(OWL)的形式化语义机制,对关系抽取的实体类型与属性关系施加严格的代数约束,从而精准诊断并纠治监督数据中的逻辑病灶。核心 idea:将文档级关系抽取形式化为符合 OWL 代数公理的局部图谱构建任务,通过系统定义类型合法性、逆关系自洽、非对称互斥与基数约束,在训练前对远程监督数据执行轻量级结构正则化清洗与补全,以零模型侵入的方式阻断结构噪声的传播并大幅提升泛化上限。
方法详解¶
整体框架¶
本文构建了一套面向文档级关系抽取数据集的本体驱动结构一致性分析与正则化管线。给定输入长文档 \(d\) 与命名实体集合 \(E=\{e_i\}_{i=1}^n\),各实体对应一组文本提及(mentions)\(M_i=\{m_{i,j}\}_{j=1}^{k_i}\)。DocRE 任务旨在预测实体对 \((e_s, e_o)\) 之间是否存在预定义关系集合 \(R \cup \{\text{na}\}\) 中的某种语义关联。本文将每个抽取的实体对及预测关系映射为资源描述框架(RDF)三元组 \(\langle s, p, o \rangle\),并将每个关系 \(r \in R\) 视为具备形式化公理约束的 OWL 对象属性(owl:ObjectProperty)。整套方法包含“OWL 结构公理形式化定义”、“全量数据集结构病理诊断与统计归因分析”以及“模型无关的数据结构正则化清洗与增广”三个核心环节,并在最终阶段直接驱动标准下游 DocRE 模型完成结构自洽的高质量预测。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入长文档及实体集合<br/>DocRED 远程监督原始数据"] --> B["1. 基于 OWL 语义的四类本体约束形式化<br/>定义定义域/值域、逆关系、非对称与基数上界"]
B --> C["2. 统计严谨的结构性错误溯源与诊断<br/>二项比例与95% HPD可信区间确定实体瓶颈"]
C --> D["3. 轻量级模型无关的结构正则化清洗<br/>违规实体级剔除过滤 + 缺失逆关系自动对称闭包"]
D --> E["4. 结构良构数据驱动的下游模型训练<br/>在 ATLOP 与 DREEAM 上验证泛化提升"]
E --> F["输出结构一致且高精度的文档关系图谱"]
关键设计¶
1. 基于 OWL 语义的四类本体约束形式化:将知识图谱逻辑规则引入三元组抽取
针对远程监督数据缺乏全局逻辑自洽性检验的痛点,本文借助 OWL 形式化语义,为文档级图谱抽取建立了四项明确的代数与拓扑良构性准则:
- 无效三元组(Invalid Triples):每个命名实体 \(e_i\) 具有离散实体类型 \(t(e_i) \in \mathcal{T}\)(包含 PER、ORG、LOC、TIME、NUM、MISC 等)。关系 \(r\) 的合法主宾类型由其定义域 \(\text{dom}(r) \subseteq \mathcal{T}\) 与值域 \(\text{ran}(r) \subseteq \mathcal{T}\) 严格限定(从 Wikidata 属性元数据中提取,并结合 ReDocRED 高频类型进行平滑,同时对所有关系默认加入 MISC 以免过度严苛)。若三元组 \(\langle e_s, r, e_o \rangle\) 满足:
$\(t(e_s) \notin \text{dom}(r) \lor t(e_o) \notin \text{ran}(r)\)$
则该三元组被严格判定为无效三元组(例如将人物与时间之间标注“出生地”关系)。
- 缺失逆关系(Missing Inverse Relations):在单文档图谱的局部封闭世界假设(Local Closed-World Assumption)下,若本体中存在互逆关系声明 \(r' \equiv \text{owl:inverseOf}(r)\),则文档 \(d\) 中包含 \(\langle e_s, r, e_o \rangle\) 必然在语义上蕴含逆向三元组 \(\langle e_o, r', e_s \rangle \in d\)。当且仅当前者存在而后者缺席时,即判定为逆关系缺失(对于自反的对称关系如配偶、兄弟姐妹,则要求自身双向共存)。
- 非对称关系不一致(Asymmetric Relation Inconsistencies):在 DocRED 包含的属性中,除配偶(P26)和兄弟姐妹(P3373)属于对称关系外,其余所有关系均属于非对称关系(owl:AsymmetricProperty)。若在非对称关系 \(r\) 下同时出现 \(\langle e_s, r, e_o \rangle \in d \land \langle e_o, r, e_s \rangle \in d\)(例如互为“父亲”),则构成不可调和的逻辑矛盾。
- 关系基数冲突(Cardinality Violations):在 OWL 语义中,函数型属性(owl:FunctionalProperty)要求其最大基数 \(k_r = 1\)。本文实证分析发现由于文本中经常同时出现完整日期与独立年份提及(如“1931年7月2日”与“1931年”均被识别为实体),严格限制 \(k_r=1\) 会误伤真实标注,因此将涉及出生日期、死亡地点等 11 类函数型关系的最大基数合理放宽至 \(k_r = 2\)。当且仅当目标实体集合大小满足 \(|O(e_s, r)| > k_r\) 时判定为基数违规。
2. 统计严谨的错误根因诊断:揭示命名实体识别对关系抽取的瓶颈效应
在建立量化审计准则后,面对 DocRED distant 中海量的无效三元组(达 46,211 条),盲目人工复核在计算与人力上均不可行。本文引入基于简单随机抽样(Simple Random Sampling, SRS)与贝叶斯最高后验密度(Highest Posterior Density, HPD)可信区间的统计推断方法,从无效三元组全集中抽取 \(n_S = 400\) 条代表性样本进行专家级溯源标注。研究将错误归因抽象为二值指示变量:是实体标注错误(实体本身类型分类错误,如将地点“巴黎”误标为人物 PER 导致后续关系非法),还是关系标注错误(实体类型完全正确,但远程监督错误赋予了不符合语境的非法关系)。
统计推断表明,在 95% HPD 可信区间下,高达 \(69\% \pm 4.5\%\) 的无效三元组直接源于命名实体识别(NER)的类型错误,仅有 \(31\%\) 归因于单纯的关系对齐错误。这一重要实证发现揭示了一个关键技术洞见:在流水线或端到端信息抽取系统中,命名实体识别的类型准确率构成了文档级关系抽取结构质量的核心瓶颈;上游的实体错标会作为不可逆的拓扑污染,向下游关系抽取层层级联放大,为模型学到结构矛盾埋下了病根。
3. 轻量级模型无关的结构正则化清洗管线:实体级违规剔除与逆关系双向补全
由于直接对 58,619 处结构违规(46,211 个无效三元组与 12,408 个非对称矛盾)进行人工重新标注代价过高,本文提出了一种极其高效且保守的“实体级级联剔除 + 自动逆向闭包”策略。针对无效三元组与非对称矛盾,算法直接在训练文档中剔除涉及该违规的所有实体,从而安全清除所有依赖该错误实体类型或错误关系的三元组。该策略避免了昂贵的实体再标注,同时确保清洗后的数据集中绝无残留的结构性硬冲突。整套清洗流程共移除了 208,665 条无效相关三元组、31,178 条非对称冲突三元组(连带剔除 3 篇完全被污染的文档)。
针对缺失的逆关系,管线依据 Wikidata 权威逆关系映射表,对单向存在的有效关系自动在文档图谱中合成并注入对应的逆向三元组 \(\langle e_o, r', e_s \rangle\),共增补 72,609 条高质量正样本。最终得到的清洗版 DocRED distant 数据集包含 1,338,404 个训练实例(较原始数据净减少 167,234 条三元组)。整个处理过程纯粹在数据侧离线完成,不增加模型参数、不引入额外的辅助损失函数,也不需要修改任何推理阶段的代码,具备极强的工程通用性。
损失函数 / 训练策略¶
本文的方法属于完全模型无关的数据中心预处理范式,下游模型保持其原生架构、损失函数与优化超参数完全不变。实验中选取了两大具有代表性的顶尖 Transformer 基座模型: - ATLOP:基于 BERT/RoBERTa 编码器,结合自适应阈值学习(Adaptive Thresholding)与局部上下文池化(Localized Context Pooling),以统一处理文档级长距离依赖与多标签不平衡问题。 - DREEAM:在 ATLOP 的基础上引入证据感知蒸馏机制(Evidence-Aware Distillation),采用教师-学生架构(Teacher-Student Framework),学生网络先在远程监督数据上进行自训练(Self-Training),再在人工标注集上微调。
为了严格排除“性能提升仅是因为训练数据减少(少了 16.7 万条三元组起到轻量化正则作用)”的假象,研究设计了极其严谨的对照实验:在原始 DocRED distant 数据集上使用 10 个不同的随机数种子,各随机移除完全相同数量(167,234 条)的三元组并训练模型求均值(Random Baseline),以此隔离结构性清洗带来的真实贡献。
实验关键数据¶
主实验¶
在 ReDocRED 测试集上的系统性评测充分验证了本体结构正则化的有效性。下表汇报了 ATLOP 与 DREEAM(分别采用 BERT 和 RoBERTa 骨干网络)在原始远程监督数据(DocRED DS)、本体清洗版本(Corrected)以及随机丢弃对照组(Random)下的性能对比。除标准精确率(P)、召回率(R)和 F1 外,还汇报了排除训练集已见实体对的泛化指标 IgnP 和 IgnF1。
| 模型架构 | 训练数据版本 | Precision (%) | IgnPrec (%) | Recall (%) | F1 (%) | IgnF1 (%) |
|---|---|---|---|---|---|---|
| ATLOP (BERT) | DocRED DS | 75.03 | 58.77 | 29.45 | 42.30 | 39.24 |
| Corrected (本文) | 76.65 (+2.16%) | 61.65 (+4.90%) | 30.70 (+4.24%) | 43.84 (+3.64%) | 40.99 (+4.46%) | |
| Random Subsample | 75.28 (+0.33%) | 59.73 (+1.63%) | 29.64 (+0.65%) | 42.53 (+0.43%) | 39.62 (+0.97%) | |
| ATLOP (RoBERTa) | DocRED DS | 75.71 | 60.06 | 30.60 | 43.58 | 40.54 |
| Corrected (本文) | 76.57 (+1.14%) | 61.72 (+2.76%) | 31.20 (+1.96%) | 44.34 (+1.74%) | 42.45 (+4.71%) | |
| Random Subsample | 75.78 (+0.09%) | 60.82 (+1.27%) | 30.49 (-0.36%) | 43.48 (-0.23%) | 40.61 (+0.17%) | |
| DREEAM (BERT) | DocRED DS | 80.87 | 67.91 | 26.09 | 39.45 | 37.70 |
| Corrected (本文) | 80.42 (-0.56%) | 69.41 (+2.21%) | 31.13 (+19.32%) | 44.88 (+13.76%) | 42.98 (+14.01%) | |
| Random Subsample | 79.74 (-1.40%) | 67.46 (-0.66%) | 26.83 (+2.84%) | 40.13 (+1.72%) | 38.37 (+1.78%) | |
| DREEAM (RoBERTa) | DocRED DS | 81.70 | 69.64 | 28.61 | 42.38 | 40.56 |
| Corrected (本文) | 81.43 (-0.33%) | 70.83 (+1.71%) | 31.13 (+8.81%) | 45.04 (+6.28%) | 43.53 (+7.32%) | |
| Random Subsample | 80.87 (-1.02%) | 69.74 (+0.14%) | 28.97 (+1.26%) | 42.63 (+0.59%) | 40.90 (+0.84%) |
消融实验¶
为了进一步剖析不同本体约束规则的独立贡献,下表展示了在 ReDocRED 开发集上,针对单项结构规则清洗(仅剔除无效三元组 w/o invalid、仅补全逆关系 w/o inverse、仅消除非对称矛盾 w/o asymmetric)与全规则联合应用(All rules)时的微平均性能消融对比:
| 评估配置 | 训练数据设定 | Precision (%) | IgnPrec (%) | Recall (%) | F1 (%) | IgnF1 (%) |
|---|---|---|---|---|---|---|
| ATLOP-BERT | DocRED DS 基线 | 76.57 | 60.69 | 29.83 | 42.93 | 40.00 |
| 仅去除无效三元组 (w/o invalid) | 76.84 (+0.35%) | 61.96 (+2.08%) | 30.09 (+0.87%) | 43.24 (+0.73%) | 40.50 (+1.27%) | |
| 仅补全缺失逆关系 (w/o inverse) | 76.05 (-0.68%) | 59.80 (-1.46%) | 30.88 (+3.55%) | 43.93 (+2.33%) | 40.73 (+1.84%) | |
| 仅消除非对称矛盾 (w/o asymmetric) | 76.60 (+0.03%) | 60.94 (+0.41%) | 30.09 (+0.89%) | 43.21 (+0.65%) | 40.29 (+0.73%) | |
| 全规则联合正则化 (All rules) | 77.04 (+0.60%) | 61.97 (+2.11%) | 31.03 (+4.05%) | 44.24 (+3.06%) | 41.36 (+3.41%) | |
| DREEAM-BERT | DocRED DS 基线 | 81.16 | 76.67 | 26.13 | 39.53 | 38.97 |
| 仅去除无效三元组 (w/o invalid) | 79.70 (-1.80%) | 68.47 (-10.69%) | 27.47 (+5.14%) | 40.86 (+3.36%) | 39.21 (+0.61%) | |
| 仅补全缺失逆关系 (w/o inverse) | 81.09 (-0.09%) | 68.39 (-10.80%) | 27.72 (+6.09%) | 41.32 (+4.52%) | 39.45 (+1.22%) | |
| 仅消除非对称矛盾 (w/o asymmetric) | 81.48 (+0.39%) | 68.88 (-10.16%) | 26.35 (+0.86%) | 39.83 (+0.75%) | 38.12 (-2.19%) | |
| 全规则联合正则化 (All rules) | 79.92 (-1.54%) | 69.09 (-9.89%) | 30.18 (+15.52%) | 43.82 (+10.85%) | 42.01 (+7.80%) |
此外,在预测结果的结构良构性评估中(测试集推断),经本体清洗后训练的模型展现出惊人的自洽性: - 预测中的无效三元组平均减少 62.92%(以 DREEAM-RoBERTa 为例,预测错误数从 52 条降至 23 条,占比由 0.85% 降至 0.34%); - 预测中的缺失逆关系大幅削减 74% ~ 87%(ATLOP-RoBERTa 缺失率从 41.18% 剧降至 5.68%); - 预测中的非对称矛盾基本绝迹(ATLOP-RoBERTa 预测中的非对称冲突率直接清零至 0.00%)。
关键发现¶
- 逆关系补全是召回率与 F1 爆发式增长的主要引擎:消融实验清晰证明,自动注入逆向对称三元组直接弥补了监督信号的不完整性,在 DREEAM-BERT 上单项促成了 +6.09% 的召回提升,最终全规则使 DREEAM-BERT 测试集召回率提升 +19.32%、F1 净增 5.43 个百分点(提升 +13.76%)。
- 无效三元组过滤主导精准率改善与开集泛化:剔除定义域/值域违规实体有效阻断了实体类型幻觉。在剔除训练集见过的实体对后(IgnPrec / IgnF1),ATLOP 的泛化优势更加突出(IgnF1 提升 +4.46%~+4.71%),表明消除病理样本能够显著防止模型在实体先验上产生过拟合记忆。
- 随机下采样无法复现提升,证伪纯数据精简假说:随机丢弃 16.7 万条三元组的对照组表现极其平庸,在多项设置下甚至出现衰退(如 ATLOP-RoBERTa 的 F1 下降 -0.23%),无可辩驳地证明了泛化跃升源自结构逻辑病灶的精准切除,而非训练规模缩水所带来的偶然正收益。
亮点与洞察¶
- 将逻辑本体确立为信息抽取的数据中心新维度:跳出以往基于损失重加权或概率置信度过滤的传统思路,首次证明知识图谱已有的 OWL 本体公理能够作为天然的先验正则项,极低成本地对弱监督数据实施质量净化。
- 揭示实体识别对端到端关系抽取的硬性瓶颈效应:通过二项抽样与 95% HPD 区间严谨证明 69% 的结构错误根植于实体错标,明确指出若不提升上游实体消歧能力,单靠改进关系抽取模型架构无法突破质量天花板。
- 零开销即插即用的工程通用性:清洗完全位于数据准备阶段,生成的规范化数据与现有任何 DocRED 格式模型完全兼容,在不增加训练推理算力负担的前提下实现了模型预测自洽性与 F1 的全面双赢。
局限与展望¶
- 粗粒度实体剔除牺牲了部分无害数据:为了避免耗资巨大的 5.8 万次人工纠错,当前策略直接剔除了包含违规的实体,导致连带删除了该实体在文档中参与的其他有效合法三元组;未来可探索结合大语言模型或小样本专家模型实现实体级自适应重标注。
- 评测基准自身残留的结构性噪点干扰了收益测算:即便是人工精校的 ReDocRED 评测集,也残留了约 0.8% 的无效三元组与近 9% 的缺失逆关系;在存在瑕疵的黄金标准上评估自洽模型,可能会使真实收益受到保守低估。
- 模型覆盖范围局限于判别式编码器架构:本文重点验证了主流的判别式分类框架(ATLOP/DREEAM),未来亟待将本体结构正则化范式拓展至基于大语言模型的生成式关系抽取与长文本图谱构建场景。
相关工作与启发¶
- vs UGDRE (Sun et al., 2023): UGDRE 采用模型中心的蒙特卡洛 Dropout 评估伪标签置信度,但实验附录表明其清洗后的数据仍含有 3.01% 的无效三元组与高达 53.50% 的缺失逆关系,无法感知并修复本体拓扑失范;本文与其实施互补,从数据本质结构出发消除了系统性逻辑矛盾。
- vs DOREMI (Menotti et al., 2026): DOREMI 借助主动学习针对长尾关系进行精细化抽样,但在基数冲突与逆关系完整性上依然存在显著缺口;本文的预处理管线可作为 DOREMI 的前置滤网,共同优化长尾关系的拓扑健康度。
- vs 语句级实体约束 RE (Liu et al., 2014; Liang et al., 2023): 以往方法主要在单句抽取中通过实体约束图或注意力偏置将类型先验硬编码入神经网络;本文则在篇章级图谱视角下构建了包含逆向、非对称与基数上界的全局 OWL 约束体系,且完全解耦于网络架构。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ (首次在文档级关系抽取中从 OWL 形式语义角度全面诊断并消除结构一致性噪声,视角新颖)
- 实验充分度: ⭐⭐⭐⭐⭐ (覆盖四大基准切分、两大主流模型、统计严谨的 HPD 根因溯源以及 10 种子控制组,论证极其扎实)
- 写作质量: ⭐⭐⭐⭐⭐ (问题定义清晰严密,OWL 概念映射自然,实证与理论分析环环相扣)
- 价值: ⭐⭐⭐⭐⭐ (为大规模远程监督与弱监督知识抽取提供了零模型侵入的高效清洗范式,工程复用价值极高)