Ontology-Driven Structural Regularization for Document-Level Relation Extraction¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/mntlra/DocRE-StructuralConsistency
领域: 图学习
关键词: 篇章级关系抽取, 本体正则化, 远程监督, 知识图谱构建, 结构一致性
一句话总结¶
针对远程监督篇章级关系抽取数据中长期被忽视的本体约束违背、逆关系缺失与非对称矛盾等结构性噪声,本文提出基于网络本体语言(OWL)的形式化约束诊断与无模型依赖的数据清洗与补全预处理框架,在显著消除模型预测逻辑冲突的同时实现端到端抽取泛化性能的稳健提升。
研究背景与动机¶
篇章级关系抽取(Document-Level Relation Extraction, DocRE)旨在从包含多个实体的整篇文档中识别出所有的语义关系三元组,是自动化构建知识图谱(KG)并赋能下游信息检索、问答及推理系统的核心基础技术。由于人工标注全篇实体间复杂语义关系的成本极高,主流基准(如 DocRED)广泛依赖远程监督(Distant Supervision, DS)技术,通过将维基百科正文中的实体对与外部知识图谱(Wikidata)的事实三元组进行启发式对齐,以极低的成本构建起十万篇规模的大型语料库。然而,远程监督存在强烈的先验假设——只要两个实体在文档中共同出现,就默认表达了知识库中存在的事实关系;在跨句甚至跨段落的篇章尺度下,实体共现与实际表达特定关系的概率脱节更为严重,导致训练集中充斥着大量伪正例与语义噪声。
为了缓解远程监督带来的标签质量问题,现有的去噪方法主要沿着模型中心化的技术路线展开,例如利用蒙特卡洛 Dropout 评估伪标签的不确定性从而过滤低置信度三元组,或者引入主动学习优先增强长尾罕见关系的分类性能。然而,这些方法几乎无一例外地将优化视角局限在单条三元组的“语义正确性”或置信度得分上,普遍忽视了关系抽取在全局知识图谱层面的结构一致性(Structural Consistency)。在真实语义网络中,关系并不是互不相关的离散标签,而是受严格先验本体模式(Ontology Schema)约束的谓词;当前远程监督数据中大量存在实体类型越界、逆向关系缺失、单向关系出现双向矛盾等深层结构缺陷,这些违背客观事实逻辑的三元组作为监督信号输入给深度模型时,会使网络学习到虚假的实体共现关联并持续在推理阶段产生荒谬的逻辑矛盾预测。
这种监督信号层面的结构性缺陷,正是导致主流 DocRE 模型过度依赖微量人工标注数据、无法充分利用海量远程监督语料的核心瓶颈。本文的核心 idea 是:将篇章级关系抽取显式解释为在网络本体语言(OWL)公理约束下的局部知识图谱构建,形式化定义无效类型三元组、缺失逆关系、非对称矛盾和基数超限四类结构性违背,通过一种轻量且模型无关的数据端结构正则化预处理流程(实体剔除过滤与逆向关系补全),在不改动下游网络结构与损失函数的前提下自底向上阻断结构噪声传播并大幅提升跨实体泛化能力。
方法详解¶
整体框架¶
本文的方法流水线由“形式化本体约束诊断”与“数据端结构清洗与增强”两个阶段串联而成。首先,将 DocRED 中提取的每个实体对 \((e_s, e_o)\) 及其候选关系 \(r \in \mathcal{R}\) 视作标准 RDF 三元组 \(\langle s, p, o \rangle\);随后,依托 Wikidata 的官方属性元数据,利用网络本体语言(OWL)定义四类形式化结构公理(定义域/值域约束、逆属性对称性、非对称互斥性、最大基数限制),全面量化语料库中的结构性违背。在数据净化阶段,框架采用保守且扩展性极高的去噪策略:针对包含类型违规和非对称矛盾的三元组,直接将涉及错误的实体节点及其文档内关联三元组统一移除;针对存在逆属性定义的合法三元组,则根据局部封闭世界假设自动补全对称或逆向三元组。经过结构正则化后的纯净数据集可无缝接入任意主流 DocRE 骨干模型(如 ATLOP、DREEAM)进行正常训练。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 远程监督篇章数据 DocRED DS<br/>文档正文、命名实体及启发式对齐三元组"] --> B["1. 基于 OWL 公理的四重结构约束形式化定义<br/>定义域/值域、逆关系、非对称互斥、基数约束"]
B --> C["2. 结构性噪声量化与实体级误差诊断<br/>二项比例抽样与 95% HPD 置信区间检验"]
C --> D["3. 轻量级模型无关的结构正则化预处理<br/>违规实体级剔除清洗 + 缺失逆关系自动闭包补齐"]
D --> E["输出: 结构一致的高质量训练集<br/>直接赋能下游 DocRE 模型 (ATLOP / DREEAM)"]
关键设计¶
1. 基于 OWL 公理的四重结构约束形式化定义:将离散关系分类映射为可验证的本体公理
传统的 DocRE 评估仅将关系抽取看作实体对上的多标签分类任务,无法感知预测集合内部的自洽性。为了从根本上量化结构噪声,本文引入 OWL 的形式化语义,将每个抽取关系 \(r \in \mathcal{R}\) 建模为具有显式约束的 owl:ObjectProperty,并在单篇文档的局部图谱上定义四类约束条件:
- 无效三元组(Invalid Triples):基于 Wikidata 元数据的 subject type constraint 和 value type constraint,并融合 ReDocRED 高频类型分布,建立关系的定义域 \(\text{dom}(r)\) 与值域 \(\text{ran}(r)\)。若实体的首个代表性提及类型 \(t(e_s) \notin \text{dom}(r)\) 或 \(t(e_o) \notin \text{ran}(r)\),则判定为无效三元组。例如三元组 \(\langle\text{Emily(PER)}, \text{P19(place of death)}, \text{1987(TIME)}\rangle\) 由于时间类型不属于死亡地点的值域而直接触发违例。
- 缺失逆关系(Missing Inverse Relations):基于局部封闭世界假设(Local Closed-World Assumption),若两个关系满足 \(r' \equiv \text{owl:inverseOf } r\)(如首都与首府反查 P36 与 P1376),文档中出现 \(\langle e_s, r, e_o \rangle\) 则必然蕴含逆向事实 \(\langle e_o, r', e_s \rangle\) 的存在;若后者在标注中缺席,则视为逆关系遗漏。特别地,对于自身互逆的对称属性(owl:SymmetricProperty,如配偶 P26、兄弟姐妹 P3373),必须满足双向同时存在。
- 非对称矛盾(Asymmetric Relation Inconsistencies):除上述对称属性外,其余关系全部划为非对称关系(owl:AsymmetricProperty)。若文档中同时出现了相同单向关系的正反双向三元组,即 \(\langle e_s, r, e_o \rangle \in d \land \langle e_o, r, e_s \rangle \in d\)(其中 \(s \neq o\)),直接构成逻辑矛盾。
- 基数越界违背(Relations Cardinality Violations):在客观事实中部分属性具备严格函数性(如出生日期、逝世地点本应满足最大基数 \(k_r = 1\))。由于实体标注常将具体日期(“2 July 1931”)与年份(“1931”)作为两个实体同时保留,本文经验性地将这 11 类功能性关系的基数上限放宽为限定基数约束 \(k_r = 2\)。当同一主体实体关联的目标客体数量 \(|O(e_s, r)| > k_r\) 时,判定发生基数冲突。
2. 结构性噪声量化与实体级误差归因:利用二项比例抽样揭示深层瓶颈
对全量数据集的审计发现,远程监督数据 DocRED DS 中包含多达 46,211 个无效三元组(占比 3.07%)、85,065 个逆关系缺失(占比高达 40.26%)以及 12,408 处非对称逻辑矛盾(0.84%),其结构违例程度比人工精调的 ReDocRED 训练集严重数倍。为了查明无效三元组的深层病因,如果对四万余条样本进行全量人工审校在成本上不可行,作者创新性地引入了统计抽样评估方案:采用简单随机抽样(Simple Random Sampling, SRS)抽取 \(n_S = 400\) 个违规三元组,由专家标注其究竟源于“关系标注错误”(实体类型正确但关系赋错)还是“实体识别错误”(实体本身类型判错从而导致关系非法),并利用贝叶斯最高后验密度区间(Highest Posterior Density, HPD,显著性水平 \(\alpha = 0.05\))计算无偏估计:
实证分析得出关键结论:高达 69%(\(\pm 4.5\%\))的无效三元组根本不是由于关系抽取模块本身引起的,而是源自底层命名实体识别(NER)的类型错误标注。例如将实体“巴黎”错误识别为“PER(人物)”,从而导致其与法国之间的 P16(首都)三元组变成非法格式。这一发现指明了在端到端信息抽取链路中,实体识别的精度构成了关系抽取质量的硬性上限。
3. 轻量级模型无关的结构正则化预处理:低成本阻断噪声传播与闭包增强
针对海量结构违例,若逐一进行人工纠错需要重注 58,619 处实体与关系,成本极其高昂。本文设计了一套极其优雅且高度可扩展的自动化数据清洗策略: - 无效三元组与非对称矛盾清洗:对每一个触发类型违例或非对称双向矛盾的三元组,直接将参与该违例的实体从当前文档的实体池中完全剔除,连带删除文档内与该错误实体产生关联的所有依存三元组。该策略无需进行复杂的实体反向重打标,能够彻底杜绝带有潜在类型污染的上下文参与网络监督。在此过程中,从原始 DocRED DS 语料中清洗掉了 208,665 条类型违规三元组和 31,178 条非对称冲突三元组,仅丢弃了 3 篇无可用实体的全空文档。 - 逆关系自动闭包补齐:针对 85,065 个缺失逆关系的合法事实三元组,直接根据 OWL 逆属性映射字典(如将 \(\langle e_s, \text{P36}, e_o \rangle\) 自动派生出 \(\langle e_o, \text{P1376}, e_s \rangle\)),向训练集中确定性地自动追加了 72,609 条高质量反向三元组。 - 最终得到的结构一致训练集(DocRED Corrected)共包含 1,338,404 条训练实例(净减少 167,234 条),文档规模保持在 101,870 篇。由于该过程完全发生在数据加载前,它对任何下游深度神经网络的架构、损失函数或推断过程零侵入,天然适配各种基于 Transformer 编码器或图推理的 DocRE 架构。
实验关键数据¶
主实验¶
为了验证结构正则化不仅能减少模型自身的逻辑荒谬输出,还能实际增强模型对常规非直接匹配实体对的语义泛化能力,作者选用了代表性 SOTA 模型 ATLOP(基于局部上下文池化与自适应阈值)与 DREEAM(基于证据感知的教师-学生蒸馏网络),分别搭载 BERT-base 与 RoBERTa-large 编码骨干,在原始远程监督数据(DocRED DS)与经过本体结构正则化清洗的数据(Corrected)上进行充分训练,并在 ReDocRED 测试集上进行严格评测。为了严格排除“性能提升仅仅是减少了 167,234 条数据带来的偶然降噪效应”,作者还引入了进行 10 次不同随机种子随机下采样(Random)的对照基线。
| 模型架构 | 骨干网络 | 训练数据源 | Precision | IgnPrec | Recall | F1 | IgnF1 |
|---|---|---|---|---|---|---|---|
| ATLOP | BERT | DocRED DS | 0.7503 | 0.5877 | 0.2945 | 0.4230 | 0.3924 |
| ATLOP | BERT | Corrected (本文) | 0.7665 (+2.16%) | 0.6165 (+4.90%) | 0.3070 (+4.24%) | 0.4384 (+3.64%) | 0.4099 (+4.46%) |
| ATLOP | BERT | Random 采样 | 0.7528 (+0.33%) | 0.5973 (+1.63%) | 0.2964 (+0.65%) | 0.4253 (+0.43%) | 0.3962 (+0.97%) |
| ATLOP | RoBERTa | DocRED DS | 0.7571 | 0.6006 | 0.3060 | 0.4358 | 0.4054 |
| ATLOP | RoBERTa | Corrected (本文) | 0.7657 (+1.14%) | 0.6172 (+2.76%) | 0.3120 (+1.96%) | 0.4434 (+1.74%) | 0.4245 (+4.71%) |
| ATLOP | RoBERTa | Random 采样 | 0.7578 (+0.09%) | 0.6082 (+1.27%) | 0.3049 (-0.36%) | 0.4348 (-0.23%) | 0.4061 (+0.17%) |
| DREEAM | BERT | DocRED DS | 0.8087 | 0.6791 | 0.2609 | 0.3945 | 0.3770 |
| DREEAM | BERT | Corrected (本文) | 0.8042 (-0.56%) | 0.6941 (+2.21%) | 0.3113 (+19.32%) | 0.4488 (+13.76%) | 0.4298 (+14.01%) |
| DREEAM | BERT | Random 采样 | 0.7974 (-1.40%) | 0.6746 (-0.66%) | 0.2683 (+2.84%) | 0.4013 (+1.72%) | 0.3837 (+1.78%) |
| DREEAM | RoBERTa | DocRED DS | 0.8170 | 0.6964 | 0.2861 | 0.4238 | 0.4056 |
| DREEAM | RoBERTa | Corrected (本文) | 0.8143 (-0.33%) | 0.7083 (+1.71%) | 0.3113 (+8.81%) | 0.4504 (+6.28%) | 0.4353 (+7.32%) |
| DREEAM | RoBERTa | Random 采样 | 0.8087 (-1.02%) | 0.6974 (+0.14%) | 0.2897 (+1.26%) | 0.4263 (+0.59%) | 0.4090 (+0.84%) |
注:IgnPrec 与 IgnF1 为排除了在训练集中已经见过的实体对后的评估指标,最能反映模型在面对全新实体对时的真实泛化推理能力。
消融实验¶
为了进一步解耦不同本体规则对最终性能提升的独立驱动作用,作者在 ReDocRED 验证集上对 ATLOP 与 DREEAM 进行了各个规则的单项剥离对比实验。下表展示了在两种骨干网络下分别仅纠正单一类别违规时的抽取表现:
| 模型架构 | 骨干网络 | 清洗规则配置 | Precision | IgnPrec | Recall | F1 | IgnF1 |
|---|---|---|---|---|---|---|---|
| ATLOP | BERT | 原始 DocRED DS | 0.7657 | 0.6069 | 0.2983 | 0.4293 | 0.4000 |
| ATLOP | BERT | 仅消除无效三元组 (w/o invalid) | 0.7684 (+0.35%) | 0.6196 (+2.08%) | 0.3009 (+0.87%) | 0.4324 (+0.73%) | 0.4050 (+1.27%) |
| ATLOP | BERT | 仅补全缺失逆关系 (w/o inverse) | 0.7605 (-0.68%) | 0.5980 (-1.46%) | 0.3088 (+3.55%) | 0.4393 (+2.33%) | 0.4073 (+1.84%) |
| ATLOP | BERT | 仅消除非对称冲突 (w/o asymmetric) | 0.7660 (+0.03%) | 0.6094 (+0.41%) | 0.3009 (+0.89%) | 0.4321 (+0.65%) | 0.4029 (+0.73%) |
| ATLOP | BERT | 全量规则组合 (All rules) | 0.7704 (+0.60%) | 0.6197 (+2.11%) | 0.3103 (+4.05%) | 0.4424 (+3.06%) | 0.4136 (+3.41%) |
| DREEAM | BERT | 原始 DocRED DS | 0.8116 | 0.7667 | 0.2613 | 0.3953 | 0.3897 |
| DREEAM | BERT | 仅消除无效三元组 (w/o invalid) | 0.7970 (-1.80%) | 0.6847 (-10.69%) | 0.2747 (+5.14%) | 0.4086 (+3.36%) | 0.3921 (+0.61%) |
| DREEAM | BERT | 仅补全缺失逆关系 (w/o inverse) | 0.8109 (-0.09%) | 0.6839 (-10.80%) | 0.2772 (+6.09%) | 0.4132 (+4.52%) | 0.3945 (+1.22%) |
| DREEAM | BERT | 仅消除非对称冲突 (w/o asymmetric) | 0.8148 (+0.39%) | 0.6888 (-10.16%) | 0.2635 (+0.86%) | 0.3983 (+0.75%) | 0.3812 (-2.19%) |
| DREEAM | BERT | 全量规则组合 (All rules) | 0.7992 (-1.54%) | 0.6909 (-9.89%) | 0.3018 (+15.52%) | 0.4382 (+10.85%) | 0.4201 (+7.80%) |
此外,针对模型最终输出预测在测试集上的结构一致性审计显示: - 无效三元组大幅下降:在 ATLOP-RoBERTa 上,模型输出的无效三元组比例从 1.05% 降至 0.59%;在 DREEAM-RoBERTa 上从 0.85% 降至 0.34%,平均相对减少达 -62.92%。 - 缺失逆关系近乎根治:模型预测的缺失逆关系比例由原来的 40%~45% 剧降至 5%~10%(例如 ATLOP-RoBERTa 从 41.18% 降至 5.68%,相对降低 -87.44%)。 - 非对称矛盾完全消除:ATLOP-RoBERTa 在清洗后训练的模型,测试集预测的非对称矛盾率直接降至 0.00%。
关键发现¶
- 结构噪声直接导致模型学习偏差并线性向推断阶段传递:若训练集存在 40.6% 的逆关系缺失,模型生成的预测结果中同样会有 41%~45% 的逆事实发生遗漏;训练集中 0.84% 的非对称矛盾,也会在预测中重现 0.53%~0.79%。这证明模型会原封不动地拟合数据中的结构性硬伤。
- 不同规则各司其职,组合协同收益最大:消融实验揭示,消除类型无效三元组主要带来查准率(Precision)的稳步回升(防止模型学习错误的实体类型绑定);而自动补全逆关系则极大幅度地释放了查全率(Recall)(如 DREEAM-BERT 的召回率暴增 +15.52%),两者结合形成显著的互补协同效应。
- 增益并非来自简单的样本缩减:在与等量随机采样的对照中,随机移除相同数量样本仅能带来低于 1% 的边际波动甚至导致多个指标下滑,充分证明了性能提升全部归功于本体逻辑先验对噪声监督梯度的精确纠正。
亮点与洞察¶
- 开辟 DocRE 数据质量的新维度:打破了过去仅将去噪聚焦在三元组语义置信度上的狭隘视角,首次从形式化知识工程与本体语义学角度系统性审计了篇章级抽取数据集的逻辑缺陷。
- 极其实用的统计学采样与 HPD 置信区间分析:在面临海量噪声无法逐一标注时,通过严谨的二项比例无偏估计与贝叶斯 HPD 区间,不仅量化了不确定性,更以极低成本锁定了“NER 识别错误是导致关系抽样失效的主因(占 69%)”这一核心根因。
- 即插即用且完全解耦的工程落地价值:所提出的预处理方法完全独立于下游算法,不需要修改任何神经架构代码或设计复杂的逻辑损失函数,仅需一次离线数据清洗与闭包运算,即可直接让现有模型获得超过 6% 的 F1 泛化提升。
局限与展望¶
- 粗粒度实体移除可能误伤局部有效信息:为了避免高昂的人工标注成本,当前的清洗策略在发现一个非法三元组后直接剔除了整个关联实体,这种保守做法导致了超过 20 万条合法三元组被连带删除,未来可以通过弱监督或大模型智能修正实体类型以挽救有效数据。
- 评测基准本身内生结构噪声造成的评估惩罚:即使是经过人工清洗的 ReDocRED 测试集,依然残留有约 0.81% 的无效三元组和 9.27% 的逆关系缺失。当经过良好正则化的模型做出符合客观世界本体逻辑的正确推断时,反而可能因为测试集未标注而遭受假正例(False Positive)惩罚。
- 尚未扩展至生成式大模型与图神经网络:本文仅在判别式的 Transformer 模型(ATLOP 与 DREEAM)上进行了完备验证,未来工作亟需进一步探究结构正则化在图神经网络(GNN)以及基于 LLM 的生成式篇章关系抽取任务中的适用边界。
相关工作与启发¶
- vs. UGDRE (Sun et al., 2023) & DOREMI (Menotti et al., 2026):现有去噪算法主要采用模型不确定性估计或主动学习策略来过滤弱监督标签,但本文在实验中发现这些先进算法过滤后的数据集依然存在高达 1.7%~3.0% 的类型违规以及严重的基数冲突(DOREMI-ReDocRED 基数冲突甚至恶化至 1.43%),证明模型中心化的去噪无法自然学会本体边界,必须与本文的结构正则化联合使用。
- vs. 逻辑规则与推理模型 (Ru et al., 2021; Zhang et al., 2024):以往结合逻辑的方法往往是在模型内部通过 EM 算法学习潜在逻辑规则或构建多阶段级联推理模块,实现复杂且不易迁移;本文反其道而行之,将逻辑约束放在数据端作为预处理的结构正则化器,不仅更轻量而且完全与模型架构解耦。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将 OWL 形式化本体公理系统性引入 DocRE 远程监督去噪,视角独特。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模型、多种骨干、详尽的统计学抽样以及严格的等量随机采样对照。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨,形式化定义清晰完备,实验图表极其详实。
- 价值: ⭐⭐⭐⭐⭐ 即插即用的数据清洗工具,对构建工业级大规模知识图谱抽取流程具有高度指导意义。