Cross-lingual Biography Enrichment via Claim Extraction and Alignment¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/MeloS7/cross_lingual_biography_enrichment
领域: 跨语言与机器翻译
关键词: 跨语言人物传记补充, 主张抽取与对齐, 维基百科知识不对称, 事实性与幻觉控制, 结构化增量证据重写
一句话总结¶
针对非英语母语背景女性在英文维基百科中记载简略而母语版本详实的信息不对称问题,本文提出基于主张(Claim)的跨语言传记增量丰富框架,通过将双语传记映射至统一英文原子主张空间、执行细粒度语义对齐筛选增量证据,并引导大模型实施受控事实重写,在大幅削减生成幻觉的同时显著提升了有效事实增量。
研究背景与动机¶
维基百科长期作为自然语言处理领域预训练、多语言建模、检索增强生成(RAG)以及事实核验的基石级开放知识库。然而,不同语言版本维基百科在词条覆盖深度和广度上存在显著的结构性失衡:同一实体在不同语种页面中的细节差异极大。业界通常将英文维基百科视作默认且最权威的百科全书源,但对于非英语文化圈的长尾实体——尤其是非英语母语背景的杰出女性学者、艺术家、运动员与政治家——本土语言版本往往蕴含着远比英文版更丰富、更具地方权威性的一手事实记载。以往传记生成工作大多局限于基于 Wikidata 属性三元组的数据到文本(data-to-text)生成,仅能输出单句导言或简短摘要;亦或是依赖开放网页检索生成长篇传记,却极易受制于互联网长尾女性文献的严重匮乏。
直接利用现存的高质量非英语维基百科传记去扩充英文传记,面临着严峻的跨语言对齐与上下文建模矛盾。如果直接采用端到端的跨语言长文本重写(Raw Cross-Lingual Generation),生成器需要同时承担非英语长文本理解、跨语言隐式对齐、冗余内容剔除以及流畅英文重写等多重重载任务。在真实长文本场景下(如本研究构建的基准中非英语词条最长达 28,420 tokens),注意力稀释与跨语言推理衰减会导致关键事实遗漏或无端捏造。若退而求其次采用分步机器翻译策略(Translation Pipeline),即先将非英语传记整篇译为英文再交付重写,机器翻译引入的句式变动、实体错误和语篇噪声不仅无法缓解信息冗余,反而使平均幻觉率高居约 29.6%,无法满足百科全书严肃客观的写作要求。
面对这一两难困境,本文的核心洞见在于:长文本跨语言补充的瓶颈在于证据选择与事实重写的紧耦合。只有将双语传记中的事实主张显式解耦,映射到共享的原子语义空间中并完成集合级的差集比对,才能精确分离出英文版缺失的真正增量事实,从而将复杂的跨语言重写转化为高质量受控条件生成。核心 idea:将跨语言人物传记补充解耦为「跨语言主张抽取至共享英文空间 → 细粒度对齐与增量证据筛选 → 基于增量主张的受控传记重写」三阶段流水线,在生成前显式剔除已覆盖事实,并以原子主张作为结构化证据约束大模型重写,从根本上兼顾事实增量覆盖与极低幻觉率。
方法详解¶
整体框架¶
给定关于同一人物的英文维基百科传记 \(B_{en}\) 与非英语维基百科传记 \(B_X\)(涵盖法语、中文、阿塞拜疆语),跨语言人物传记补充任务旨在生成一篇扩展后的英文传记 \(\tilde{B}_{en}\),在严格保留 \(B_{en}\) 既有正确内容的前提下,融入 \(B_X\) 所支持的独有增量事实。整个处理流程分为五个连贯阶段:首先通过跨语言主张抽取器将 \(B_{en}\) 与 \(B_X\) 分别解析并投射为统一英文表述的原子主张集合 \(C_{en}\) 与 \(C_X\);随后借助语义检索初筛与细粒度关系分类器进行主张对(Claim Pair)对齐判别;接着根据预设的增量筛选规则剔除已被英文版覆盖的信息,提取出非英语端独有的增量主张集合 \(C_{add}\);最后采用章节级分块增量生成策略,将 \(C_{add}\) 作为结构化证据引导开源大模型重写英文传记。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:配对人物传记<br/>(英文原稿 B_en 与 非英文文献 B_X)"] --> B["跨语言主张抽取与去上下文解耦<br/>(X-Claimify 多轮提示抽取规范英文主张)"]
B --> C["粗细结合的双层主张对齐与关系判别<br/>(MPNet 向量初筛 + Qwen3.5-9B 六分类)"]
C --> D["增量证据筛选与冲突感知重写<br/>(过滤已覆盖事实,保留增量/冲突主张 C_add)"]
D --> E["输出:受控事实补充后的英文人物传记"]
关键设计¶
1. 跨语言主张抽取与去上下文解耦:多源语言事实粒度不齐与代词指代消解困境 -> 多轮验证式去上下文抽取流水线 -> 跨语言投射至自包含原子英文主张
若直接抽取非英语原子主张,语言间的句法差异与后续跨语言匹配难度极大,且孤立句子中的代词(如“她”、“其”)和省略成分会导致脱离语境后真假难辨。针对该痛点,本文基于 Claimify 框架构建了跨语言适配的 X-Claimify。该机制通过多轮提示组织分解过程:第一轮执行可验证性选择(Verifiable Selection),过滤主观修辞、价值评价与泛化过渡句,仅保留具体客观陈述;第二轮在段落上下文辅助下执行指代消解与去上下文重写(Decontextualization & Disambiguation),将部分人名补充为全名、恢复隐式时间与地点锚点;第三轮将复杂复合句拆分为独立的原子事实命题,并统一规范翻译为英文主张。在评测时,为防止单个生成主张横跨多个参考事实导致虚假高召回,采用入度归一化信用度机制(Degree-Normalized Matching Credit):
$\(p_k(i) = \frac{1}{|\{j' : (i, j') \in E_k\}|}, \quad r_k(j) = \frac{1}{|\{i' : (i', j) \in E_k\}|}\)$
该设计使 X-Claimify 在 CLAW-4L-CX 人工基准上取得了全语种最高的严格精确匹配度(Exact-Aligned-F1 达 71.18%),确保抽取的英文主张兼具高独立性与精准性。
2. 粗细结合的双层主张对齐与关系判别:笛卡尔积两两比对计算爆炸且传统 NLI 标签粒度不足 -> MPNet 语义截断初筛配合六分类语义判别器 -> 毫秒级候选过滤与非对称增量关系判定
在完整传记级别,单篇词条抽取的原子主张常多达数百甚至上千条(非英语端单个词条最高达 1,363 条主张),全量 \(O(|C_{en}| \times |C_X|)\) 矩阵判别计算成本不可承受;此外,自然语言推理(NLI)蕴含/中立/矛盾的三分类体系无法表达知识补充中的“包含”、“互补”或“单向拓展”。为此,系统构建了粗细两阶段对齐架构。粗筛阶段采用 All-MPNet-Base-v2 计算主张嵌入的余弦相似度,设定 0.7 的宽松阈值并截断 Top-5 邻居,在过滤掉 96% 无关负样本的同时保留极高的语义召回(对齐主张平均相似度在 0.843 至 0.960 之间)。精筛阶段采用专为该任务调优的 Qwen3.5-9B 分类器,判定两级六类语义关系:顶层分为对齐(Aligned)、矛盾(Contradicted, \(A \perp B\))与不相关(Not Relevant, \(A \dashv B\));对齐类进一步细分为精确等价(\(A=B\))、英文更详尽(\(A>B\))、非英语更详尽(\(B>A\))与双向互补(\(A \leftrightarrow B\))。在 CLAW-4L-RC 判别基准上,Qwen3.5-9B 取得了 95.5% 的宏观对齐准确率(ARC)与 89.5% 的细粒度对齐准确率(Align-FG),极其逼近专有模型 GPT-5.1(95.9% / 90.8%)。
3. 增量证据筛选与冲突感知重写:百科事实冲突鲁棒融合与长文本注意力衰减 -> 差异化主张集合过滤叠加章节级滚动重写 -> 结构化增量注入与极低幻觉率保障
在确定主张对关系后,系统执行确定性的增量保留逻辑:精确等价 \(A=B\) 与英文更详尽 \(A>B\) 被判定为“英文已覆盖”,予以彻底丢弃(占非英语主张总量的 13.9%);非英语单向增量 \(B>A\) 与互补增量 \(A \leftrightarrow B\)(合计 26.2%)以及未检索到英文对应项的完全新增主张 \(A \dashv B\)(占 48.6%)被完整保留;对于两方维基百科记载冲突项 \(A \perp B\)(占 11.4%),系统不武断丢弃,而是将其作为待澄清事实一并注入 \(C_{add}\),由生成器结合人物生平语境进行消歧与审慎融合。面对总长常达数万词的传记,重写模块放弃机械串联,采用章节级增量滚动策略:将英文输入预算上限设为 4,096 tokens,非英语增量主张按章节上下文切分并限制单步 2,048 tokens,大模型以前一步重写产物作为基底进行渐进式更新。该机制不仅大幅减轻了生成器的上下文负载,而且彻底规避了非英语长篇文本中冗余信息的干扰。
跨语言对齐与生成策略¶
在实际生成阶段,大模型接收原始英文传记与筛选后的纯增量事实主张集 \(C_{add}\)。重写提示词明确规范:模型必须将原子主张自然编织融入生平时间线与所属段落(例如将获得的学术奖项归入教育与职业段,将演出记录融入艺术生涯段),严禁在文末进行生硬的无序追加。对于标记为冲突的主张,模型被指示基于已有时间轴或多方履历进行一致性修正,若缺乏裁决证据则保持百科式的审慎表述。
为了量化评估生成文本的质量,评测阶段通过反向主张抽取器(Gemma-4-31B-it + X-Claimify)从生成的传记中抽取主张集 \(\hat{C}_{gen}\),并在参考主张池 \(C_{ref} = C_{en} \cup C_X\) 中进行有向验证。指标定义严格遵从矛盾优先原则: - 净增量主张数:\(\#Gain = |\hat{C}_{gen}| - |C_{en}|\) - 受支持增量数:\(\#Valid = Valid\% \times \#Gain\),其中 \(Valid\%\) 为生成主张中得到 \(C_{ref}\) 完全支持(\(A=B\) 或 \(A>B\))的比例 - 幻觉率:\(Halluc.\% = Unsup.\% + Contr.\%\),涵盖无法被参考源证实的所有无依据扩写与事实冲突 - 综合平衡分(Bal.):归一化有效事实增量与有效率的几何等权加权: $\(Bal_s = 50 \times \left( \frac{\#Valid_s - \min(\#Valid)}{\max(\#Valid) - \min(\#Valid)} + \frac{Valid\%_s - \min(Valid\%)}{\max(Valid\%) - \min(Valid\%)} \right)\)$
实验关键数据¶
主实验¶
在 CLAW-4L 基准(含阿塞拜疆语 AZ、法语 FR、中文 ZH 各 100 对传记)上的全模型评估显示,相较于原始双语端到端输入(Raw)和机器翻译后重写(Translation),本文提出的基于主张的重写策略(Claims)在三大主流开源生成器上均取得了大幅领先的综合表现,尤其在压制幻觉率方面优势明显。
| 证据表征形式 | 测试模型 | 净增量 (#Gain) | 覆盖率 (Coverage%) | 支持比例 (Valid%) | 有效增量 (#Valid) | 幻觉率 (Halluc.%) | 综合平衡分 (Bal.) |
|---|---|---|---|---|---|---|---|
| Raw (直接非英语) | Gemma-4-31B-IT | +19.71 | 25.99 | 71.43 | 14.09 | 28.57 | 21.05 |
| Raw | Qwen3.6-27B | +25.14 | 33.19 | 67.41 | 16.96 | 32.59 | 20.22 |
| Raw | Mistral-3.2-24B-IT | +22.85 | 30.32 | 72.68 | 16.62 | 27.32 | 33.67 |
| Translation (整篇机器翻译) | Gemma-4-31B-IT | +22.01 | 29.07 | 70.01 | 15.43 | 29.99 | 21.91 |
| Translation | Qwen3.6-27B | +26.54 | 35.16 | 68.15 | 18.11 | 31.85 | 26.40 |
| Translation | Mistral-3.2-24B-IT | +32.29 | 42.58 | 73.08 | 23.61 | 26.92 | 59.99 |
| Claims (本文主张对齐) | Gemma-4-31B-IT | +23.78 | 31.45 | 74.98 | 17.85 | 25.02 | 44.49 |
| Claims | Qwen3.6-27B | +29.88 | 39.31 | 73.65 | 22.01 | 26.35 | 55.79 |
| Claims (最优组合) | Mistral-3.2-24B-IT | +26.67 | 34.89 | 80.77 | 21.56 | 19.23 | 74.02 |
注:上表数据引自原文 Table 28 分语种结果的各生成器三语种全局均值计算及 Table 22 全局汇总。Mistral 在法语和中文 Claims 设置下分别取得 89.57 和 81.42 的单项峰值 Bal. 分数。
消融实验:主张抽取框架在 CLAW-4L-CX 上的表现¶
在人工精标的 CLAW-4L-CX 评测集(600 句多语种复杂句子,覆盖四种复杂度桶)上,作者对比了五种经过跨语言适配的事实主张抽取框架(统一基于 GPT-5.1 底座)。评测表明 X-Claimify 能够最可靠地提取出兼顾高语义覆盖与原子边界的英文主张。
| 抽取框架 | 核心机制特性 | 英语 (EN) E-F1 | 法语 (FR) E-F1 | 中文 (ZH) E-F1 | 阿塞拜疆语 (AZ) E-F1 | 宏观均值 (Avg. E-F1) | 宏观均值 (Avg. A-F1) |
|---|---|---|---|---|---|---|---|
| X-DnDScore | 句内先拆解后独立去上下文 | 11.61 | 16.08 | 16.02 | 22.87 | 16.65 | 44.40 |
| X-FactScore | 仅直接单步拆解,无去上下文 | 27.83 | 35.23 | 26.30 | 39.51 | 32.22 | 54.33 |
| X-FactCheck-GPT | 两阶段拆解 + 独立真实性核验 | 43.70 | 49.87 | 49.82 | 44.38 | 46.94 | 57.34 |
| X-VeriScore | 单轮 Joint 抽取 + 句周代词消解 | 46.92 | 52.91 | 42.94 | 55.11 | 49.47 | 68.31 |
| X-Claimify (本文选型) | 多轮验证筛选 + 消歧 + 原子分解 | 72.44 | 73.56 | 71.91 | 66.80 | 71.18 | 73.72 |
注:数据引自原文 Table 2 与 Table 17。A-F1 为松弛对齐 F1,E-F1 为严格原子精确对齐 F1。
关键发现¶
- 幻觉率的阶跃式下降:从跨语言或机器翻译直接输入切换为本文的 Claims 输入时,全模型平均幻觉率从 29.59% 断崖式下降至 23.54%(Mistral 模型下在中文语境更是降至 15.95%,在法语降至 19.69%)。这证明过滤冗余信息与输入原子事实是约束大模型遵循事实的最有力手段。
- 低资源语种的级联误差例外:在阿塞拜疆语(AZ)配合 Mistral 生成器的极端场景下,Translation 策略的 Bal. 得分(56.54)反常地略高于 Claims(51.07)。错误级联分析表明,由于阿塞拜疆语在前端主张抽取阶段表现较弱(X-Claimify E-F1 为 66.80%,低于法语的 73.56%),丢失了部分非英语增量证据,导致下游重写时输入事实不够完备;但在抗幻觉模型 Gemma 和 Qwen 上,Claims 仍然展现出更优的可靠性。
- 人工写作质量验证:45 篇生成样本的三盲人类评审显示,Claims 策略不仅没有因输入离散主张而出现文风生硬碎裂,反而取得了最高的流畅度(Readability: 3.933 vs Raw 3.844 vs Translation 3.756)与维基百科文风契合度(Wiki-style: 3.822 vs 3.778 vs 3.689),证明大模型具备极强的结构化事实自如融入能力。
亮点与洞察¶
- 将知识丰富任务解构为集合差集运算:巧妙地将非对称长文本的跨语言生成问题转化为英文语义主张空间下的差集求解(\(C_{add} = C_X \setminus C_{en}\)),以确定性的逻辑对齐屏蔽了大模型在复杂语境长上下文中的推理失控。
- 兼顾多维度的规范化过滤指标体系:在数据构建与评价中充分考量了分词器多语言膨胀因子(\(b_L\))与主张度数归一化,使得跨语种的文本丰富度评估不再受制于表层字符或词频偏差。
- 可复用的结构化事实融合范式:论文验证了“先抽原子事实并对齐、再以事实为 Prompt 约束重写”的范式,完全可无缝迁移至企业多源多语言文档合并、跨部门汇报汇总以及多文档更新检测等知识密集型任务。
局限与展望¶
- 语种与人群覆盖范围有限:基准目前主要聚焦于法语、中文、阿塞拜疆语三类代表性语言中的女性传记,尚未推广到更多非印欧小语种、低资源方言以及其他边远文化长尾群体。
- 维基百科同源信任假设:框架默认将两方维基百科作为可信知识,但维基百科自身可能存在编辑笔误或过时数据,对两方冲突事实目前仅留存并交由生成器自行权衡,尚未引入外部一手文献或权威知识图谱进行裁判。
- 未来方向:生成-核验-修正回环与双向补充:作者展望了引入反思式 Generate-Verify-Revise 回环,在重写后通过小型事实核查器自动修剪未经支持的主张;同时将体系扩展为双向/多向互补,利用英文维基反哺低资源语言维基百科。
相关工作与启发¶
- vs 数据驱动型传记生成 (Lebret et al., 2016; Mille et al., 2024):早期方法仅依赖 Infobox 属性生成单句,本文处理的是非平行、非结构化全文级长篇百科知识的深度融合。
- vs 检索增强传记生成 (Fan and Gardent, 2022; Zhang et al., 2025):检索型方法严重依赖开放互联网上的高质量英文文档,对非英语母语长尾人物常常“无源可检”;本文直接盘活各语种维基百科沉淀的人工高质量长篇语料,形成了互补的权威知识供给。
- vs 事实主张抽取与验证工具 (Min et al., 2023 FActScore; Metropolitansky and Larson, 2025 Claimify):此前主张抽取工具均为单语种(主要是英语)事实性打分设计,本文首次将其成功扩展至跨语言空间的原子主张投射与双向语义对齐。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统定义跨语言传记增量补充任务,提出了极具开创性的跨语言共享主张空间对齐与重写框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 300 对真实维基百科传记、600 句人工抽取主张与 600 对关系基准,跨越 3 种语言、5 种抽取模型、6 种分类底座与 3 种主力生成模型,并辅以严谨的人工质检。
- 写作质量: ⭐⭐⭐⭐⭐ 结构逻辑严密,图表详实完备,任务定义与实验消融剖析清晰深刻。
- 价值: ⭐⭐⭐⭐⭐ 针对维基百科与 LLM 训练中的多语言性别与地域知识鸿沟提供了极具可操作性且低幻觉的解决方案。