Agree, Disagree, Explain: Decomposing Human Label Variation in NLI through the Lens of Explanations¶

会议: ACL 2026
arXiv: 2510.16458
代码: 无
领域: NLI / Annotation Analysis
关键词: 标注分歧, 自然语言推理, LiTEx分类法, 推理策略, 人类标注变异

一句话总结¶

将LiTEx推理分类法从"标签一致下的解释变异"扩展到"标签不一致"场景，发现标注者可能标签不同但推理类似，推理类别的一致性比标签一致性更好地反映解释的语义相似度。

领域现状：NLI数据集中普遍存在标注者分歧，理解这些分歧对构建可靠的NLU系统至关重要。基于解释的方法通过分析标注者决策背后的推理来揭示分歧的本质。

现有痛点：LiTEx分类法将自由文本解释归类为8种推理策略，但此前仅用于分析"标签一致、解释不同"的within-label变异，忽略了标签本身的不一致。

核心矛盾：标签不一致可能掩盖推理一致（同样的推理导致不同标签），而标签一致也可能掩盖推理分歧（不同推理碰巧得到同一标签）。仅看标签无法揭示真实的认知分歧。

本文目标：将LiTEx扩展到标签变异场景，从标签、解释类别和解释文本相似度三个维度分析NLI标注变异。

切入角度：在LiveNLI和VariErr两个带解释的NLI数据集上标注LiTEx类别，追踪个体标注者的标签偏好和推理策略偏好。

核心 idea：推理类别的一致性比标签一致性本身更能反映解释之间的语义相似度，说明应更关注推理过程而非最终标签。

在三个数据集（e-SNLI, LiveNLI, VariErr）上应用LiTEx分类法标注解释，然后从三个维度分析变异：(1) NLI标签一致性；(2) 推理类别一致性（LiTEx）；(3) 解释文本的语义相似度。通过追踪个体标注者揭示行为模式。

LiTEx分类法的跨数据集扩展:
- 功能：将原本仅在e-SNLI上开发的推理分类法应用到LiveNLI和VariErr
- 核心思路：8种推理类别分为文本型（共指、句法、语义、语用、信息缺失、逻辑冲突）和世界知识型（事实知识、推理知识）。经过训练的标注者对所有解释进行分类
- 设计动机：验证LiTEx的跨数据集泛化性，同时扩展其适用范围到标签变异场景
多维度一致性分析:
- 功能：揭示标签一致性与推理一致性之间的非对称关系
- 核心思路：对比同一NLI实例的标注者在三个维度的一致性——可能出现"标签不同但推理类别相同"或"标签相同但推理类别不同"的情况
- 设计动机：单一维度的一致性度量不足以揭示标注分歧的真实性质
个体标注者追踪:
- 功能：发现标注者的系统性偏好
- 核心思路：追踪LiveNLI中4位标注者和VariErr中4位标注者的标签分布和推理类别偏好，揭示个体一致性模式
- 设计动机：标注分歧可能不仅源于文本歧义，还与标注者的个人推理风格有关

本文为实证分析研究，不涉及模型训练。标注者间一致度用Cohen's Kappa衡量（LiveNLI κ=0.828，VariErr κ=0.792）。

发现	说明
标签不一致但推理一致	标注者用相同推理策略但得出不同标签，说明分歧在判断而非理解
推理类别-标签共现稳定	尽管数据集间绝对分布不同，推理类别对应的标签分布高度一致
个体标签偏好显著	如VariErr标注者2有近60%的neutral偏好，w7有52%的neutral偏好
推理相似度 > 标签相似度	推理类别一致性更好地预测解释的语义相似度