JustifIT-QA: Evidence-Grounded Legal Question Answering in Italian¶
会议: EMNLP 2026
论文: ACL Anthology
代码: GitHub
领域: NLP 理解
关键词: 法律问答, 证据溯源, 密文检索, 大模型审判, 自我修正
一句话总结¶
构建了首个包含专家撰写答案与细粒度条文证据切片标注的意大利语成文法问答基准 JustifIT-QA,并提出集成领域对比微调检索器 DARv2、法定合规准则审判反馈回环与严格文本包含度证据抽取的端到端可验证法律问答框架。
研究背景与动机¶
法律问答(Legal QA)对答案的准确性与规范依据溯源具有极其严苛的要求。在民法、刑法、反洗钱监管与隐私合规等高风险司法领域,任何细微的法理偏离、适用条件遗漏或法律后果误判,都可能直接导致当事人权利义务关系颠倒乃至承担重大法律责任。然而,现有通用大语言模型在生成法律分析时,极易产生虚构法律渊源、歪曲规范强制力(例如混淆“应当”与“可以”)以及脱离案件事实外延的法律幻觉。即使在检索增强生成(RAG)范式下为模型提供了参考法条,生成文本仍常常出现与参考文本脱节的“无依据推演”,使回答的可信度难以满足专业法律实务需求。
与此相对,现存法律自然语言处理资源高度集中于英语普通法系判例法或司法考试选择题,在非英语成文法(Statutory Law)体系中尤为匮乏。尽管前期推出的 JuriFindIT 或 BSARD 等数据集探索了成文法条款的检索任务,但它们仅提供了粗粒度的“问题-法条编号”对应关系,既缺少由专业法学团队从零撰写的标准法律意见,也缺乏对法条内部具体条款、项、目乃至具体句式切片的细粒度证据标注。更关键的是,传统的单次 RAG 架构缺乏针对法律严谨性的后验审查与纠错机制,大模型在没有严格法定合规准则约束的情况下,无法自主识别回答中遗漏的法定除外条款或次要法律事实,而完全依赖人工法学专家逐条审计成本高昂且无法规模化。
为解决非英语成文法问答中依据缺失与校验困难的双重瓶颈,本研究以意大利法定法规体系为核心,构建了深度融合规范检索、法定审判与证据切片抽取的端到端闭环。该方法不仅在数据层面将检索标注深化至最小可支撑法律论断的词句级证据,更在模型推理层面引入模拟法官审查视角的对话式批判自纠机制,通过法理合规判准驱动生成模型动态迭代优化,最终将法条原文直接锚定为可追溯证据。核心 idea:构建首个包含专家撰写答案与细粒度条文证据标注的意大利语成文法问答基准 JustifIT-QA,并提出集成领域对比微调检索器 DARv2、基于法定合规准则的 LLM 审判反馈回环与严格文本包含度证据抽取的端到端可验证法律问答框架。
方法详解¶
整体框架¶
JustifIT-QA 框架的目标是解决成文法问答中“法条检索覆盖不足、生成内容缺乏法理约束、证据缺乏精准定位”的三重挑战。系统整体流程分为三大部分协同工作:首先,面对输入的自然语言法律咨询问题,利用经过领域法条特征与合成问答对比微调的密集双编码器检索器 DARv2 召回候选法条,并经 Qwen3-4B 重排序器精排选出 Top-5 核心法条上下文;随后,生成器 LLM 以检索到的法条为法定依据起草初始法律解答,审判者 LLM 依据法定合规准则对其严密性进行多轮审查,若存在无支撑断言或法意歪曲则生成批判反馈驱动生成器在对话历史中自我修正;最后,在审判确认合规的终版答案基础上,证据抽取模块精准提取法条中支撑该结论的逐字文本切片,形成附带法理证据索引的完整法律意见。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["自然语言法律问题<br/>Italian Legal Query q"] --> B["领域自适应密集检索器 DARv2<br/>两阶段检索 + Qwen3-4B 重排序"]
B --> C["法定合规审判与对话式自省回环<br/>5大合规准则 + 三级标签反馈修正"]
C --> D["严格字词包含度细粒度证据抽取<br/>抽取逐字支持切片 + 溯源审计"]
D --> E["最终可信法律答案与条文证据<br/>Grounded Answer y* + Spans S"]
关键设计¶
1. 领域自适应密集检索器 DARv2:克服长法条多条款语义混淆与通用嵌入零样本召回上限
在成文法检索场景中,法条文本往往句式严密、包含大量限定性法律术语与跨条款交叉引用,通用文本嵌入模型在零样本设置下难以精确捕捉事实问题与法定构成要件之间的隐式语义关联。针对这一瓶颈,DARv2 以支持 8,192 标记上下文的 239M 参数编码器 jina-embeddings-v5-text-nano 为基础骨干,结合大规模合成法律问答对进行对比微调。作者利用 Qwen3.5-27B 为成文法条文针对性生成符合专业法律备忘录风格的事实性案例设问,使合成问题具有更长句长、更高名词密度和更低从句嵌套度,有效契合实体法术语分布。训练目标采用带批内负样本的对比损失函数:
其中 \(s_\theta(q, a) = \cos(\text{Enc}_\theta(q), \text{Enc}_\theta(a))\) 为余弦相似度。该设计不仅显著提升了初筛法条的覆盖范围,在验证集上将 Recall@20 提升至 85.88%(相比前代 DAR 的 83.16% 产生具有统计显著性的 +2.71% 净增益),而且后续级联 Qwen3-Reranker-4B 交叉编码器精排后,为生成模块构筑了高质量的合法性边界。
2. 法定合规审判与对话式自省回环:根除单次 RAG 幻觉并对齐法学专家三级合规标准
常规 RAG 管道普遍采用“一次性生成”机制,大模型极易在答案中混杂无法律依据的推论或主观推测,而二元判别(正确/错误)又会粗暴混淆“核心法理正确但边缘细节不准”与“实质性法律错误”两类截然不同的问题。为此,研究团队与资深法学专家共同制定了 5 大合规评估准则(覆盖性、无矛盾、规范力与精度、主体与管辖范围、忠实综合),并确立了非合规(NON-COMPLIANT)、部分合规(PARTIALLY-COMPLIANT)与完全合规(FULLY-COMPLIANT)三级标签。在审判回环中,审判模型仅以检索到的法条 \(\tilde{F}\) 为最高法理裁量依据,严格对生成器给出的答案进行独立审查:若未达到完全合规,审判模型输出包含具体违规条款与删改指令的结构化反馈 \(f^{(t)}\),生成器模型在保留完整对话历史的上下文中迭代修正其答案:
该机制限制最大迭代步数 \(T=2\),确保在受控的计算开销下完成自省。专家盲审评估证实,在非零检索召回的前提下,经该审判回环修正后的回答在核心法律正确率上从 76.74% 跃升至 83.72%,边缘细节正确率从 69.77% 提升至 74.42%,显著纠正了法意扩大解释与除外条件遗漏等典型错误。
3. 严格字词包含度细粒度证据抽取:突破法条级粗粒度溯源并消除边界微瑕惩罚
法律实务不仅需要正确的结论,更需要可被当事人与专业法官逐字复核的法定依据,然而法条整篇引用不仅信息冗余,更无法体现具体说理逻辑。为此,JustifIT-QA 引入了细粒度证据抽取器 \(E(q, \tilde{F}, y^*) \to \hat{S}\),直接在已检索到的法条文本内抽取出与最终选定答案 \(y^*\) 形成多对多映射关系的逐字支持切片 \(\hat{s}_i = (\text{id}(a), \hat{\tau})\)。在评估机制上,考虑到法律条文边界符号或引用前缀易导致传统严格精确匹配失效,本文提出了基于归一化词元交集的字词包含度判据:
当 \(\text{GoldCont}(\hat{\tau}, \tau) \ge 0.95\) 时判定预测证据成功命中黄金证据切片,并施加一对一匹配约束防止单一预测过度抢占多个标注。该设计保证了模型给出的每项法律意见都能严格回溯到立法原文的具体项款,在验证集上促使 Qwen3-32B 取得 42.55 F1,大幅增强了系统在合规审计中的透明度。
一个完整示例¶
以民法领域典型案例为例:“马里奥在未经授权的情况下为露西娅购买了一份人寿保险。在发生保险事故后露西娅才获知此事,她能否追认该保单?” 1. 法条检索:DARv2 检索意大利民法典相关条款,Qwen3-4B 精排后将意大利民法典第 1891 条等 Top-5 法条送入上下文。 2. 初始生成:生成器初步回答“露西娅可以追认,保单有效,马里奥不再承担任何责任”。 3. 审判反馈:审判 LLM 对照第 1891 条法文审核,判定为 PARTIALLY-COMPLIANT 并反馈:“第 1891 条规定在保险人收到追认或拒绝通知前,未经授权的投保人(马里奥)仍应对保险合同所生义务承担个人责任,初始回答错误免除了马里奥在通知前的责任,必须予以纠正并限定效力起始时间”。 4. 对话自省修正:生成器更新答案:“是的,即使在保险事故发生后,露西娅仍可追认该合同;但在保险人收到追认或拒绝追认通知之前,马里奥仍须对因合同产生的一切义务承担个人连带责任”。 5. 证据抽取:证据抽取器定位到法典第 21095 号文本偏移量 [0, 537],提取包含“即使在事故发生后亦可追认……”的原文切片,形成完整可审计的闭环法律备忘录。
损失函数 / 训练策略¶
检索器 DARv2 基于 PyTorch、SentenceTransformers 与 Hugging Face 框架训练,在单张 NVIDIA A100 (80GB) GPU 上执行。采用 AdamW 优化器,学习率设为 \(3.5 \times 10^{-5}\) 并配备线性预热与衰减机制,权重衰减为 \(10^{-2}\),全局批大小设为 768,共训练 35 个 epoch。负样本采用批内动态构建策略,保证每个批次内除了正例法条外包含 \(767\) 个高难度负例条文。生成与审判组件则统一采用开源基座模型在非思考(No-Thinking)模式或思考(Thinking)模式下运行,解码超参数依据官方建议配置(Qwen 系列在 NT 模式下温度 \(\tau=0.7, \text{top-p}=0.8, \text{top-k}=20\))。
实验关键数据¶
主实验¶
论文在 JuriFindIT 检索验证集及 JustifIT-QA 问答验证集上开展了系统性评估。表 1 对比了首阶段法条检索在不同参数量与无监督/微调设置下的召回率与排序指标。
| 检索模型 | 参数量 | 任务类型 | Recall@5 | Recall@20 | Recall@100 | nDCG@5 | MRR@5 | MAP@5 |
|---|---|---|---|---|---|---|---|---|
| granite-311m-multilingual-r2 | 311M | 零样本 | 54.98 | 64.80 | 72.49 | 47.57 | 47.30 | 43.47 |
| harrier-oss-v1-270m | 270M | 零样本 | 55.88 | 67.19 | 74.39 | 50.87 | 51.79 | 47.01 |
| snowflake-arctic-embed-m-v2.0 | 305M | 零样本 | 63.56 | 71.90 | 79.62 | 58.09 | 59.17 | 53.49 |
| pplx-embed-v1-4B | 4B | 零样本 (最佳) | 74.42 | 81.41 | 88.63 | 72.95 | 76.34 | 68.64 |
| DAR (前代 baseline) | 305M | 领域微调 | 76.11 | 83.16 | 91.18 | 73.29 | 76.50 | 68.56 |
| DARv2 (本文) | 239M | 领域微调 | 77.38 | 85.88 | 93.79 | 74.94 | 76.88 | 70.09 |
审判模型在参考答案辅助下的核心法理正确性评估性能对比见表 2。
| 审判模型 | 模式 | Precision (%) | Recall (%) | F1 (%) |
|---|---|---|---|---|
| Qwen3-32B | No-thinking | 89.57 | 95.42 | 92.40 |
| Qwen3.5-27B | No-thinking | 93.89 | 80.39 | 86.62 |
| Qwen3.5-27B | Thinking | 94.57 | 79.74 | 86.52 |
| Qwen3.6-27B | No-thinking | 95.38 | 81.05 | 87.63 |
| GPT-oss 20b | Thinking Med | 92.37 | 79.08 | 85.21 |
| GPT-oss 20b | Thinking Low | 92.65 | 82.35 | 87.20 |
| Gemma 4 31B | No-thinking | 95.71 | 87.58 | 91.47 |
| Gemma 4 26B-A4B | No-thinking | 93.20 | 89.54 | 91.33 |
| Qwen3.6 35B-3A | No-thinking | 93.64 | 67.32 | 78.33 |
消融实验¶
表 3 展示了编码器骨干、合成问题来源与训练策略对首阶段检索性能的控制变量消融结果(评估指标为 \(k=5\))。
| 编码器骨干模型 | 训练数据配置 | Recall@5 (%) | nDCG@5 (%) | MRR@5 (%) | MAP@5 (%) |
|---|---|---|---|---|---|
| jina-embeddings-v5-text-nano | 仅真实专家标注数据 | 70.52 | 66.49 | 69.16 | 62.02 |
| snowflake-arctic-embed-m-v2.0 | 仅真实专家标注数据 | 71.08 | 65.29 | 65.99 | 60.31 |
| harrier-oss-v1-270m | JuriFindIT 合成 + 真实 | 67.41 | 64.00 | 67.63 | 59.29 |
| harrier-oss-v1-270m | JustifIT-QA 新合成 + 真实 | 70.27 | 66.39 | 68.83 | 61.34 |
| DAR (snowflake-arctic-embed-m) | JuriFindIT 合成 + 真实 | 76.11 | 73.29 | 76.50 | 68.56 |
| snowflake-arctic-embed-m-v2.0 | JustifIT-QA 新合成 + 真实 | 76.42 | 73.07 | 76.00 | 68.04 |
| jina-embeddings-v5-text-nano | JuriFindIT 合成 + 真实 | 75.33 | 73.81 | 76.56 | 69.41 |
| DARv2 (jina-nano) | JustifIT-QA 新合成 + 真实 | 77.38 | 74.94 | 76.88 | 70.09 |
| jina-embeddings-v5-text-small | JustifIT-QA 新合成 + 真实 | 74.63 | 72.88 | 75.25 | 68.67 |
表 4 展示了法学专家在盲审双盲设置下对审判反馈回环有效性的评定结果(在非零检索召回子集上,对比初始回答与反馈修正后的回答)。
| 评估维度 | 无审判反馈初始回答 (%) | 审判反馈修正后回答 (%) | 绝对提升幅度 (%) |
|---|---|---|---|
| 核心法理正确率 (Main Correctness) | 76.74 | 83.72 | +6.98 |
| 次要细节合规率 (Side Correctness) | 69.77 | 74.42 | +4.65 |
关键发现¶
- 检索召回率是法律问答正确性的首要决定瓶颈:误差分析表明,专家评定为错误的答案对应的法条召回率仅为约 0.50,而正确答案的平均召回率高达 0.87;当检索召回率为 0 时,审判反馈无法凭空创造法律事实,盲目修改反而会引入新的幻觉。
- 合成问题质量与骨干模型的协同至关重要:新生成的合成问题通过强化名词密度和降低冗余从句,与 EuroBERT 架构的 jina-nano 形成最佳协同,直接超越了参数量更大的 jina-small (600M),证实针对性领域适配重于盲目堆叠模型参数。
- 审判模型呈现出鲜明的“安全性-覆盖率”权衡:Qwen3-32B 具备最高的召回率 (95.42%) 与整体 F1 (92.40%),能最大限度保留专家的合法论断;而 Gemma 4 31B 与 Qwen3.6-27B 具有超 95% 的极高精确率,更倾向于保守严厉地过滤潜在不合规言论,适合用于防范重大法律风险的严苛审核场景。
- 证据抽取在严格字词包含度下依然极具挑战性:在 Top-5 检索法条中,即使最大的 Qwen3-32B 模型也仅获得 42.55% F1(Precision 41.07%,Recall 53.08%),主要错误在于模型倾向于过度抽取过宽的法条上下文,跨多条款离散引用的整合仍有很大提升空间。
亮点与洞察¶
- 提出“倒序两步标注法”防锚定偏见:法学专家先独立撰写法律意见,随后回溯圈选法条中不可或缺的最小支撑切片,有效避免了先读条文而产生的词面重合诱导,保证了证据标注的法理纯粹性。
- 将法律审判内化为多轮对话状态机:通过对话历史拼接将审判者的法条批判转化为新一轮用户提示词,无需复杂的强化学习流程即可实现即插即用的轻量化证据级自我纠偏。
- 确立了非英语法定问答的评测新范式:将评估维度从传统的 ROUGE/BLEU 浅层字面比对,升级为“专家盲审三级合规 + 严格 token 包含度证据命中率”的双轨可量化标准。
局限与展望¶
- 受制于 GPU 显存预算,生成与审判组件的最大上下文窗口硬性截断为 Top-5 法条,在反洗钱(AML/CTF)和数据隐私(Privacy)等法条极度分散、长尾引用的领域容易发生关键法条被截断截断的情况。
- 审判回环引入了串行调用的推理延迟,完整两轮迭代平均需要多次生成与验证,在实时在线法律咨询系统中的推理开销较为显著。
- 证据抽取评估准则虽然采用 0.95 词元包含度缓解了字面微小差异,但仍属于词面表层匹配,尚无法完美识别法学上的同义转述论证与隐式法理推演。
相关工作与启发¶
- vs JuriFindIT / BSARD: JuriFindIT 与 BSARD 仅停留在“问题到法条编号”的粗粒度检索层面;JustifIT-QA 补充了 895 组由专业法学团队编写的标准回答与精准段落级切片,推动成文法任务进入全面可验证问答阶段。
- vs LLeQA / JEC-QA: LLeQA 聚焦法语长篇法案问答,JEC-QA 针对中国司法考试客观题;本文针对意大利成文法规范结构,开创性构建了涵盖民法、刑法、反洗钱与隐私法四大异构法域的细粒度证据问答基准。
- vs Self-Refine / Reflexion: 通用自我修正往往依赖无约束的 LLM 自我评判,在专业法律领域极易自我强化幻觉;本文通过注入 5 大法定准则与检索条文作为硬约束边界,证明了受控审判机制在专业垂类的纠错效能。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次针对意大利成文法体系构建包含专家编写答案与切片证据的问答基准,开创性引入法定审判反馈回环。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖双编码器微调消融、多模型审判性能评测、专家盲审对齐分析与字词级证据抽取全套实验。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨,法学统计指标(Profiling-UD 语言学特征、加权 Cohen's κ)与机器学习形式化表述兼备。
- 价值: ⭐⭐⭐⭐⭐ 为非英语法律大模型研究、可解释 RAG 以及司法 AI 溯源审计提供了极其宝贵的数据资源与方法基线。