跳转至

Multi-Source Retrieval and Reasoning for Legal Sentencing Prediction

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/cjj826/MSR2
领域: 信息检索
关键词: 法律量刑预测、多源检索、强化学习、过程级奖励、大语言模型推理

一句话总结

针对法律量刑预测中细粒度客观规范散佚与主观自由裁量推理薄弱的双重瓶颈,提出融合多源检索与过程级奖励的强化学习框架 MSR2,通过动作空间动态路由专业法律源并以细粒度量刑要素引导中间推理,在 CAIL2018 与 CJO22 上显著刷新量刑准确率与可解释性基准。

研究背景与动机

法律判决预测(Legal Judgment Prediction, LJP)作为司法人工智能的核心任务,旨在依据案件事实描述自动化推断司法裁判结果,主要包含法条预测、罪名预测与刑期量刑预测(Legal Sentencing Prediction, LSP)三大子任务。近年来,基于语义表示学习与任务逻辑图谱建模的判决方法在法条与罪名预测上取得了长足进步,并在智慧法院与类案检索辅助系统中实现了实质落地。然而,量刑预测依然是整个司法智能决策管线中最具挑战性的硬骨头,现存无论是经典预训练判决模型还是直接借助提示工程的大语言模型,均难以给出令人信服且符合审判经验的精准刑期。

量刑预测之所以陷入瓶颈,本质在于其同时面临着客观维度的「规范信息断层」与主观维度的「自由裁量推理脆弱」。在客观层面,量刑裁判严重依赖细颗粒度的定量裁量标准,例如诈骗罪中数额较大、数额巨大与数额特别巨大的法定门槛,或者多次盗窃与入户盗窃的特殊认定要件。这些关键尺度极少直接规定在抽象的刑法条文中,而是广泛散落在各省市高级人民法院发布的实施细则、最高人民法院的司法解释以及会议纪要中;现有检索增强方法往往仅检索单一法条或裁判文书先例,无法按需动态引入碎片化的高位阶司法指引。在主观层面,量刑涉及对法官自由裁量情节的综合权衡,包括被告人主观恶性、认罪认罚态度、退赃退赔与取得被害人谅解等酌定情节。过往方法要么依赖一阶谓词逻辑等僵硬规则,要么完全依赖黑盒大模型的内生知识进行自由生成,并仅以最终判罚区间的正确与否给予稀疏结果奖励;这极易导致模型产生「蒙对刑期但论据荒谬」的伪推理对齐现象,缺乏对中间量刑要素认定的严格监督。

针对上述客观规范碎片化与主观裁量推理易脱轨的核心矛盾,本研究认为一个可靠的量刑系统必须兼具动态探查多源异构法律资源的能力,并能在强化学习轨迹中接受中间审判要素的精细过程监督。核心 idea:提出 MSR2 框架,将多源法律检索(法条、判例、量刑指南、法学专著)深度内嵌于大模型的显式推理动作空间中,并引入基于要素裁判量表的过程级奖励协同最终刑期结果奖励,借助群体相对策略优化(GRPO)实现端到端的检索-推理动态闭环。

方法详解

整体框架

MSR2 旨在克服传统量刑模型将刑期粗暴离散化为少数固定区间而丢失个案细微差异的缺陷,直接在连续刑期数值域建模预测 \(\hat{y}\),随后映射回标准司法区间进行统一评测。整个系统由策略大语言模型(Policy LLM \(\pi_\theta\))、多源异构检索引擎集合 \(\mathcal{S} = \{S_1, S_2, \dots, S_n\}\) 以及基于量表的判别式过程奖励评估器(LLM-as-a-judge)三部分紧密协同构成。

在推理执行轨迹中,模型遵循最高人民法院推荐的标准法律三段论与量刑裁量步骤展开:输入案件案件事实描述 \(x\) 后,策略模型首先在 <reasoning> 中生成初步事实定性分析;随后在 <factors> 标签内系统抽取出全部客观与主观量刑要素;当遇到当地起刑点或特定数额标准等知识缺口时,策略模型生成带有目标源标签的检索请求 <search><source> query </source></search>;环境调度对应检索模块检索 Top-\(k\) 权威证据并封装入 <information> 注入模型上下文继续驱动推理;最终模型在 <answer> 标签中输出确切宣告刑。在训练阶段,中间抽取的要素集接受过程级奖励 \(P_r\) 打分,结合最终判决区间的准确率结果奖励 \(O_r\),通过掩蔽检索文本的 GRPO 算法实现端到端优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入案件事实描述"] --> B["动作空间路由的多源检索"]
    B --> C["细粒度量刑要素的过程级奖励"]
    C --> D["掩蔽检索标记的群体相对策略优化"]
    D --> E["输出连续预测刑期与裁判区间"]

关键设计

1. 动作空间路由的多源检索:规范散佚导致知识断层 -> 策略内生标签分发至专有检索库 -> 精准注入地方细则与尺度
传统司法检索增强通常仅面向静态单一数据库(如中国裁判文书网或刑法条文库),无法覆盖量刑活动所需的多层次立体法律渊源。针对量刑标准分散在法条、司法解释、地方量刑指导意见及法学专著中的痛点,MSR2 构建了包含四大独立数据源的立体知识库体系:包含 51,784 条法条的法律条文库(采用 Qwen3-Embedding 生成 1024 维稠密向量并构建 FAISS HNSW 索引);涵盖约 1,200 部法学专业书籍、切分为 780,035 个段落的专著库(采用 BM25 与稠密 HNSW 的混合检索);收录 10,714,118 份裁判文书的司法判例库(采用面向罪名、涉案金额与法言法语模板深度匹配的 BM25 检索);以及包含各省市高级人民法院出台的 200 份权威量刑实施细则库(采用 BM25 全文检索)。在路由机制设计上,本方法将知识源选择内化为策略模型的显式动作,由模型在生成检索词 \(q_t\) 时同步输出目标知识源标签 \(s_t \in \{\text{statute}, \text{guideline}, \text{precedent}, \text{book}\}\),直接将查询派发至匹配的检索器 \(R_{s_t}\) 并拉取 Top-\(k\)(默认 \(k=3\))条目:

\[E_t^{(s_t)} = \text{TopK}(R_{s_t}(q_t), k) = \{e_{t,1}, \dots, e_{t,k}\}\]

这种动作空间内生的路由设计不仅零计算开销即可实现精准的跨源调度,而且将知识检索与上下文因果推理融为一体,使模型能自主感知知识断层并定向索取证据。

2. 细粒度量刑要素的过程级奖励:结果奖励稀疏且掩盖推理谬误 -> 显式抽取要素并引入量表指导的裁判大模型打分 -> 约束中间心证符合客观案件事实
在传统的强化学习设置中,仅依据最终刑期区间的命中与否给予二进制结果奖励 \(O_r \in \{0, 1\}\),这极易使大模型走捷径——凭借事实文本中的某些偶发词汇碰巧预测出正确刑期区间,但其内部关于数额认定、累犯与否、自首立功的自由裁量推理完全脱靶。为了从根源上纠正幻觉与虚假因果链,MSR2 显式要求模型在中间阶段生成 <factors> 标签,全量枚举提取出的涉案金额、作案手法、前科劣迹等客观要素,以及自首、认罪认罚、退赃取得谅解、主观恶意等主观酌定要素。设立基于详细裁判量表(Rubric-based Instruction)的 Qwen3-32B 作为 LLM-as-a-judge 裁判模型,按照事实支撑度、法律关联性、要素完备度与论证可信度四大严谨维度进行 1–10 分的离散评分,对无中生有的虚假要素施加 \(-3\) 至 \(-5\) 分的重罚,归一化后得到过程级奖励 \(P_r \in [0, 1]\)。最终单条轨迹的综合强化奖励为结果奖励与过程奖励的凸组合:

\[R = (1 - \lambda_r) O_r + \lambda_r P_r\]

实验中设定平衡超参数 \(\lambda_r = 0.2\)。这一设计确保模型在探索高效检索策略的同时,必须严格依托案件事实建立中间心证,杜绝推理步骤与法律事实的脱节。

3. 掩蔽检索标记的群体相对策略优化:外部注入文本污染策略梯度 -> 过滤检索跨度并基于组内相对优势迭代更新 -> 稳定端到端探索与推理对齐
MSR2 采用群体相对策略优化(GRPO)算法摆脱独立 Critic 价值网络的显存负担,通过对每个案件输入 \(x\) 采样 \(G\) 条候选生成轨迹 \(\mathcal{Y} = \{y_1, \dots, y_G\}\),计算组内奖励均值 \(\bar{R} = \frac{1}{G}\sum_{i=1}^G R_i\) 与标准差 \(\sigma_R\),从而为第 \(i\) 条轨迹计算标准化相对优势值 \(\tilde{A}_i = \frac{R_i - \bar{R}}{\sigma_R + \epsilon}\)。关键机制在于,由于交互式检索会将大量外部检索文本动态注入至 <information> 标签内,若直接对整段文本计算语言模型自回归似然比,外部非模型生成的客观法条词元将会严重污染策略模型的梯度反向传播。为此,MSR2 引入检索跨度掩蔽指示函数 \(I(y_{i,t}) \in \{0, 1\}\)(模型自主生成词元为 1,检索注入词元为 0),并以自主生成词元总数 \(Z_i = \sum_{t=1}^{|y_i|} I(y_{i,t})\) 实施归一化,构建受限的目标优化函数:

\[\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{x, \mathcal{Y}\sim\pi_{\text{old}}} \left[ \frac{1}{G}\sum_{i=1}^G \frac{1}{Z_i}\sum_{t=1}^{|y_i|} I(y_{i,t}) \min\left(r_{i,t} \hat{A}_{i,t}, \text{clip}(r_{i,t}, 1-\epsilon, 1+\epsilon)\hat{A}_{i,t}\right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right]\]

其中 \(r_{i,t} = \frac{\pi_\theta(y_{i,t} \mid x, y_{i,<t}; \mathcal{R})}{\pi_{\text{old}}(y_{i,t} \mid x, y_{i,<t}; \mathcal{R})}\) 为自回归概率比,KL 散度约束项同样实施检索标记掩蔽。该机制保证了模型仅因其自身做出的检索路由决策、要素归纳与逻辑裁决获得策略更新,保障了多轮交互检索训练的收敛稳定性。

多源检索与量刑推理机制

为了使读者直观领会 MSR2 在真实审判逻辑下的运转全貌,以湖南省邓某木材诈骗案为例呈现其完整的检索推理协同流(如图 4 所示): 1. 事实吸收与要素抽取:被告人邓某虚构拥有千吨木材的事实骗取被害人定金人民币 50,000 元,案发归案后如实供述、全额退赔并取得被害人谅解。模型首先在 <factors> 中归纳关键要素:涉案金额 50,000 元、如实供述、认罪认罚、退赔并获谅解。 2. 多源逐级检索: - 策略首先发起 <search><statute> 诈骗罪法定刑条款 </statute></search>,检索《中华人民共和国刑法》第二百六十六条,获知「数额较大处三年以下有期徒刑;数额巨大处三年以上十年以下有期徒刑」。 - 模型在 <reasoning> 中敏锐指出:刑法条文并未规定 50,000 元在湖南省究竟属于「数额较大」还是「数额巨大」,存在裁判标准知识断层。 - 策略随即发起 <search><guideline> 湖南省诈骗罪量刑指导意见数额标准 </guideline></search>,精准检索出湖南省高院实施细则,明确「诈骗公私财物价值五万元属于数额巨大」,从而将基础量刑基准牢牢锁定在「三年以上十年以下有期徒刑」。 - 模型进一步针对从宽情节发起 <search><guideline> 取得被害人谅解量刑调节比例 </guideline></search>,检索到「退赃退赔取得谅解可减少基准刑 40% 以下」。 3. 裁量折中与终局裁判:模型综合认罪认罚、如实供述与退赔谅解等主观悔罪要素,在基准刑幅度内依法从轻减轻调节,最终在 <answer> 中确定宣告刑为法定最低刑「3 年(36 个月)」,与法官真实判决完全一致。相比之下,基线 BERT 模型仅输出模糊区间「一至二年」,而传统 RAG(如 PLJP)因缺乏地方细则检索,将 5 万元误按较大数额处理得出「一至二年」的错误轻判。

实验关键数据

主实验

实验在广泛使用的司法判决基准 CAIL2018(随机采样并严格清洗的多分类评测集,共 82,138 案)以及作为跨分布真实测试集的 CJO22(包含 1,698 案长文本裁判文书)上全面展开。评测指标遵循标准协议,报告准确率(Acc)、宏精确率(Macro-Precision, Ma-P)、宏召回率(Macro-Recall, Ma-R)以及宏 F1(Macro-F1, Ma-F)。

模型类别 评测模型 CJO22 Acc CJO22 Ma-P CJO22 Ma-R CJO22 Ma-F CAIL2018 Acc CAIL2018 Ma-P CAIL2018 Ma-R CAIL2018 Ma-F
传统分类 TFIDF+SVM (1995) 33.16 23.17 19.70 20.01 42.05 28.56 26.42 26.66
CNN (1989) 34.28 15.34 16.47 13.79 39.39 19.38 17.51 16.08
BERT (2019) 33.57 19.86 17.88 16.47 42.34 23.78 23.51 22.64
RoBERTa (2019) 35.34 23.11 20.24 19.27 42.12 28.90 24.14 23.08
TopJudge (2018) 27.14 19.76 17.69 17.94 35.70 18.59 18.43 17.63
LADAN (2020) 33.69 26.40 22.94 24.55 36.14 20.86 18.03 16.58
NeurJudge (2021) 26.80 26.81 26.85 25.97 36.84 20.99 16.81 18.51
直接推断 Llama3-8B-DI 12.96 16.63 12.45 8.69 12.54 14.91 13.12 8.60
Qwen3-8B-DI 15.14 35.81 15.40 11.28 11.38 31.92 14.04 8.72
Qwen3-14B-DI 14.43 36.78 18.14 12.23 12.82 26.41 16.35 10.92
Qwen3-32B-DI 28.45 27.82 22.67 22.06 26.49 27.68 27.28 23.43
Qwen3-235B-A22B-DI 37.28 34.81 26.35 27.29 38.05 29.36 28.55 26.82
思维链推理 Qwen3-8B-DR 22.67 22.91 22.87 18.87 20.57 20.43 21.07 16.73
Qwen3-14B-DR 27.80 24.18 26.51 22.42 25.58 19.35 22.44 18.03
Qwen3-32B-DR 30.09 26.20 27.96 24.53 27.69 23.21 26.57 22.22
检索增强 PLJP-GPT-4o-mini 27.92 24.88 20.90 18.63 27.53 23.65 19.56 18.03
Qwen3-8B-RAG 29.03 22.75 24.26 20.95 28.16 20.54 21.56 18.70
Qwen3-14B-RAG 30.57 27.07 24.05 23.81 29.68 22.82 21.00 19.57
监督微调 Llama3-8B-FT 31.68 32.05 19.48 17.26 37.15 26.83 21.37 19.38
Qwen3-8B-FT 37.63 36.45 21.85 19.87 41.84 29.57 23.89 22.31
强化学习(本文) MSR2-Qwen3-8B 44.29 37.43 30.73 28.07 46.18 36.74 31.70 28.84

消融实验

在 CJO22 数据集上考察过程级奖励(PR)与多源检索(MR)在训练全周期的消融表现:w/o PR 表示仅保留最终区间的二进制结果奖励(\(\lambda_r=0\));w/o MR 表示禁用多源检索路由,退化为仅支持单一法条检索。

训练步数 (Step) 模型变体 CJO22 Acc (%) CJO22 Ma-P (%) CJO22 Ma-R (%) CJO22 Ma-F (%) 性能说明
Step 0 MSR2 29.03 22.75 24.26 20.95 强化训练初始状态
w/o PR 29.03 22.75 24.26 20.95 与完整模型等价
w/o MR 28.09 24.50 22.94 21.77 缺少多源支持略显劣势
Step 40 MSR2 35.92 32.61 28.12 25.07 早期快速收敛
w/o PR 33.04 24.59 23.11 22.47 缺少要素指导导致 Acc 降 2.88%
w/o MR 32.69 23.92 22.80 21.85 单一源限制使 Acc 降 3.23%
Step 80 MSR2 35.57 26.16 29.08 26.12 维持平稳提升
w/o PR 34.51 25.13 23.78 23.33 宏召回率落后明显 (-5.30%)
w/o MR 34.39 24.87 24.78 23.14 宏 F1 落后近 3 个百分点
Step 100 MSR2 37.40 32.12 29.26 26.02 性能优势进一步拉大
w/o PR 33.51 25.33 25.46 23.59 Acc 差距达到 3.89%
w/o MR 35.10 26.50 25.49 24.07 缺乏量刑指南约束泛化受限
Step 120 MSR2 38.40 30.54 28.10 24.96 达到稳定高位
w/o PR 35.51 25.15 25.12 23.25 Acc 降 2.89%
w/o MR 34.22 25.17 24.68 22.96 Acc 降 4.18%,知识供给成为瓶颈
Step 140 MSR2 38.40 30.24 28.31 24.44 最终收敛轮次
w/o PR 36.22 25.70 24.31 22.62 缺少要素惩罚致使指标落后
w/o MR 35.10 27.44 22.89 22.90 最终准确率落后 3.30%

此外,在对 200 个真实案件的要素打分一致性验证中,Qwen3-32B 与法学院专家评委的 Pearson 相关系数达到 0.587(Spearman \(\rho = 0.554\),Kendall \(\tau = 0.512\)),高度逼近人类专家之间的内生一致性(Pearson \(r = 0.637\)),显著优于 DeepSeek-V3-0324(\(r = 0.451\))与 GPT-4o(\(r = 0.324\)),证实了量表驱动判别奖励的司法可信度。

关键发现

  • 多源检索与过程奖励互补协同:在强化学习演进中,过程奖励(PR)在训练初期(Step 40)提供关键的推理轨迹纠偏,使模型快速建立合规的量刑要素提取模式;而多源检索(MR)则在中后期(Step 100-140)发挥主导作用,当推理链条建立后,外部特定领域细则的准确供给成为决定终局量刑精度的决定性瓶颈(缺少 MR 在 Step 120 导致 Acc 剧烈滑坡 4.18%)。
  • 小模型 RL 超越超大模型零样本推理:基于 8B 规模的 MSR2 在 CJO22 上取得 44.29% Acc,大幅碾压未经强化对齐的 32B 思维链模型(30.09%)乃至 235B 激活 22B 混合架构超大模型(37.28%),证明了将领域检索融入 RL 探索远比单纯堆叠参数规模更加高效经济。
  • 跨分布泛化韧性极强:传统分类模型与监督微调模型在 CAIL2018 到 CJO22 的跨数据集迁移中性能大幅衰减(例如 BERT 从 42.34% 骤降至 33.57%),而 MSR2 仅下降不足 2 个百分点(46.18% 到 44.29%),表明显式检索法律规范与审判心证解耦大幅削弱了模型对特定语料表面词频的过拟合。

亮点与洞察

  • 内生动作路由构建零开销多源调度:将检索目标源判定作为策略模型自然语言动作直接生成,避免了为四种异构库额外维护繁重的 MoE 门控网络或外挂路由智能体,推理链路极致轻简且能在强化学习中协同迭代。
  • 检索标记掩蔽维护策略梯度的因果纯粹性:在 GRPO 目标中创新性地通过指示函数 \(I(y_{i,t})\) 过滤外部检索文本,使得强化梯度的分配完全锚定于模型自主做出的决策性词元,化解了多轮 RAG 强化训练中策略容易被外部检索上下文带偏的顽疾。
  • 连续预测向离散区间对齐的精细化建模:打破传统量刑预测机械划分子区间的分类设定,以连续刑期数值为优化目标逼近真实裁判心证,为司法 AI 从分类预测走向连续裁量权辅助开辟了可行范式。

局限与展望

  • 主干基座模型规模受限:由于多轮交互强化学习计算资源开销巨大,实验主要基于 Qwen3-8B 开源基座展开,在更强参数量(如 32B 或 70B)基座下的量刑推理潜力尚待验证。
  • 评测语料涵盖地域与法域有限:当前基准主要基于中国大陆刑事审判体系(CAIL2018 与 CJO22),对于英美普通法系判例法国家或其他跨法系、跨文化区域的量刑规则泛化能力仍需进一步实证研究。
  • 多轮交互轮次存在理论预算上限:当前交互轮次固定上限为 8 轮,面对错综复杂、罪名竞合的多被告人数罪并罚案件时,检索深度与上下文窗口可能遭受考验。

相关工作与启发

  • vs PLJP (Wu et al., 2023):PLJP 依赖先验领域模型外挂检索先例,再交由 LLM 提示决策,缺乏对地方量刑指南的动态索取,且无强化学习过程对齐;本文通过动作空间显式路由地方量刑细则,并以要素过程奖励联合 GRPO 优化,在跨领域测试集 CJO22 上准确率领先 16.37 个百分点(44.29% vs 27.92%)。
  • vs NeurJudge (Yue et al., 2021) / LADAN (Xu et al., 2020):传统神经架构通过子任务条件概率或法条图卷积建模情节,但模型容量与长程推理能力受限,难以应对细微案情量刑;本文借助生成式大模型长程推理与检索交互,实现了可解释的心证全流程追溯。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将多源异构法律检索与要素裁判量表过程奖励创新融入 GRPO 强化学习闭环]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖双权威数据集、全训练周期消融及 200 真实案例人类专家打分一致性验证]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑架构严丝合缝,动机剖析与案情示例极具穿透力]
  • 价值: ⭐⭐⭐⭐⭐ [成功突破量刑预测瓶颈,为高风险司法审判场景落地可信法律大模型提供标杆范式]