跳转至

JPO: Juris Policy Optimization for Structured Legal Argumentation

会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态VLM
关键词: 法律裁判预测, 强化学习, 策略优化, 结构化法律论证, 链式一致性

一句话总结

JPO 提出了一个两阶段后训练框架,先通过教师模型生成的标准化四步论证链(事实抽取→法条分析→罪名认定→刑期预测)进行监督微调,再结合预测精度、结构完备性与跨步骤逻辑一致性构建复合奖励,并配合法律逻辑与不确定性加权的 token 级优势重加权及自适应梯度裁剪,显著提升了大语言模型在刑事裁判预测中的决策准确度与法律论证质量。

研究背景与动机

刑事裁判预测(Legal Judgment Prediction, LJP)旨在根据案件事实直接推断适用的法律条文、触犯的罪名以及最终的量刑结果,是法律人工智能与司法智能辅助的核心任务。然而,刑事司法的本质并非单纯从案件事实到离散分类标签的扁平映射,而是一个高度严谨、环环相扣的结构化裁决论证链条:引用的法条必须在查明事实中具备严格的构成要件支撑,认定的罪名必须由对应法条严格定性,而量刑裁决必须与罪名的法定刑区间及具体的量刑情节严密嵌合。在以大陆法系成文法为基础的司法体系中,判决文书的权威性与说服力不仅依赖于最终判决结果的准确,更取决于由事实到法条、法条到罪名、罪名到量刑的全程论证严密性。如果模型预测了正确的罪名却援引了无关法条,或者在缺乏量刑理由的情况下凭空给出了合理的刑期,这种不可信的“黑盒”映射在实际司法辅助场景中具有严重的合规与安全风险。

尽管近年来以通用大语言模型为基础的法律推理方法展现出了强大的语义表征能力,但在刑事裁判预测任务中直接微调或提示大模型仍面临两大根本性困境。其一,现有绝大多数开源法律数据集(如早期的 CAIL2018 等)仅包含案件事实与终局判决标签,严重缺乏对裁判中间推理过程与法律论证轨迹的结构化标注,导致模型在监督微调时极易捕捉事实描述与标签之间的浅层统计相关性甚至虚假共现捷径,而非掌握以法律逻辑为支撑的实体裁判模式。其二,现有的强化学习与对齐方法(如通用 PPO、DPO 或针对法律问答的偏好微调)主要侧重于优化最终输出的准确率或通用文本流畅度,部分尝试评估推理过程的方法往往依赖由商业大模型生成的自由评分细则(rubrics)。这种评分机制极易受到评测模型内部先验与格式偏好的污染,既缺乏对司法裁决内在逻辑约束的精确表征,也无法为超长推理文本中的关键法律转折提供稳定的监督信号。

这一瓶颈背后的核心矛盾在于:刑事裁判要求推理链条内部保持高度确定且因果闭合的阶段性依赖,而现有的后训练技术缺乏能够将这种刚性法律约束有效转化为可微分、可优化的连续学习信号的机制。面对长程司法论证,模型往往因长文本梯度扩散而退化,无法兼顾端到端判决精度与中间论证的忠实性。核心 idea:将刑事裁判显式重构为「事实→法条→罪名→刑期」标准化四步论证流,先借助强教师模型注入结构化 CoT 脚手架,再通过涵盖法律准确率、结构完备性与跨步骤三阶逻辑一致性的复合奖励函数,配合融合逻辑重要性与信息熵的 token 级优势重加权及自适应策略裁剪,在 PPO 框架下实现结构化法律论证策略的联合优化。

方法详解

整体框架

JPO 的整体流程输入为一段经过脱敏与规范化的案件客观事实描述序列 \(F = \{f_1, f_2, \dots, f_n\}\),目标是不仅预测出终局司法裁决 \(Y = (A, C, S)\)(其中 \(A\) 为适用法条集合,\(C\) 为触犯罪名集合,\(S\) 为连续归一化量刑刑期),同时显式生成结构化的司法论证轨迹 \(Z = (G_f, G_a, G_c, G_s)\),分别对应事实抽取、法条分析、罪名认定与量刑预测四个循序渐进的阶段。框架采用两阶段级联架构:第一阶段(Stage I)使用经过严格系统提示约束的大型教师模型(默认 Qwen2.5-72B-Instruct)生成遵循四阶段模板的连贯解题推导过程作为弱监督信号,对开源基础模型进行结构化监督微调(SFT),使其固化结构化论证输出范式并完成基础司法事实抽取初始化;第二阶段(Stage II)冻结参考策略 \(\pi_{\theta_{\text{ref}}}\),利用设计的多维度复合奖励函数与细粒度 token 优化机制对当前策略 \(\pi_\theta\) 进行强化学习策略优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入案件事实描述序列 F"] --> B["阶段1:教师引导的四阶段结构化SFT<br/>规范论证路径 F → A → C → S"]
    B --> C["阶段2:多维复合奖励强化学习<br/>联合约束预测质量、结构完备性与三阶链条一致性"]
    C --> D["阶段3:法律逻辑与不确定性加权Token级优势重加权<br/>动态重构长文本各阶段优势估计 At"]
    D --> E["阶段4:基于重要度分数的自适应策略梯度裁剪<br/>差异化放宽关键法律逻辑Token更新步长"]
    E --> F["输出终局判决 (A, C, S) 及可信结构化论证 Z"]

关键设计

1. 教师引导的四阶段结构化SFT:构建因果闭合的司法论证脚手架

针对现有司法数据集缺乏中间论证标注、直接端到端微调极易导致模型退化为浅层关键词匹配的问题,JPO 在第一阶段利用具备强大指令遵循能力的大模型生成标准化的四步因果论证链。这四个阶段严格遵循司法裁判逻辑:第一步从案件事实中精准抽取案发时间、地点、涉案当事人、具体犯罪行为及危害结果等要件;第二步根据前述要件匹配刑法法条,阐释要件满足情况;第三步基于前两步分析推导罪名;第四步根据罪名对应法定刑、基准刑以及自首、立功、累犯等量刑情节推导出最终宣告刑。为避免教师模型利用已知的标准答案产生“倒果为因”的事后合理化(post-hoc rationalization),提示词被显式设计为正向递进推理约束,禁止先输出答案再反向解释。学生模型在该监督数据上最小化交叉熵损失:

\[\mathcal{L}_{\text{SFT}} = - \log P_\theta(Z, Y \mid F)\]

该阶段不仅教会了模型输出固定的结构化标签格式,更重要的是为第二阶段强化学习提供了稳定、可解析且具有清晰语义阶段划分的策略初始化。

2. 多维复合奖励函数设计:平衡司法终局判决与过程论证链条的一致性

针对纯标签奖励无法监督推理质量、而纯 LLM 裁判又存在评分漂移与计算昂贵的问题,JPO 设计了全可计算的多维复合奖励函数 \(R = \alpha R_{\text{legal}} + \beta R_{\text{structure}} + \gamma R_{\text{consistency}}\)。其中最终预测质量奖励分解为格式分、法条 F1 精确-召回乘积(\(\frac{|\hat{A}\cap A|}{|\hat{A}|} \cdot \frac{|\hat{A}\cap A|}{|A|}\))、罪名 F1 精确-召回乘积,以及对量刑相对误差的指数平滑奖赏 \(R_{\text{sentence}} = \exp\left(-\xi \frac{|\hat{S}-S|}{S}\right)\)。结构完备性奖励 \(R_{\text{structure}}\) 则通过指示函数检验四个关键段落是否存在,并通过对数平滑长度惩罚阻遏空头或极短的敷衍性段落。

最核心的贡献在于跨步骤一致性奖励 \(R_{\text{consistency}} = \frac{1}{3}(S_{\text{FA}} + S_{\text{AC}} + S_{\text{CS}})\),它将复杂的法律逻辑有效分解为三个局部相邻转移代理: - 事实→法条一致性 (\(S_{\text{FA}}\)):在训练集上训练轻量级朴素贝叶斯法条后验概率估计器 \(P(a \mid F)\),根据模型预测的法条集合计算平均后验概率; - 法条→罪名一致性 (\(S_{\text{AC}}\)):利用基于法定援引规则构建的离散关联矩阵 \(D \in \mathbb{R}^{|A|\times|C|}\)(直接法条对应关系赋值为 2,相关但间接赋值为 1,无关为 0),计算预测法条对预测罪名的最大归一化兼容度; - 罪名→刑期一致性 (\(S_{\text{CS}}\)):基于各罪名在真实历史裁判中的量刑分布,构建截断正态分布 \(p(s \mid c)\)(由训练集中对应罪名的经验均值 \(\mu_c\)、标准差 \(\sigma_c\) 及有效量刑区间 \([a_c, b_c]\) 参数化),评估预测刑期在该罪名分布下的概率密度相对峰值的比值。这三项代理均具备解析解与极高的计算效率,为强化学习提供了稳定且与法律专家评审高度正相关的梯度指引。

3. 法律逻辑与不确定性加权Token级优势重加权:精确定位长程论证中的关键贡献

针对序列级强化学习奖励在长文本生成中无法精确定位是哪一步或哪几个词导致了逻辑跃迁或事实崩溃的问题,JPO 提出了将模型内生不确定性与外在阶段逻辑重要性相结合的 Token 级优势重加权机制。对于序列中第 \(t\) 个 token,其重要性权重定义为:

\[\lambda_t = \zeta \bar{H}_t + (1 - \zeta) L_t\]

其中 \(\bar{H}_t\) 为在词表维度计算并按序列内部最大熵进行归一化的解码熵值,反映了模型在该位置的决策不确定性与信息量;\(L_t\) 则为法律逻辑重要性权重,直接根据 token 所属的论证阶段自适应分配对应的局部一致性得分(若 \(t \in G_a\) 取 \(S_{\text{FA}}\),若 \(t \in G_c\) 取 \(S_{\text{AC}}\),若 \(t \in G_s\) 取 \(S_{\text{CS}}\),其余取三者均值)。当整个序列的优势 \(A_{\text{seq}} > 0\) 时,高于平均重要度的关键 token 将获得放大系数为 \(1 + \psi(\lambda_t - \bar{\lambda})\) 的正向梯度推进;而当 \(A_{\text{seq}} < 0\) 时,同类关键 token 的惩罚则被相应衰减(乘以 \(1 - \psi(\lambda_t - \bar{\lambda})\)),从而有效防止因长文本末尾偶发的语法或格式瑕疵而连带抹杀前面优质法律要件分析的有效知识。

4. 基于重要度分数的自适应策略梯度裁剪:突破均匀裁剪对高价值法律决策的保守抑制

标准 PPO 算法对所有位置采用全局统一的策略比率裁剪阈值 \(\epsilon\)(如 0.2),这虽然保障了训练稳定性,但在复杂的法律论证中,不同 token 所承载的决策权重差异巨大。诸如具体的罪名专用名词、法条序号以及量刑数额等关键法律逻辑 token 承载了全局决策的核心跃升,需要相对更充分的参数更新空间;而连接词、过渡标点与通用语法成分则应保持保守。JPO 进一步将重要性分数 \(\lambda_t\) 注入到 PPO 的裁剪边界中:

\[\epsilon_t = \epsilon \cdot f(\lambda_t, \text{sign}(A_{\text{seq}}), \delta)\]

根据 token 的法律显著度动态缩放更新包络线,允许关键法律词元在安全范围内进行更大幅度的策略探索与加权更新,在保证整体策略不剧烈偏离参考模型的前提下,显著加速了深层法理推理能力的收敛。

损失函数 / 训练策略

JPO 第二阶段的最终强化学习优化目标为融合了 token 级动态优势、自适应裁剪系数以及 KL 散度正则项的 PPO 目标函数:

\[\mathcal{L}_{\text{RL}} = \mathbb{E}_t \left[ \min\left( r_t A_t, \, \text{clip}(r_t, 1 - \epsilon_t, 1 + \epsilon_t) A_t \right) - \beta_{\text{KL}} D_{\text{KL}}\big(\pi_\theta(a_t \mid s_t) \parallel \pi_{\theta_{\text{ref}}}(a_t \mid s_t)\big) \right]\]

其中 \(r_t = \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_{\text{old}}}(a_t \mid s_t)}\) 为当前策略与旧策略的概率比率,\(A_t\) 为经由重要度 \(\lambda_t\) 缩放后的 token 级优势。在超参数配置上,复合奖励权重设为 \(\alpha = 0.75\)、\(\beta = 0.0625\)、\(\gamma = 0.1875\);token 优势缩放系数 \(\psi = 0.6\),熵-逻辑混合权重 \(\zeta = 0.5\),基础裁剪阈值 \(\epsilon = 0.2\),KL 散度系数 \(\beta_{\text{KL}} = 10^{-3}\)。训练在 SFT 检查点基础上采用学习率 \(1 \times 10^{-6}\) 进行 4 个 epoch 的策略迭代,批大小为 1024(PPO mini-batch 为 256)。

实验关键数据

主实验

实验在三个中文刑事裁判基准上全面展开:全新构建的包含 2024-2026 年最新裁判文书的 JPO-Dataset(训练集 239,515 篇,RL 训练集 9,691 篇,测试集 20,396 篇)、权威基准 CAIL2018(测试集 30,000 篇)以及综合法律评测基准 LawBench(1,500 篇)。评估指标涵盖终局预测指标(法条 Macro-F1、罪名 Macro-F1、量刑连续得分 \(\text{Score}_{\text{sentence}}\),取 \(\xi=3\))以及两项过程推理质量指标(四步结构完备率 4-Step Comp. 与全链条一致性得分 Full-Chain)。下表展示了多款代表性开源模型的主干表现:

模型与方法 JPO-Dataset 法条F1 JPO-Dataset 罪名F1 JPO-Dataset 量刑分 JPO-Dataset 4步完备率 JPO-Dataset 链一致性 CAIL2018 法条F1 CAIL2018 罪名F1 CAIL2018 量刑分 LawBench 法条F1 LawBench 罪名F1 LawBench 量刑分
Qwen3-4B-Instruct
Pre-trained 0.521 0.468 0.174 0.315 0.208 0.485 0.442 0.158 0.463 0.419 0.142
SFT 0.884 0.858 0.405 0.902 0.652 0.856 0.831 0.381 0.834 0.809 0.364
JPO (本文) 0.931 0.916 0.542 0.966 0.789 0.903 0.888 0.514 0.872 0.861 0.485
Qwen2.5-7B-Instruct
Pre-trained 0.618 0.573 0.211 0.442 0.267 0.584 0.539 0.194 0.551 0.508 0.182
SFT 0.893 0.871 0.422 0.918 0.681 0.865 0.842 0.399 0.841 0.824 0.377
JPO (本文) 0.937 0.928 0.551 0.973 0.806 0.908 0.897 0.521 0.879 0.868 0.493
Llama-3-8B-Instruct
Pre-trained 0.594 0.552 0.203 0.418 0.252 0.561 0.524 0.187 0.537 0.495 0.175
SFT 0.871 0.847 0.396 0.897 0.641 0.846 0.822 0.375 0.823 0.798 0.354
JPO (本文) 0.926 0.912 0.534 0.962 0.781 0.897 0.884 0.505 0.868 0.856 0.477
Qwen2.5-3B-Instruct
Pre-trained 0.451 0.382 0.114 0.284 0.198 0.426 0.359 0.103 0.402 0.334 0.092
RL-only 0.782 0.744 0.295 0.671 0.482 0.755 0.718 0.273 0.732 0.695 0.258
SFT 0.873 0.847 0.391 0.895 0.622 0.848 0.823 0.372 0.825 0.801 0.349
Vanilla PPO 0.896 0.869 0.454 0.911 0.678 0.871 0.845 0.428 0.846 0.822 0.405
LegalΔ 0.904 0.881 0.479 0.924 0.703 0.878 0.856 0.451 0.854 0.834 0.427
Issue Tree Rubrics 0.911 0.896 0.488 0.932 0.721 0.885 0.871 0.459 0.862 0.848 0.435
JPO (本文) 0.929 0.921 0.536 0.967 0.791 0.904 0.895 0.505 0.877 0.868 0.479

在 CAIL2018 基准与经典特定架构 LJP 方法对比中(按行业惯例采用 per-label 宏平均统计),JPO (Qwen2.5-7B) 的法条 F1 达到 90.8、罪名 F1 达到 89.7,大幅超出此前最强多智能体协同 SOTA 系统 VERDICT(法条 83.3、罪名 82.4)达 7.5 和 7.3 个百分点;甚至轻量级的 JPO (Qwen2.5-3B)(法条 90.4、罪名 89.5)亦能显著压制 VERDICT。

消融实验与关键机制分析

在核心基准模型 Qwen2.5-3B-Instruct 与 Llama-3.2-3B-Instruct 上对 JPO 的各项组件进行了系统性消融。下表展示了 Qwen2.5-3B-Instruct 在 JPO-Dataset 上的详细消融结果:

配置 / 变体 法条 Macro-F1 罪名 Macro-F1 量刑 Score 4步完备率 链条一致性 变体影响说明
完整 JPO 模型 0.929 0.921 0.536 0.967 0.791 全组件开启的最优表现
w/o \(R_{\text{structure}}\) (去除结构完备奖励) 0.916 0.909 0.512 0.861 0.755 完备率骤降 10.6%,论证段落易残缺
w/o \(R_{\text{consistency}}\) (去除跨步骤一致性奖励) 0.918 0.908 0.481 0.958 0.682 量刑分暴跌 0.055,全链一致性降 0.109
w/o token-level advantage (去除优势重加权) 0.922 0.911 0.519 0.961 0.768 缺乏细粒度分配,判决与一致性全面下滑
w/o adaptive clipping (去除自适应梯度裁剪) 0.924 0.913 0.522 0.963 0.773 统一裁剪约束了关键法律实体的探索空间
w/ uniform token weights (均一 token 权重) 0.919 0.908 0.501 0.956 0.747 无法区分功能词与关键论据,量刑分明显降低
w/o \(S_{\text{FA}}\) (去除事实→法条一致性) 0.923 0.915 0.520 - 0.768 削弱了法条引用的事实证据支撑
w/o \(S_{\text{AC}}\) (去除法条→罪名一致性) 0.920 0.908 0.513 - 0.755 法条与罪名出现脱节,罪名 F1 下降最大
w/o \(S_{\text{CS}}\) (去除罪名→量刑一致性) 0.925 0.916 0.497 - 0.763 量刑校准崩溃,量刑分降至 0.497
仅 Entropy 权重 (\(\zeta=1.0\)) 0.923 0.912 0.523 - 0.769 缺乏法律逻辑引导,性能弱于平衡设计
仅 Logic 权重 (\(\zeta=0.0\)) 0.924 0.914 0.525 - 0.771 忽略模型内部不确定性状态
w/o KL 正则项 0.925 0.915 0.515 - 0.741 策略发生语义漂移,生成稳定性下降

关键发现

  • 两阶段级联架构不可替代:在没有结构化 SFT 的情况下直接进行纯强化学习训练(RL-only),模型在 Qwen2.5-3B 上的法条 F1 仅有 0.782,罪名 F1 为 0.744,全链条一致性仅为 0.482,不仅远落后于 JPO,甚至大幅低于单纯的结构化 SFT(0.873 / 0.847 / 0.622)。这表明,对于复杂的多阶段因果论证,强化学习必须建立在经过结构化初始化的推理脚手架之上,单纯依靠稀疏奖励无法自行探索出规范的法理逻辑路径。
  • 一致性奖励是量刑校准的核心动力:在三项一致性转移奖赏中,罪名到量刑一致性 \(S_{\text{CS}}\) 对最终量刑预测指标的贡献最为显著,移除该项会导致量刑连续得分从 0.536 暴跌至 0.497。训练动态分析也显示,SFT 阶段主要提升输出格式规范与法条/罪名的粗粒度匹配,而量刑预测与全链一致性的实质性跃升完全发生在第二阶段 RL,印证了统计先验平滑奖赏对细粒度法官心证量刑的强校准效应。
  • 自动代理奖励与法官专家评审高度保真:在 3 位法律专业人士对 800 个测试案例进行的双盲评审中,JPO 提出的三项轻量化自动一致性代理分与人类专家的逐步骤评级展现出了极高的秩相关性:事实→法条的相关性 Spearman \(\rho = 0.67\),法条→罪名 \(\rho = 0.71\),罪名→量刑 \(\rho = 0.64\),全链条综合一致性更是达到 \(\rho = 0.72\)。此外,在 GPT-5.2 不知晓四步模板的黑盒独立评分测试中,JPO 相对 SFT 取得了 74% 的绝对胜率(评分从 3.14 提升至 3.90),彻底排除了“指标提升仅仅是过拟合自身模板格式”的虚假验证质疑。
  • 反事实事实扰动的因果敏感性:当法律协作者对 500 个案件中决定法定刑档位的关键事实(如轻伤等级、涉案金额、毒品重量等)进行反事实微调时,JPO 模型有 83% 的概率在论证链及判决中做出符合法律逻辑的反向迁移更新,而 SFT 仅为 61%,预训练模型仅为 43%。这表明 JPO 的论证过程真正对判决起到了前置因果驱动作用,而非根据判决倒推的装饰性解释。

亮点与洞察

  • 将不可微分的法理依存关系转化为全解析的轻量化代理奖励:作者没有采用算力开销巨大且存在评分幻觉的 LLM-as-a-judge 方案,而是通过朴素贝叶斯法条后验、成文法条罪名关联矩阵以及截断正态量刑分布,构建了闭式可计算的一致性监督信号。这使得强化学习过程具备极高的时间效率与训练稳定性(3B 模型仅需 53 GPU-小时),且与资深法律专家的评判准则具有统计学上显著的强对齐性。
  • 法律逻辑感知与解码熵融合的 Token 级动态优化:长文本强化学习常常面临信用分配困难的问题,JPO 巧妙地利用论证轨迹的结构化分段,将宏观层面的转移一致性分数映射为局部 token 的法律逻辑权重,并与信息论角度的归一化解码熵相结合。在正优势时强化关键论证,在负优势时对关键法理要件采取保护性衰减,有效攻克了司法长文本策略微调容易发生的灾难性遗忘。
  • 小模型对齐的大模型平替潜力:在经过 JPO 优化后,仅具备 3B 参数的开源模型在法条 F1(0.929)、罪名 F1(0.921)以及量刑得分(0.536)上,全面超越了未经领域后训练的百亿级商用前沿模型(如 GPT-5.2 的 0.912/0.894/0.489,Claude-Sonnet-4.5 的 0.908/0.891/0.493),且推理成本仅为商业 API 调用的几十分之一,为垂直领域专业模型的轻量化落地提供了极具参考价值的范本。

局限与展望

  • 单被告人单一事实的范围约束:JPO 的基准与奖励建模主要建立在单被告人刑事案件上。在附加的拓展压力测试中,面对 1,000 例多罪名案件和 800 例多被告人复杂共同犯罪案件时,模型由于缺乏针对多人责任划分和连带情节的归因机制,性能出现明显滑坡(多被告人量刑分骤降至 0.351),未来需要扩展多智能体博弈或图级依赖建模以覆盖复杂的共同犯罪场景。
  • 次要法条遗漏与精细化情节的裁判盲区:错误分析表明,模型剩余的错误中有 27.5% 为数罪并罚或附随法条中的次要法条遗漏,25.3% 发生在具有高度重叠事实特征的邻近罪名之间(如诈骗与合同诈骗、侵占与盗窃),16.7% 源于对自首、积极退赃等从宽情节扣减幅度的细微心证偏差,表明仅凭全局统计分布仍难以完全捕捉法官自由裁量权中的精微裁量平衡。
  • 民事与行政跨部门法迁移壁垒:当前四步链条深度耦合于大陆法系刑事诉讼的实体裁判流程,无法直接迁移到抗辩式诉讼、民商事合同纠纷或诉讼程序性争点中。

相关工作与启发

  • vs VERDICT (Liao et al., 2026):VERDICT 依赖于一个包含复杂多智能体委员会(辩护方、控方、法官)的多阶段交互管线,在 CAIL2018 上取得了 83.3/82.4 的 F1 得分。JPO 则证明了无需构建复杂且耗时的多智能体串行交互,仅通过将法律逻辑先验提炼为单模型端到端策略微调的奖励信号,即可在 7B 甚至 3B 单模型上取得显著更优的性能(90.8/89.7),大幅降低了工程落地延迟与推理成本。
  • vs LegalΔ (Dai et al., 2025a) 与 Issue Tree Rubrics (Cai et al., 2025):上述方案分别探索了基于思维链信息增益的强化学习与基于 LLM 动态争点树判规的偏好优化,但评判重心仍偏向于宏观问答或依赖 LLM 内部的主观偏好。JPO 针对刑事司法特有的严格阶层论证理论,构建了因果闭环的三阶局部转移一致性代理,在避免模型自嗨(reward hacking)的同时,更契合实体法学中的犯罪论体系。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将刑事裁判全链条逻辑约束系统化形式化为可微分计算的局部一致性代理奖励,并提出结合法律逻辑阶段与信息熵的 token 级自适应优势/裁剪优化算法。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个基准数据集、5 款开源底座模型、对比多类经典/SOTA/商业前沿模型,同时完成了 800 例 3 专家双盲标注、反事实扰动测试、跨教师敏感度分析与多维度消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰,法学理论与强化学习机制融合深入,公式定义精准无歧义,实验与错误分析极为透彻。
  • 价值: ⭐⭐⭐⭐⭐ 极大推进了大模型在严肃法律司法领域的合规、透明、可解释应用,为高风险专业推理任务的对齐后训练树立了高标准范式。