InvestigationWorlds: An Agentic Environment for Legal Investigation¶

会议: NeurIPS 2026
arXiv: 2610.04129
OpenReview: https://openreview.net/forum?id=RNElxIpiDp
代码: https://huggingface.co/datasets/investigation-worlds/investigation-worlds
领域: LLM Agent
关键词: 法律智能体, 调查环境, 简易判决, 假设DAG, 事实证据网络

一句话总结¶

本文基于美国联邦法院真实简易判决动议与经律师验证的合成证据生成管线，构建了首个具对抗性多重事实解释的法律调查智能体基准 InvestigationWorlds，揭示出顶尖模型在检索到相关证据后极易受干扰陷入错误替代假设的严重认知瓶颈。

研究背景与动机¶

在真实世界的复杂推理任务中，智能体往往需要从庞大、异构且充满冲突解释的证据集合中提炼出连贯的事实叙事。法律调查（Legal Discovery / 事实开示阶段）正是此类任务的典型代表：诉讼律师必须通读海量证据，拼凑出案件背后的完整脉络。据司法统计，事实发现环节占据了诉讼案件近 90% 的总成本与时间开销。然而，当前的 LLM 与智能体评估体系几乎完全忽略了这种无预设提示、由海量线索构建假设的调查能力：既有法律基准普遍受限于问答式法律检索（RAG）、司法考试做题或判例引用匹配，默认任务存在明确完备的查询（well-posed query）与唯一定解，无法模拟同一批证据可支撑多种自洽却互斥结论的高混淆现实场景。

构建此类调查环境的核心瓶颈在于「客观事实真值（Ground Truth）」的锚定难题。如果在纯合成环境中使用算法验证器，其推导逻辑严重脱离真实司法实践；而若直接采用真实案件，未决案件缺乏公认的事实真值，且公开卷宗证据极其有限，难以构成具备足够规模与对抗性噪点的调查环境。本文突破性地利用了美国民事诉讼中常被忽视的司法产物——简易判决动议（Summary Judgment Motion）。在该司法程序中，控辩双方必须穷尽列举自身依赖的全部实质性事实并附上对应证据附件（merits exhibits），由法官在书面判决意见中确立具有法律效力、逐条可溯源至证据的「法院采纳事实」。

本文的核心切入点是以真实联邦法院卷宗为骨干，结合经验丰富的诉讼律师团队严谨设计的合成证据增强管线，在保持司法真值不可动摇的前提下引入可控对抗性。核心 idea：将联邦法院简易判决动议的真实证据链与司法认定事实转化为基准真值，通过角色化合成文档（包含信号、噪声、混淆干扰及支持替代假设的对抗性信号）扩展证据网络，构建包含两阶段交互（无预设自由调查 → 盲测假设裁定）的法律调查环境，严格检验智能体在对抗性证据干扰下甄别事实真相的认知坚韧度。

方法详解¶

整体框架¶

InvestigationWorlds 将法律调查环境形式化为一个三元组 \((\mathcal{D}, \mathcal{E}, \mathcal{H})\)，其中 \(\mathcal{D}\) 为文档全集（真实证据与合成文档），\(\mathcal{E}\) 为在文档间穿插出现并经过消歧的实体集合，\(\mathcal{H}\) 为假设有向无环图（Hypothesis DAG），其根节点为案件的核心待决法律问题，叶子节点为受到具体文档支持或反驳的基础事实（Ground Facts）。环境的完整构建与评估流线包含：从 PACER 抓取具有完整简易判决记录的联邦案件、多阶段 LLM 事实与实体图抽取、基于律师规范的角色化文档合成与裁判校验、以及防止信息泄露的「两阶段调查协议（Two-Turn Investigation Protocol）」。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["PACER 真实联邦法院卷宗<br/>(简易判决书 + 争议事实声明 + 实体证据)"] --> B["阶段1：事实与假设 DAG 抽取<br/>提取原被告诉求、法院采纳事实与实体消歧"]
    B --> C["阶段2：角色化文档生成与校验<br/>5类证据角色合成 + 30年经验律师严格审计"]
    C --> D["构建完成的调查环境<br/>文档集 D + 实体集 E + 假设图 H"]
    D --> E["阶段3：第一轮自主证据调查<br/>开放式探索工具调用 (Read/Grep/Glob/Bash)"]
    E --> F["阶段4：第二轮无工具假设裁判<br/>仅凭自主调查纪要，对打乱假设盲测判定"]

关键设计¶

1. 简易判决案卷的事实与假设图抽取机制：确立可溯源的司法真值基准

针对法律推理缺乏客观真值且人工梳理卷宗极其繁琐的难题，该设计利用简易判决动议的特有结构建立锚点。动议中双方提交的无争议事实声明（SOUF）和答辩（RSOUF）明确列出了控辩双方主张的原子事实，法官的正式书面裁定（Opinion）则明确采纳了其中一组事实并驳回另一组。系统采用两阶段提示流驱动 LLM 抽取：第一阶段提取法官书面意见中的论证逻辑图、依赖的关键事实及核心争议问题根节点；第二阶段以「诉讼事件」为严格过滤边界，将判决书、事实声明和诉状交叉核对，生成唯一的规范化基础事实表（Canonical Ground Facts）。基于该表，系统分别构建原告假设图 \(h_p\)、被告假设图 \(h_d\)，并将法官最终采纳的一方标记为司法采纳真值 \(h^*\)，被驳回的一方标记为司法驳回假设 \(h^\dagger\)。所有假设的叶子节点均直接映射至可实证核验的具体案卷证据编号。

2. 角色化对抗证据合成与专家律师审计：打造真实且具控噪能力的调查空间

真实案件中的核心实质证据数量往往只有几十页，远低于真实企业法律开示阶段成千上万份文件的规模，无法测试智能体的长程信息筛选与抗干扰能力。为此，该设计提出了严谨的五类角色化文档合成框架，在保持逻辑一致性的前提下扩展语料库规模并植入对抗性： - 信号文档（Signal）：在逼真的行政或商业往来中嵌入至少一个基础事实，作为锚定事实图的关键节点。 - 背景噪声（Noise）：与案件共享当事人、合同及时间窗口，但不包含实质性事实，检验智能体能否区分「看似相关」与「真正起决定性作用」的证据。 - 环境杂质（Chaff）：属于案件发生的商业背景环境（如物业通知、无关发票、人事杂务通知），完全不涉及诉讼实体或争议，模拟真实卷宗中的海量行政杂音。 - 亲替代假设信号（Pro-alternative Signal）：这是最具对抗性的核心设计。针对每个案件，系统合成两个看似合理但实际被全局证据所反驳的替代假设 \((h_1, h_2)\)；随后生成与所有底层客观事实在形式上不直接冲突、但局部强烈倾向于诱导智能体相信替代假设的伪证/偏颇材料。 - 替代假设噪声（Alternative-specific Noise）：为替代假设所涉及的虚拟线索提供背景掩护。

所有生成的文档必须经过具备 30 余年从业经验的三位资深诉讼律师的审查（累计超 100 小时）。在 55 起深度审计案件中，原被告假设及替代假设的合格率均超 96%，在 10 起独立双盲一致性测试中律师间一致率达 81% 以上。此外，执业律师在隐藏判决结果的情况下仅凭实质证据审查了 10 起案件，得出与法官完全一致的事实结论，证明了测试集解法的客观闭环。

3. 两阶段调查与强制承诺裁判协议：杜绝选项泄露与事后合理化反查

传统的多项选择评测常被智能体利用提示中的选项信息进行反向检索或捷径推断（Shortcut Reasoning），无法反映真实调查过程。InvestigationWorlds 提出了严格解耦的两阶段调查机制： - Turn 1（自由调查阶段）：智能体仅获知案件类型与文件系统访问权限（暴露 Read、Glob、Grep、Bash 四类接口），在固定的工具预算（30 次调用）与轮次限制（25 轮）内自主探索语料库，形成结构化的调查摘要，记录最可能的案件脉络、潜在的替代可能性及相互冲突的矛盾证据。 - Turn 2（假设判定阶段）：环境彻底关闭所有文件系统工具，仅向智能体呈现其在 Turn 1 自行撰写的调查纪要，以及随机打乱代号的假设菜单 \(\mathcal{H}_c = \{h^*, h^\dagger, h_1, h_2\}\)。智能体必须仅凭第一轮调查记录，对每个假设独立给出裁判裁定：believe（确信）、do not believe（不信）或 do not know（不知）。

系统定义的成功指标为「案件解决率（Case-Solved Rate）」：当且仅当智能体对法院采纳假设 \(h^*\) 给出 believe，且对所有非采纳假设 \(\{h^\dagger, h_1, h_2\}\) 给出 do not believe（或 do not know）时，该案记为 1 分。此外，结合确信类准确率（Believe-Class Accuracy）与否决类准确率（Do-Not-Believe-Class Accuracy）作为双向诊断，彻底防止通过全盘否定或全盘承认来刷分的退化策略。

损失函数 / 训练策略¶

本论文为纯评测基准构建与智能体黑盒评估，不涉及端到端模型权重微调。所有被测前沿智能体均在相同的固定资源预算下运行：Turn 1 限制最大 25 轮、上限 30 次工具调用；Turn 2 冻结工具环境。评估覆盖了基于 Claude Agent SDK 的 Claude Sonnet 4.6 与 Claude Haiku 4.5、基于 OpenAI Agents SDK 的 GPT 5.5 与 GPT 5.4 mini，以及通过 vLLM 本地部署并运行 mini-swe-agent 工具脚手架的开源模型 DeepSeek V4 Flash 和 Qwen 3.6 35B。

实验关键数据¶

主实验¶

在涵盖 100 起真实联邦民事案件（跨越 5 大诉讼类型、41 个联邦司法管辖区、累计超过 4.2 万页卷宗）的完整测试集上，六大前沿模型的整体表现如下表所示。

模型 / 基准策略	工具框架	案件解决率 (Case-Solved, %)	确信类准确率 (Believe-Acc, %)	否决类准确率 (Do-Not-Believe-Acc, %)
随机猜测基线 (Uniform Random)	-	9.9	33.3	33.3
随机选一确信基线 (Random Pick-1)	-	25.0	25.0	75.0
全盘否决基线 (Always-Reject)	-	0.0	0.0	100.0
GPT-5.4 mini	OpenAI SDK	15.0	20.0	85.0
Qwen 3.6 35B	mini-swe-agent (vLLM)	16.0	44.0	66.7
DeepSeek V4 Flash	mini-swe-agent (vLLM)	18.0	48.0	66.3
GPT 5.5	OpenAI SDK	22.0	47.0	72.3
Claude Sonnet 4.6	Claude SDK	29.9	50.6	77.4
Claude Haiku 4.5	Claude SDK	33.3	52.6	78.2

消融实验¶

为定量分析不同证据角色对智能体推断的干扰机理，论文在 50 起案件的子集上执行了五级累加消融实验（仅实质证据 Merits-only \(\rightarrow\) +20 篇亲替代信号 \(\rightarrow\) +57 篇噪声 \(\rightarrow\) +250 篇半量杂质 \(\rightarrow\) +500 篇全量杂质）。

语料配置条件	平均文档总数	Haiku 4.5 解决率 (%)	Sonnet 4.6 解决率 (%)	GPT 5.5 解决率 (%)	关键变化说明
仅实质证据 (Merits-Only)	原始卷宗 (~20-50)	54.0	38.0	22.0	无合成干扰，基线推断上限
+ 亲替代假设信号 (+Pro-Alt)	+20 篇	32.0 (-22.0)	34.0 (-4.0)	24.0 (+2.0)	5/6 模型解决率骤降，引入对抗性偏见
+ 背景噪声 (+Noise)	+约 57 篇	34.0 (+2.0)	30.6 (-3.4)	22.0 (-2.0)	干扰证据检索但解决率未发生单调剧降
+ 50% 环境杂质 (+50% Chaff)	+约 250 篇	30.0 (-4.0)	32.7 (+2.1)	20.0 (-2.0)	增加检索搜索负担，但对逻辑裁定影响平缓
+ 100% 环境杂质 (+100% Chaff)	+约 500 篇	32.0 (+2.0)	30.0 (-2.7)	22.0 (+2.0)	纯体量膨胀不再显著加剧判决错误

关键发现¶

最强智能体解决率仅约三分之一，且弱模型出现反常逆袭：即便是表现最优的 Claude Haiku 4.5，其案件解决率也仅为 33.3%，稍高于随机选一的盲猜策略（25%）。深入分析发现，轻量模型表现优于旗舰模型并非由于更敏锐的推理，而是源于「决断倾向（Commitment Bias）与弃权权衡」：在 87 起两者均完成的案件中，Haiku 4.5 的裁定提交率为 80.7%，而 Sonnet 4.6 态度更为严谨保守，弃权比例更高（提交率仅 73.3%），导致其未能得分；然而在实际提交的判定中，Sonnet 4.6 的条件准确率更高（74.1% vs 70.8%）。
对抗性替代信号导致智能体出现严重的信念倒戈：在对 506 组配对替代假设裁定的追踪中，当且仅当注入 20 篇亲替代假设信号文档后，智能体将错误假设误认为真的比例从 0.6%（3/506）暴增至 22.7%（115/506）。智能体在探索中极易将局部可信的局部证据泛化为全局事实，缺乏律师在面对多方矛盾陈述时的多重视角穿透与全局交叉印证能力。
检索覆盖率并非性能瓶颈：行为轨迹分析显示，DeepSeek V4 Flash（打开了 10.0% 的语料）和 Sonnet 4.6（打开了 7.4% 的语料，核心信号召回达 24.7%）进行了极其广泛的实体检索，而 GPT 5.4 mini 仅浏览了 0.7% 的文档。然而检索量与案件解决率之间几乎没有显著正相关——模型失败的根源在于信息综合阶段的「辨伪与认知受骗」，而非检索漏看。
跨生成器评估排序高度鲁棒：在 30 个案件上完全采用 OpenAI 体系作为替代合成生成器的验证实验中，六大被测模型的排名保持完全一致，Spearman 等级相关系数高达 \(\rho = 0.94\)，彻底排除了同族模型自评自夸（Evaluator-Generator Alignment）的虚假同源偏差。

亮点与洞察¶

司法裁定作为天然 Ground Truth 的构思极其精巧：避开了人工主观标注无法承受的高额法务成本，巧妙利用简易判决「事实充分无实质争议才出判决、法官文书逐字定责」的制度设计，锁定了工业界法律 AI 评测中最稀缺的裁判真值。
角色化文档合成（Role-Tagged Generation）为长程复杂推理评测树立了新范式：将文档明确切分为信号、噪声、杂质、亲替代对抗信号四类，使长文本评测摆脱了以往「无脑堆砌不相关百科做 Needle-in-a-Haystack」的粗放模式，能精准剖析智能体在面对对抗诱导时的认知脆弱性。
两阶段隔离协议彻底堵死了信息作弊可能：强制要求智能体在未见选项前自主探索并撰写调查纪要，第二轮彻底切断检索工具盲测假设，真正还原了现实中调查人员「先查实情、后对口供」的认知过程，极具向金融合规、审计调查等严肃专业领域迁移的借鉴价值。

局限与展望¶

管辖区与诉讼阶段的局限性：当前基准仅覆盖美国联邦民事诉讼中走完简易判决程序的案件，未包含州法院诉讼、行政仲裁或直接进入陪审团审判的复杂刑事案件。
合成文档的法医级仿真度仍有提升空间：尽管合成材料经过执业律师的逻辑核验与角色一致性把关，但在特定原生文件格式（如包含完整底层邮件头元数据、复杂的财务表格穿透、数字证据指纹等）的真实度上仍有待深化。
未来演进方向：可进一步将评估拓展为多智能体对抗模式（由不同智能体分别扮演原告方调查员、被告方调查员与法官助理），并探索在调查交互中引入更具主动性的质询与证据盘诘工具。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用简易判决锚定司法真值，首创基于角色化对抗证据的法律调查智能体环境。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 100 起真实联邦案例、6 款前沿模型、50 例五级证据消融、跨生成器一致性验证与专业律师双盲复核。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰、实验设计严密自洽，附录公开了全部全流程提示模板与合规证据集。
价值: ⭐⭐⭐⭐⭐ 直击大模型在长程专业领域「看似查到了证据却被假象带偏」的关键安全与能力盲区，实用价值极高。