ProCARE: Real-World Study Automation via Profile-Grounded Evidence Contracts¶

会议: NeurIPS 2026
arXiv: 2610.16175
OpenReview: https://openreview.net/forum?id=pBuGfb2nFe
代码: https://github.com/ZyFanTJ/ProCARE
领域: 其他
关键词: 真实世界研究, 大语言模型智能体, 证据契约, 强类型中间表示, 临床可审计性

一句话总结¶

针对大语言模型智能体在真实世界临床研究自动化中频现的模式失配、时间混乱与越界无据断言，ProCARE 提出基于档案接地的证据契约机制，通过强类型中间表示编译、运行时违规修复与证据凭据门控，实现了高可执行率且全链路可审计的临床分析生成。

研究背景与动机¶

真实世界研究（Real-World Studies, RWS）通过对电子病历（EHR）和医保报销等常规收集的临床观测数据进行挖掘，评估治疗效果、监控药物安全性并发现临床风险因素。与常规单表或通用数据分析相比，RWS 具有高度复杂的固有约束：队列构建往往跨越数十张异构表单，变量必须锚定严格的临床角色（暴露、结局、协变量、删失），且随访窗口与基线时间点存在严格时序依赖，统计推断颗粒度（患者级与就诊级）也必须严格匹配。近年来，基于 LLM 的自主智能体被尝试引入数据分析与科研工作流自动化，但在面向多表临床关系数据时极其脆弱。

现有智能体在处理 RWS 时暴露出三大结构性失误：其一是「目标到规范（Query-to-Specification）失配」，智能体常将研究假设绑定到缺失、不兼容或语义模糊的数据字段；其二是「规范到代码（Specification-to-Code）失控」，自由生成的代码频繁违反表间关联图（Join Graph）、破坏时间因果时序或颠倒分析颗粒度；其三是「产物到断言（Artifact-to-Claim）漂移」，智能体在报告中习惯性将简单的描述性统计或粗糙的代理变量泛化为缺乏支持的强因果断言与高风险临床结论。导致这些失效的根源在于：传统流水线缺乏贯穿底层数据、研究规范、可执行代码与最终报告结论的统一强约束形式化契约，使得即便是 Claude Code 和 Codex 等顶尖代码智能体在此类场景下也会遭遇瓶颈。

面对这一挑战，本文的切入视角是将真实世界研究自动化重构为一个「带约束的受控编译（Constrained Compilation）」问题，而非无约束的自由代码生成。核心 idea：将多表异构数据模式提炼为显式声明变量语义、时序锚点与证据边界的「数据档案」，以此作为证据契约，将研究目标编译为强类型中间表示 RWS-IR，并通过确定性检验网关引导的局部修复与证据凭据（Evidence Certificate）过滤机制，确保生成的每行代码和最终报告的每项临床断言均具备全链路可溯源的合规性。

方法详解¶

整体框架¶

ProCARE 将真实世界研究自动化全流程建模为受「证据契约（Evidence Contract）」严格制约的生成流水线。输入为多表异构数据集提炼出的多层级数据档案 \(\Phi\) 与用户的自然语言研究目标 \(T_{\mathrm{goal}}\)，系统输出包含强类型中间表示 \(Z\)、经沙箱验证的可执行代码 \(C^{*}\)、分析与可视化产物 \(O\)、结构化科研报告 \(R\) 以及准入的事实性断言集 \(Q\)。

整个流水线由三大连续的契约过渡边界组成：首先是「目标到 IR（Query-to-IR）编译」，将自由意图解析并静态校验为强类型 RWS-IR；其次是「IR 到代码（IR-to-Code）执行」，在受控环境中合成代码，并通过确定性静态及运行时网关提取违规集合引导局部代码修复；最后是「产物到断言（Artifact-to-Claim）报告」，通过证据凭据（Evidence Certificates）将报告中的每条事实断言与底层代码、运行产物和档案假设强绑定，并依靠依赖有向无环图（DAG）编排报告章节。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多表异构数据 + 研究目标"] --> B["多维异构数据档案构建<br/>提取结构信息与临床语义知识"]
    B --> C["强类型中间表示编译<br/>静态约束检查与角色绑定"]
    C --> D["契约违规引导的沙箱执行与局部修复<br/>模式网关与产物清单校验"]
    D -->|存在违规集合| D
    D -->|校验通过| E["证据凭据准入与依赖DAG报告生成<br/>事实断言溯源与语级权限门控"]
    E --> F["输出：可审计科研成果包<br/>RWS-IR + 代码 + 产物 + 凭据报告"]

关键设计¶

1. 多维异构数据档案构建：将隐式数据约束形式化为显式证据契约

传统方法直接将多表模式作为文本送入 LLM 上下文，极易丢失主外键关联、时序依赖与缺失分布信息。ProCARE 设计了四象限异构数据档案 \(\Phi = (\Phi^{\mathrm{H,S}}, \Phi^{\mathrm{H,K}}, \Phi^{\mathrm{L,S}}, \Phi^{\mathrm{L,K}})\)，从层级（高层数据集/任务级 vs. 低层字段/实例级）和抽象维度（结构维度 vs. 临床知识维度）对数据进行全面剖析。高层结构档案 \(\Phi^{\mathrm{H,S}}\) 记录临床表单注册表、实体主键关联图与队列缺失率；低层结构档案 \(\Phi^{\mathrm{L,S}}\) 提取字段数据类型、单位、数值分布区间、时间字段与窗口特异性缺失；高层知识档案 \(\Phi^{\mathrm{H,K}}\) 标定队列入排标准、基线索引时间以及暴露、结局、删失、混杂等临床角色语义边界；低层知识档案 \(\Phi^{\mathrm{L,K}}\) 则集成 UMLS 和 SNOMED CT 本体映射检验，对字段级单位、取值范围及代理变量身份进行验证。未能通过本体检验或存在歧义的字段被显式标记为「语义未知（Semantically Unknown）」，在编译时被强制禁止分配关键临床角色，从数据源头切断幻觉生成的可能。

2. 强类型中间表示编译：消除研究规范中的语义歧义与非法时序

为了在代码编写前锁定严谨的研究方案，编译模块将研究目标 \(T_{\mathrm{goal}}\) 转换为强类型中间表示元组 \(Z = \langle D, G, J, K, T, V, M, A, \Pi_{q} \rangle\)。其中包含：研究设计类型 \(D\)、分析颗粒度 \(G\)（患者级或随访级）、多表关联图 \(J\)、实体关联主键 \(K\)、基线与随访时序锚点 \(T\)、临床变量角色绑定 \(V\)、统计模型规范 \(M\)、预期产物清单 \(A\)，以及断言准入策略 \(\Pi_{q}\)。在进入代码生成前，静态校验器执行 \(\mathrm{IRCheck}_{\mathrm{static}}(Z_{0}, \Phi, \mathcal{S}_{t})\)，判定候选 IR 的合法性：必须确保所引用的表与字段均存在于 \(\Phi^{\mathrm{L,S}}\) 中，所指派的临床角色均在 \(\Phi^{\mathrm{L,K}}\) 中受支持或具备显式代理假设，且表间连接路径与时序窗口无冲突。若校验未通过，系统主动触发 IR 降级或生成不可行声明，严禁带病推进到代码阶段。

3. 契约违规引导的沙箱执行与局部修复：闭环纠偏数据科学编程错误

进入执行阶段后，编程智能体在受到档案与 IR 约束的沙箱环境中编写分析脚本（如 analysis.py）。执行过程由三个确定性网关把守：模式网关核查表字段引用是否越界，方法网关核查过滤条件、时序窗口与统计推断方法是否与 \(Z\) 保持绝对一致，产物网关核查数据表和图表清单完整性并拦截失败哨兵值。若执行失败或触发网关拦截，校验器输出格式化的违规集合 \(\mathcal{U}_{t} = V_{\mathrm{exec}}(Z_{t}, C_{t}, O_{t}, \mathcal{E}_{t}, \Phi, \mathcal{S}_{t})\)，每项违规精准记录违反的契约条款、报错代码段、档案中相近的合法字段及允许的修复策略。智能体基于 \((Z_{t+1}, C_{t+1}) = \mathcal{A}_{\theta}(Z_{t}, C_{t}, \mathcal{U}_{t}, \mathcal{S}_{t})\) 进行针对性局部修复，直至违规集合清空；若遇到档案无法支持的底层统计缺失，系统透明记录失败轨迹并主动降级为带限制条件的描述性分析。

4. 证据凭据准入与依赖DAG报告生成：彻底阻断报告层面的无据夸大

在撰写最终研究报告时，传统模型极易从统计关联跳跃至因果断言。ProCARE 引入事实断言的证据凭据验证机制，为报告中的每条事实性断言 \(q\) 构造五元组凭据 \(e_{q} = \langle o_{q}, c_{q}, z_{q}, \phi_{q}, a_{q} \rangle\)，分别绑定支撑该断言的产物对象 \(o_{q}\)、执行代码片段 \(c_{q}\)、IR 规范字段 \(z_{q}\)、数据档案条目 \(\phi_{q}\) 以及显式假设 \(a_{q}\)。只有同时满足可溯源性判定与语言政策门控的断言方可保留：

\[\mathrm{Admit}(q) = \mathbb{I}\!\left[\mathrm{Trace}(q, e_{q}, O, C^{*}, Z, \Phi, \mathcal{S}_{t}) = 1 \land \mathrm{Policy}(q, Z, \Pi_{q}) = 1\right]\]

若分析仅具备描述性或代理变量支撑，策略检查器强制禁止使用因果类、高风险临床指导性语调，未通过判定的断言被自动清洗或重写为局限性声明。最后，依赖有向无环图（DAG）根据队列定义、变量构建、时序锚定、样本量支撑及统计推断的逻辑依赖顺序严格排布报告各小节，杜绝结构错乱。

损失函数 / 训练策略¶

ProCARE 为免训练的智能体工作流架构，不涉及权重微调，底层依托零样本推理的大语言模型（如 Gemini-3-Pro、Claude Opus 4.5、GPT-5.2 等）。其执行稳定性由确定性逻辑检查、本体知识校验库、沙箱执行环境以及结构化 IR/断言解析规则共同保证。

实验关键数据¶

主实验¶

评估在包含 1,295 位患者、12,847 次随访、54 张高维关联表单的真实世界肝细胞癌（HCC）数据集派生的 36 项全流程 RWS 任务上展开，对比通用智能体、表格智能体及代码智能体基线。评价指标涵盖目标对齐（GA）、模式可行性（PF）、沙箱执行通过率（XE）、代码质量（CQ）、图表一致性（CF）、报告结构完整性（RS）、科学语言规范（SL），以及契约诊断指标：违规解决率（VRR）、断言溯源覆盖率（CTC）、无证据断言率（UCR，越低越好）和语言越权率（CLV，越低越好）。

方法	类型	PF ↑	XE ↑	CQ ↑	CF ↑	VRR ↑	CTC ↑	UCR ↓	CLV ↓
ReAct	开源智能体	0.62	0.38	0.47	0.48	0.34	0.48	0.24	0.17
ToolLLM	开源智能体	0.68	0.00	N/A	N/A	0.00	0.21	0.33	0.24
Gemini-3-Pro direct	商业闭源模型	0.51	0.13	0.45	0.48	0.18	0.36	0.27	0.15
Claude Code	商业代码智能体	0.75	0.86	0.80	0.58	0.70	0.66	0.16	0.12
Codex	商业代码智能体	0.77	0.89	0.82	0.61	0.73	0.69	0.14	0.10
ProCARE (Ours)	证据契约智能体	0.84	0.92	0.88	0.74	0.81	0.90	0.06	0.03

消融实验¶

在 36 项 HCC 任务上逐一剔除核心组件，以验证各模块在可执行性、合规性与断言真实度上的独立贡献。

配置	PF ↑	XE ↑	VRR ↑	CTC ↑	UCR ↓	SL ↑	主要失效模式
Full ProCARE	0.84	0.92	0.81	0.90	0.06	0.79	局部精准修复，结论完全可溯源
w/o 数据档案 \(\Phi\)	0.49	0.18	0.35	0.58	0.28	0.42	字段严重幻觉，产生非法多表 Join
w/o 强类型 RWS-IR	N/A	0.34	0.44	0.63	0.22	0.69	丢失分析颗粒度、时序锚点与断言策略
w/o 局部违规修复	0.84	0.69	0.43	0.80	0.13	0.70	运行时异常及产物清单缺失无法纠正
w/o 证据凭据机制	0.84	0.92	0.81	N/A	0.26	0.62	出现大量无产物支撑的因果与比较断言
w/o 依赖 DAG 排版	0.84	0.92	0.81	0.84	0.11	0.64	报告章节组织混乱，违反证据依赖关系

关键发现¶

数据档案与强类型 IR 是代码能跑通并符合临床逻辑的基石：消融数据表明，去掉数据档案 \(\Phi\)，执行率从 0.92 暴跌至 0.18，大量发生表字段臆造与非法表连接；缺少 RWS-IR 则使执行率跌至 0.34，证实无显式时序和角色规范时 LLM 无法处理复杂的医学统计流。
证据凭据能有效约束医学智能体的夸大倾向：在无凭据门控时，模型的无证据断言率（UCR）高达 0.26；引入证据凭据后 UCR 压制至 0.06，语言越权率（CLV）降至 0.03，确保所有报告断言均能回溯至可执行代码输出与确切基线。
外部多中心数据集迁移表现稳健：在包含 UCI Diabetes（急诊再入院）、NHANES（多表调查随访）和 TCGA-LIHC（多组学肿瘤数据）的 Public-RWS-18 跨域测试中，ProCARE 无需修改任何内部机制，在断言溯源覆盖率（0.84–0.87）和低无据断言率（0.07–0.09）上均显著领先 Claude Code（CTC 0.63–0.69，UCR 0.12–0.15）。
专家双盲评审高度认可自动化指标的严谨度：3 位临床专家与 2 位生物统计专家的双盲独立打分显示，ProCARE 自动计算的 IR 规范分与专家评估相关性达 \(\rho = 0.82\)（\(p < 0.001\)），代码质量与专家相关性达 \(\rho = 0.74\)，证实自动化契约网关具备高度的专业一致性。

亮点与洞察¶

将数据分析视为受约束的编译系统：摆脱了以往让 LLM 自由写代码再反复试错报错的低效范式，通过把临床数据特征显式化为「证据契约」，在代码编写之前通过静态 IR 类型系统提前拦截 80% 以上的语义与时序逻辑错误。
软硬结合的证据凭据防幻觉门控：在最终报告生成阶段引入「凭据准入机制」，强行切断 LLM 在没有充分统计证据支撑时妄加因果推断的幻觉通道，对严肃医疗、金融及法律领域的智能体落地极具工程借鉴价值。
摊销化数据档案成本设计：一次性构建数据档案仅耗费约 6.5 万 Token，而在后续执行 20 次以上的系列研究查询时，单次平均 Token 成本迅速摊销下降至 4.1 万 Token，兼顾了学术严密性与落地实用性。

局限与展望¶

作者承认的局限：系统完全依托于初始构建的数据档案质量与确定性校验器的规则覆盖率；若数据源存在未被档案捕获的系统性测量偏倚或未观测混杂，契约检查无法保证推断的绝对因果正确性。
基准场景的单中心特性：核心基准测试基于单一三甲医院的肝细胞癌队列，虽然迁移至公开数据集验证了通用性，但尚未覆盖跨多中心医疗联盟的 OMOP-CDM 或 FHIR 等标准化工业联邦架构。
未来方向：拓展 ProCARE 在多中心真实世界联合分析与分布式隐私计算场景下的应用，并在 RWS-IR 中进一步引入因果推断图模型与靶向试验模拟（Target Trial Emulation）的显式形式化验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将受约束编译与证据契约理论引入大模型真实世界临床研究自动化，机制设计严密。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 36 项复杂真实 HCC 任务、18 项跨域公开数据集、全面的机制消融以及 5 位临床与统计专家的双盲相关性验证。
写作质量: ⭐⭐⭐⭐⭐ 问题建模清晰明确，形式化符号定义规范严谨，方法与实验章节自洽完整。
价值: ⭐⭐⭐⭐⭐ 对推动医疗健康与高安全要求场景下 AI Agent 的严肃科学计算落地具有重要参考与实用价值。