Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing¶

会议: NeurIPS 2026
arXiv: 2608.07437
OpenReview: https://openreview.net/forum?id=ShMNgympCf
论文: https://arxiv.org/abs/2608.07437
领域: LLM Agent
关键词: 假设检验, LLM Agent, 强化学习, 统计推断, P-Bench

一句话总结¶

斯坦福与威斯康星麦迪逊团队构建了包含 425 个真实科学任务的假设检验基准 P-Bench，并提出开源统计推理智能体 Fisher-R1，通过合成可验证任务与 z 空间结果奖励强化学习，大幅降低了 LLM Agent 在实证科学分析中的统计假设违背与虚假发现率。

研究背景与动机¶

假设检验构成了现代实证科学发现的核心基石。从临床试验中验证新型药物疗效，到经济学中评估最低工资对就业的影响，研究人员遵循着一套高度严密的实证分析流程：提出科学问题、清洗数据集、核查数据分布前提、选定匹配的统计检验方法、计算 p 值，并最终做出拒绝或无法拒绝原假设的推断决策。近年来，代码驱动的大语言模型智能体已能够端到端执行数据探索、代码生成、脚本运行与报告撰写，展现出自动化科学发现的巨大潜力。然而，假设检验绝非单纯的代码执行或事实问答，其有效性高度依赖于统计方法假设与数据实际特性的严格匹配。

现有针对数据分析智能体的评测基准普遍存在关键评估盲区。大部分基准仅检验代码能否正常跑通、返回的表格指标或聚合数值是否精确匹配，或者以多选题形式要求模型选择统计检验名称，完全脱离了真实代码执行与假设检验的交互闭环。这导致前沿 LLM Agent 展现出一种隐蔽而危险的失效模式：能够生成语法正确、执行流畅的分析脚本，却在统计推断层面犯下严重原则性错误。例如在癌症基因组学突变负荷与肿瘤纯度关联分析中，面对高杠杆异常值，前沿模型（如 GPT-5.4）即使在探索阶段识别出离群点，依然机械套用线性回归，得出虚假显著相关性；而严谨的统计学家应选用基于秩的检验（如 Spearman 秩相关）从而做出无法拒绝原假设的正确决策。这种“执行无误但推断失真”的虚假发现，将严重破坏自动化科研的可靠性。

要对智能体进行针对性训练与评测，核心瓶颈在于缺乏具有确定答案基准的真实统计任务：学术论文通常只汇报筛选后的结论，公开数据集需要复杂的清洗工程，且推断方法未被结构化为机器可核验的目标。针对这一鸿沟，本文的核心 idea 是构建首个专家审计、面向真实科学数据的开放式假设检验基准 P-Bench，并基于自动化合成的可执行任务体系与 z 空间对齐奖励，通过监督微调与强化学习打造首个可靠假设检验开源智能体 Fisher-R1。

方法详解¶

整体框架¶

Fisher-R1 面向开放式假设检验任务设计：输入仅包含科学问题、CSV 格式数据集及研究背景说明，模型必须自主决策统计方法，在交互式 R 语言沙箱环境中生成并执行代码，输出所选方法、计算得到的 p 值以及在给定显著性水平（$\alpha=0.05$）下的拒绝/不拒绝决策。整个系统的构建与训练流程分为任务构建、基线评测、高质量教师轨迹微调（SFT）以及结果导向的策略强化学习（DAPO）四个主要阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 科学问题描述 + 真实数据集 CSV"] --> B["真实数据基准 P-Bench 构建<br/>经济学/生物学/医学 425 个专家审计任务"]
    B --> C["合成统计任务生成器<br/>6维度笛卡尔积空间生成 8,642 个可验证任务"]
    C --> D["五步规范分析轨迹收集与 SFT 微调<br/>EDA/假设核查/方法选择/执行/推断 (Claude-Sonnet-4.6)"]
    D --> E["基于 DAPO 的强化学习对齐<br/>双侧 z 空间统计量偏差度量 + 决策一致性加权奖励"]
    E --> F["输出: 经过严格统计假设核查的可靠 p 值与科学推断结论"]

关键设计¶

1. 专家审计的真实科学基准 P-Bench 构建：打通可复现推断闭环

针对现有数据分析评测脱离严谨推断的问题，P-Bench 从哈佛 Dataverse（顶级经济学期刊论文）、cBioPortal（同行评审生物学与癌症基因组论文）以及范德堡大学生物统计学课程权威案例三大真实源头，采集并筛选出 425 个开放式假设检验任务。通过自动化复现流水线运行规范参考代码并捕获完整执行日志，确保每个任务隐藏答案基准（包含基准方法、精确 p 值与决策）真实可溯，并由统计学专家进行人工交叉审计。基准覆盖 17 种统计方法体系（如 Cox 等比例风险回归、工具变量 2SLS、线性混合效应模型、Log-rank 检验、Mann-Whitney 检验、Tobit 截断模型等），单类方法占比均不超过 19%，防止智能体死记单一捷径。同时依据方法设定复杂度与真实数据扰动（高杠杆异常点、异方差、聚类相关等）划分为 P-Easy（203 题）和 P-Hard（222 题）两级难度。

2. 笛卡尔积合成数据生成体系：解决大规模 RL 的可验证奖励瓶颈

在真实科学数据上进行大规模强化学习面临样本稀缺与推断基准难以自动化的双重阻碍。Fisher-R1 创新性地引入可验证的参数化仿真生成流水线，通过六维正交笛卡尔积网格定义任务空间： $$\mathcal{M} \times \mathcal{S}_m \times N \times E \times P \times K$$ 其中包含 27 种统计检验族 $\mathcal{M}$、每种方法对应的 5-7 个跨学科领域应用场景 $\mathcal{S}_m$、样本量规模 $N$（从 30 至 4,800）、效应量级别 $E$（包含零假设、边界模糊效应及中等效应）、Prompt 提示风格 $P$（基础问题 vs 带有数据特征提醒的引导提示）以及随机种子 $K$。生成器先由 LLM 编写参数化数据生成脚本，并在自身生成的数据上直接运行规范统计方法，将执行产生的实际 p 值与结论作为金标准。此外额外注入数据缺失与生理学极值等质量扰动，最终构建出包含 8,642 个全自动验证任务的合成训练集，实现了与 P-Bench 评测集的完全零泄露与跨分布泛化。

3. 规范化五步 SFT 冷启动：内化统计学家探索模式

直接使用强化学习探索开放交互容易陷入无效语法报错或盲目尝试。为此，研究团队使用 Claude-Sonnet-4.6 在合成任务子集上生成交互轨迹，严格约束其遵循资深统计学家的五步推断流程：基础探索性数据分析（EDA 变量类型与角色）、深度 EDA（分布形态与缺失率）、方法专属假设核查（如正态性检验、方差齐性、比例风险假设、工具变量强弱检验）、统计方法选择与规范执行、最终科学推断。通过硬性结果过滤器剔除错误决策与 p 值显著偏移（超过 1 个数量级）的样本，保留 3,851 条高质量轨迹（留存率 83.5%），在 ReAct/CodeAct 交互模式下通过掩码自回归损失对智能体进行 SFT 预热。

4. 双侧 z 空间统计量奖励与非对称剪裁 DAPO 优化

传统强化学习将 p 值视为标量直接计算绝对差值，但 p 值在接近 0 的显著性区域高度压缩（如 $p=0.5$ 与 $0.6$ 差值 0.1 几无统计学含义差异，而 $p=0.1$ 与 $10^{-10}$ 差值 0.1 却跨越数十个数量级的推断确定性）。Fisher-R1 将输出的 $\hat{p}$ 与真值 $p^*$ 映射到无量纲的双侧标准正态 $z$ 空间： $$z(p) = \Phi^{-1}(1 - p/2)$$ 设计基于截断 $z$ 空间高斯核的统计精准度奖励项： $$r_p(o) = \exp\left(-\frac{|\min\{z(\hat{p}), 5\} - \min\{z(p^*), 5\}|}{\sigma}\right), \quad \sigma=1$$ 总奖励综合格式合法性指示因子 $I_{\text{valid}}$、p 值连续奖励 $r_p$（权重 $w_p=0.9$）及假设结论一致性离散奖励 $r_c \in \{0, 1\}$（权重 $w_c=0.1$）： $$R(o) = I_{\text{valid}}(o) \cdot \left(0.9 \, r_p(o) + 0.1 \, r_c(o)\right)$$ 在强化学习算法层面，采用解耦剪裁与动态采样的 DAPO 算法，设定非对称剪裁范围 $(\epsilon_{\ell}, \epsilon_h) = (0.20, 0.28)$，在有效约束概率骤降的同时，允许正优势轨迹产生更大的策略更新幅度，显著提升了统计智能体在多轮 R 代码交互中的探索效率与收敛稳定性。

损失函数 / 训练策略¶

SFT 阶段采用标准的掩码负对数似然损失： $$\mathcal{L}_{\mathrm{SFT}}(\theta) = -\frac{1}{\sum_{i,t} m_{i,t}} \sum_{i=1}^n \sum_{t=1}^{T_i} m_{i,t} \log \pi_\theta(y_{i,t} \mid x_i, y_{i,<t})$$ 仅计算智能体助手动作 token（$m_{i,t}=1$），排除用户提示与沙箱环境观测。

RL 阶段基于 DAPO 目标进行组级相对优势优化，组采样大小设为 $G=8$。当组内方差 $\sigma_q^2 = 0$ 时自动丢弃并重新采样，确保每个更新步均具备非退化相对优势梯度。

实验关键数据¶

主实验¶

在真实科学基准 P-Bench 上，针对 Easy 与 Hard 两个子集，分别评估 Raw（方向正确，在 $\alpha=0.05$ 下拒绝/不拒绝决策匹配）与 Strict（在 Raw 基础上增加两阶段 $z$ 空间统计量误差约束 $|\Delta z| < 0.5$）。模型独立运行 3 次，汇报 pass@1（平均成功率）与 pass@3（3 次采样中至少成功 1 次）。

模型类别	模型名称	P-Easy Raw (pass@1 / pass@3)	P-Easy Strict (pass@1 / pass@3)	P-Hard Raw (pass@1 / pass@3)	P-Hard Strict (pass@1 / pass@3)
闭源前沿	GPT-5.4	92.9±1.0 / 95.6	64.7±3.3 / 73.4	58.3±0.9 / 68.0	30.5±1.6 / 39.2
开源通用	DeepSeek V4 Pro	70.9±0.5 / 93.1	54.2±0.5 / 71.9	46.8±1.2 / 69.7	26.3±3.0 / 42.5
开源通用	GPT-OSS-120B	48.1±4.3 / 86.2	26.3±3.6 / 55.2	37.4±4.3 / 71.2	18.2±3.5 / 38.7
开源通用	Qwen-3-Coder-30B	76.9±2.2 / 87.7	45.0±1.1 / 57.6	59.8±0.9 / 68.0	27.8±1.8 / 36.0
开源基座	Qwen-2.5-Coder-7B	61.4±8.5 / 83.7	36.3±5.5 / 54.7	37.5±2.8 / 63.1	13.2±0.5 / 25.2
领域微调	DataMind-7B	60.3±1.0 / 84.2	31.5±1.0 / 49.8	44.4±4.2 / 66.7	19.1±1.7 / 32.0
本文模型	Fisher-R1-7B	87.0±1.6 / 96.6	65.7±1.2 / 74.9	63.4±2.5 / 82.4	30.6±1.2 / 44.1
开源基座	Qwen-2.5-Coder-14B	78.5±1.2 / 88.2	41.4±2.5 / 49.8	51.5±4.3 / 66.7	23.7±1.6 / 33.3
领域微调	DataMind-14B	69.0±5.2 / 88.2	39.6±3.0 / 53.7	48.2±2.1 / 67.1	22.1±1.2 / 33.8
本文模型	Fisher-R1-14B	87.4±1.9 / 94.1	64.2±0.6 / 75.9	65.8±0.8 / 81.1	33.0±1.7 / 45.5

消融实验¶

基于 Qwen-2.5-Coder-7B 基座分析 SFT 冷启动与 DAPO 强化学习阶段的独立贡献：

训练配置	P-Easy Raw pass@1	P-Easy Strict pass@1	P-Hard Raw pass@1	P-Hard Strict pass@1	P-Hard Strict pass@3	说明
Qwen-2.5-Coder-7B (Base)	61.4±8.5	36.3±5.5	37.5±2.8	13.2±0.5	25.2	原始基座，方差大且严苛指标极低
+ DAPO (单纯强化学习)	81.6±2.8	44.4±0.9	52.3±3.6	25.2±0.8	30.3	显著提升单次成功率，但缺乏规范推断引导
+ SFT (单纯专家轨迹微调)	51.6±6.1	30.2±4.6	33.5±3.9	14.3±1.1	30.2	拓宽解空间分布，但单次执行能力不足
+ SFT + DAPO (Fisher-R1-7B)	87.0±1.6	65.7±1.2	63.4±2.5	30.6±1.2	44.1	完整模型：两阶段协同带来最强推断泛化性能

关键发现¶

推断指标严重断崖：所有未经过统计强化对齐的基线模型在 Strict 指标上均较 Raw 出现腰斩。例如 GPT-5.4 在 P-Hard 上的 Raw pass@1 为 58.3%，而 Strict pass@1 暴跌至 30.5%，表明通用大模型经常凭借“蒙猜”结论得到看似正确的假设检验方向，实质计算出的 p 值与规范统计推断相去甚远。
开源小模型越级超越前沿闭源：Fisher-R1-14B 在最具挑战性的 P-Hard Strict 指标上达到 33.0%（pass@1）和 45.5%（pass@3），全面超越 GPT-5.4（30.5% / 39.2%）以及 DeepSeek V4 Pro（26.3% / 42.5%），单次推断成功率相对 DeepSeek 相对提升 21% 至 26%。
语义距离分析证实模型具备零样本泛化能力：通过 text-embedding-3-small 向量表征对比分析证实，真实评估集 P-Bench 与合成训练集之间保持了显著的语义距离分布差，表明 Fisher-R1 掌握的是普适的统计假设核查与建模推理能力，而非记忆检索训练任务模板。

亮点与洞察¶

将连续 p 值映射到双侧 z 空间设计奖励：利用统计学元分析中将尾部概率还原为标准正态偏差的机制，攻克了统计推断由于极小 p 值指数级压缩导致强化学习梯度失效的难题，赋予智能体量化统计证据强度的灵敏反馈。
面向统计推断的假设检验闭环评测基准：打破了过往代码智能体仅评估语法执行和单步数值匹配的缺陷，首次将数据质量陷阱（异常值、异方差、聚类截断）与高级计量/生物统计模型作为硬性考核标准。
高质量合成推断任务解决科研 RL 样本荒：以参数化仿真构建笛卡尔积生成任务，以自身生成的规范检验值作为地面真值，为科研智能体自监督演进开辟了高效低成本的数据飞轮。

局限与展望¶

单假设检验评估范围局限：当前 P-Bench 与训练环境主要侧重于单次科学假设检验的端到端决策，尚未覆盖多重假设检验校正（如 FDR、Bonferroni 校正）与复杂的复合统计流水线。
环境栈单一性：评测与训练目前高度绑定 R 语言环境，尽管 R 在专业统计推断领域生态最为完备，但限制了智能体在 Python 现代数据科学生态（如 statsmodels、scipy）中的跨语言自适应能力。
因果与统计证据的自我反思深度不足：智能体当前仍依赖显式执行输出做出离散结论，对于“数据本身根本不满足任何现有检验的前提假设”这一极端情况，主动拒绝检验或量化认知不确定性的能力仍待进一步增强。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对 LLM Agent 假设检验可靠性的评测基准与统计奖励强化学习体系
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 425 个跨领域真实任务与 8,642 个合成任务，对比完备，消融严谨
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，统计学概念表达精准，问题动机论述极具说服力
价值: ⭐⭐⭐⭐⭐ 对推动 AI 自动化科研（AI for Science）向严谨、防伪、可复现方向发展具有里程碑意义