Autonomous Scientific Discovery via Iterative Meta-Reflection¶

会议: NeurIPS 2026
arXiv: 2607.01131
OpenReview: https://openreview.net/forum?id=rmLp5XBtAk
代码: 待确认
领域: LLM Agent
关键词: 自动科学发现, 大语言模型智能体, 元反思, 假设检验, 多模态因果发现

一句话总结¶

DiscoPER 提出了一个无需预设研究问题的开放式科学发现智能体框架，通过动态编写并执行统计检验代码验证假设，并引入对历史发现库进行二阶“元反思”机制引导探索盲区，在真实多模态生态学基准上高准确率重现已知科学规律。

研究背景与动机¶

科学发现本质上是一个不断积累、综合反思并逐步拓宽认知边界的递进过程。人类科学家在探索自然规律时，绝不会孤立地检验单个假设，而是会在掌握一系列初步证据后进行元认知审视：总结已验证规律的共性、识别尚未涉足的变量盲区、排查普遍存在的潜在混淆变量，从而主动修正研究方向并提出更高阶的复合假设。然而，现有基于大语言模型（LLM）的科研智能体系统大多将假设生成视为相互独立的单步任务——每次面对数据集或提示词生成孤立猜想后，循环便重置清空，缺乏在历史知识积累之上进行高阶全局反思的能力。

现存自动化探索方法还存在严重的表达能力限制与外部依赖壁垒。传统的因果结构学习算法受限于预先离散化的图变量空间，仅能进行两两变量间的边搜索，根本无法刻画复杂交互效应、中介链条或多模态规律；而以 The AI Scientist 或 AI Co-Scientist 为代表的端到端系统，虽然具备丰富的语义泛化能力，却高度依赖人类预设的研究目标、种子假设或领域文献引导，评测机制多依赖模拟同行评审而非扎根于真实数据的严格统计检验。当前科学界迫切需要一种智能体：它既能从完全没有预设问题的原始多模态观测数据出发，又能将任意科学猜想转化为可执行的统计检验代码并在留出集上完成严格证伪，更能通过元反思自主决定下一步科研攻关方向。

针对上述核心矛盾，本文摒弃了“单次离散猜测”与“依赖外部预设目标”的范式，提出了自主开放式科学发现系统 DiscoPER。核心 idea：将开放式科学发现统一建模为由代码执行与留出检验驱动的“提议-评估-反思”闭环，将已积累的验证与驳回主张视为实证数据，通过周期性二阶元反思识别知识盲区、混淆变量与高阶复合结构，实现全自动的数据驱动型科学假设演进。

方法详解¶

整体框架¶

DiscoPER 面向输入的多模态观测数据集 $\mathcal{X}$（包含结构化表格特征与图像等多模态信息），在无需先验任务指引（即先验集合 $\mathcal{P}=\emptyset$）的条件下自主运行。系统整体遵循“提议-评估-反思”（Propose-Evaluate-Reflect）的三阶段迭代循环：首先由提议智能体基于数据摘要、历史主张与当前元指导意见生成候选假设及对应的可执行验证代码；随后评估模块在训练集调优并在留出验证集上执行统计检验，实施严格的防 $p$-hacking 过滤；最后，元反思模块周期性对当前沉淀的所有正反主张进行元分析，生成下一阶段的高阶探索策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态科学数据<br/>表格元数据 + 原始图像"] --> B["多模态假设提议<br/>结合元指导生成假设与代码"]
    B --> C["双重留出评估与代码执行<br/>统计显著性 + 效应量 + 防p-hacking"]
    C -->|通过检验| D["持久化主张库<br/>已验证主张 + 被驳回主张"]
    C -.->|未通过检验| D
    D --> E["二阶元反思机制<br/>盲区检测 + 混淆排查 + 复合假设"]
    E -->|结构化探索指导| B
    D --> F["已验证科学发现集合"]

关键设计¶

1. 多模态假设提议：无先验约束的可执行代码生成 传统因果发现被束缚在两两节点连边的离散空间 $\mathcal{H}_{\text{edge}}$ 中，而以问答或文献为导向的智能体则局限于受限代码空间 $\mathcal{H}_{\text{code}}^{\text{guided}}$。DiscoPER 构建了完全开放的假设程序空间 $\mathcal{H}_{\text{code}}^{\text{open}}$。提议智能体接收数据集 $\mathcal{X}$ 的模式、统计概览与图像样本，在初始无需任何外部研究问题（$\mathcal{P}=\emptyset$）的情况下，自主提出自然语言假设，并直接编写完整的 Python 验证脚本。更为关键的是，智能体拥有多模态工具调用权限：当结构化表格缺少关键特征时，系统可通过代码调用视觉语言模型（VLM）从物种观察图像中自动提取环境栖息地开阔度、植被覆盖类型、活动性等深层表征，将视觉特征转化为可统计检验的数值或分类指标，突破了纯表格挖掘的维度限制。

2. 双重留出评估与代码执行：严防数据窥探与 $p$-hacking 的实证接地 LLM 在科研中极易依据幻觉或常识编造看似合理的虚假结论。为确保每个被采纳发现的实证有效性，DiscoPER 设计了严谨的验证沙箱。系统执行假设代码时内置了 7 种统计分析原语（包括连续变量秩相关与线性检验、非参数分组均值差异与置换检验、随机森林特征重要度交叉验证预测检验、K-Means 聚类与列联表富集分析、分层混淆检验以及基于 VLM 的单图属性与成对图像视觉对比检验）。所有假设代码允许在训练集（Train Split）上调试优化，但最终裁决必须且只能在严格隔离的留出验证集（Validation Split）上执行一次。假设必须同时满足效应量阈值 $|\delta| \ge 0.2$、两分段显著性 $p \le 0.05$，并强制通过过拟合校验公式： $$|\delta_{\text{val}}| \ge 0.6 \cdot |\delta_{\text{train}}|$$ 未达到该标准或出现训练-验证性能脱节的假设直接归入驳回库 $\hat{\mathcal{C}}_t$。这一机制阻断了模型通过不断尝试细分变量来强行拼凑显著性（$p$-hacking）的漏洞。

3. 二阶元反思机制：从历史主张库中提炼高阶探索指引 在没有外部目标指引的长时间运行下，LLM 极易陷入对单一强关联变量做细微排列组合的局部最优（例如反复生成 92% 的简单成对大小比较）。DiscoPER 引入周期性反思模块（默认每 5 轮触发一次），将当前积累的已验证主张集 $\mathcal{C}_t$ 和被驳回主张集 $\hat{\mathcal{C}}_t$ 本身视作“元观测数据”，自主挖掘三类关键拓扑信息： - 盲区检测（Gap Detection）：排查在数据集中覆盖率为零或长期尝试但成功率为零的无效特征（例如定位精度指标持续无法带来显著效应，指示智能体转向界级别的高层级地理分布比较）； - 混淆变量识别（Confound Detection）：分析跨多个成立主张中反复充当调节因子的潜在第三变量（例如发现多个物候与季节现象在南北半球表现完全相反，指示后续所有季节性假设必须先按半球分层）； - 复合假设生成（Compound Hypothesis Generation）：发现两个各自独立成立但共享实体的单变量发现，促成更高阶的交叉交互检验（例如将植物在经纬度的分布与真菌在经纬度的分布结合，提出真菌与开花植物的空间生态位竞争与分离猜想）。反思结果以结构化文本指导 $\mathcal{G}_t$ 注入提议模块，在不透露任何真实标签的前提下极大拓宽了假设探索的多样性与深度。

一个完整示例¶

在生态学数据集的自主探索过程中，系统在第 5 轮发现涉及观测坐标精度（Positional Accuracy）的所有假设在训练集或验证集上均未能通过 $p \le 0.05$ 的检验，元反思模块因此发出盲区警示，建议放弃对坐标精度的微观比对，将精力聚焦于物种门类与地理纬度的宏观联系。

在第 34 轮，主张库中已分别收录两条独立验证的主张：“真菌（Fungi）在高纬度地区的观测频次显著偏高”以及“开花植物（Plantae）在温暖低纬度地区密集分布”。元反思模块在扫描主张集合后发现两者具有潜在互补性，于是下发复合探索建议：“请考察真菌与植物之间是否存在随经纬度交叉分布的生态位隔离效应”。提议智能体响应这一指引，编写了多变量分层统计检验代码；同时调用 VLM 提取样本图像中的环境线索，发现真菌多附着于“郁闭森林下层的潮湿苔藓”，而开花植物多位于“开阔透光的草本生境”。结合视觉提取标签与地理坐标，系统成功在留出集上验证了一项高阶双变量交互发现（$p < 0.001$）。该过程展示了元反思如何从单变量发现自主跃迁至复合生态学规律。

实验关键数据¶

主实验¶

论文构建了基于自然界公民科学观测数据 iNaturalist 的全新基准数据集 iNatDisco，分为小规模精细集（iNatDisco-800，含 8 种物种 800 条样本及 9 项同行评议生态学真值规律）与大规模全量集（iNatDisco-50K，含 9,776 种物种 50,000 条样本及 12 项生态学真值规律）。评测指标包括：召回率（Recall）（由基于 Claude Sonnet 4.5 的专家评审模型对已验证主张与文献真值规律进行语义对齐评判）与支持率（Support Rate）（提出假设中成功通过留出集双重统计检验的比例）。

数据集	方法类别	方法	假设空间	元反思	先验知识	规律召回率 (Recall)	假设支持率 (Support Rate)
iNatDisco-800	经典因果	LLM + PC [39]	$\mathcal{H}_{\text{edge}}$	✕	∅	0/9	—
	经典因果	LLM + NOTEARS [47]	$\mathcal{H}_{\text{edge}}$	✕	∅	0/9	—
	图启发式	GPT-4 BFS [23]	$\mathcal{H}_{\text{edge}}$	✕	∅	1/9	—
	引导式智能体	HeurekaBench 范式 [36]	$\mathcal{H}_{\text{code}}^{\text{guided}}$	✕	完整先验 (Full)	3/9	62.2% ± 6%
	引导式智能体	ExperiGen 范式 [18]	$\mathcal{H}_{\text{code}}^{\text{guided}}$	✓ (短时记忆)	部分先验 (Partial)	3/9	56.6% ± 5%
	消融基线	DiscoPER (无反思)	$\mathcal{H}_{\text{code}}^{\text{open}}$	✕	∅	7/9	70.0% ± 2%
	本文方法	DiscoPER (完整版)	$\mathcal{H}_{\text{code}}^{\text{open}}$	✓	∅	8/9	72.7% ± 3%
iNatDisco-50K	经典因果	LLM + PC [39]	$\mathcal{H}_{\text{edge}}$	✕	∅	0/12	—
	经典因果	LLM + NOTEARS [47]	$\mathcal{H}_{\text{edge}}$	✕	∅	1/12	—
	图启发式	GPT-4 BFS [23]	$\mathcal{H}_{\text{edge}}$	✕	∅	1/12	—
	引导式智能体	HeurekaBench 范式 [36]	$\mathcal{H}_{\text{code}}^{\text{guided}}$	✕	完整先验 (Full)	2/12	64.7% ± 4%
	引导式智能体	ExperiGen 范式 [18]	$\mathcal{H}_{\text{code}}^{\text{guided}}$	✓ (短时记忆)	部分先验 (Partial)	3/12	67.8% ± 5%
	消融基线	DiscoPER (无反思)	$\mathcal{H}_{\text{code}}^{\text{open}}$	✕	∅	6/12	66.6% ± 3%
	本文方法	DiscoPER (完整版)	$\mathcal{H}_{\text{code}}^{\text{open}}$	✓	∅	8/12	74.2% ± 3%

在经典因果发现基准 SACHS 与 ASIA 上的 DAG 边重构 F1 评测中，DiscoPER 分别取得了 0.83 ± 0.03 与 0.86 ± 0.05 的出色表现，远超传统结构学习方法（PC 为 0.48 / 0.77，NOTEARS 为 0.36 / 0.68）。

消融实验¶

为系统解构元反思的作用机制、底座大模型能力依赖以及智能体对预设引导的响应，论文在 iNatDisco-800 与反事实（Counterfactual）数据集上开展了详细的消融分析。

消融维度 / 实验配置	底座模型 / 条件	假设支持率 (Support Rate)	真值召回率 (Recall)	说明与核心观察
核心机制消融	完整 DiscoPER	72.7%	8/9	默认采用 Claude Sonnet 4.5 底座
	去除元反思 (w/o Reflect)	70.0%	7/9	假设空间高度退化，92% 为单一大小比较
底座 LLM 差异	Claude Opus 4.6	76.5%	4/9	风格保守，提议验证率高但探索范围窄
	GPT-5.4	70.1%	3/9	规律覆盖度偏低，高阶关系探索受限
	DeepSeek V4 Pro (纯文本†)	65.2%	2/9	无视觉模态介入，仅能捕捉基础表格相关性
可控先验介入	默认无先验 ($\mathcal{P}=\emptyset$)	72.7%	8/9	主题依从度 N/A；完全自主开放探索
	注入先验常识事实 (Prior Know.)	45.5%	7/9	主题依从度提升至 54%，探索范围略微收缩
	注入定向研究主题 (Guided Focus)	36.7%	6/9	主题依从度升至 68%，但过度收敛使召回率下降

关键发现¶

元反思是打破局部探索循环的核心杠杆：在去除 Reflect 后，系统提议的假设有 92% 均为平庸的成对双变量比较（如“X 显著大于 Y”），完全无法触及复合交互或非线性物候模式；引入反思后，成对比较占比下降至 69%，交互检验与季节性模式假设从 0% 显著提升至 14%，使得高阶生态学规律得以被成功捕获。
反事实校验（Counterfactual Evaluation）证明真正扎根数据而非记忆复读：在人为将 5 种生态学规律彻底逆转的 iNatDisco-800-CF 数据集上（例如将真菌高发期篡改为春季、将鸟类纬度分布打乱去除迁徙趋势），基于 LLM 纯先验生成的常识假设在留出集验证中被 100% 驳回，最终入库的经过验证发现全部精确反映了反事实修改后的真实数据分布，彻底排除了大模型因预训练记忆而刷高分数的可能。
计算扩展特性：随着样本量从 800 扩增至 50,000，微弱的跨门类高阶关联变得更加显著可检，支持率上升至 74.2%；而随着探索迭代轮数增加，初期易于发现的显见规律被逐渐耗尽，模型开始向高难度推测性假说迈进，导致支持率自然微降，但真值规律的累积召回率单调攀升。

亮点与洞察¶

将历史发现作为实证数据做元级别反思：以往 Agent 多通过记忆模块记录轨迹对话，DiscoPER 则创新地把已接收主张和被驳回主张当成新的元数据，利用 LLM 进行盲区、混淆与复合模式提取。这一二阶推理（Second-order Reasoning）设计巧妙解决了长期自主运行中搜索退化与重复探索的普遍痛点。
统计留出严防科研智能体的 $p$-hacking 陷阱：赋予智能体编写代码的权力往往伴随着反复调参拟合的风险。系统严格规定代码可在训练集试错，但必须通过不可复用的留出测试集单次裁决，并强加效应量与过拟合约束，为 AI Scientist 领域的实证可靠性树立了标杆。
代码驱动的多模态工具闭环拓展研究边界：通过赋予代码调用 VLM 分析图像表征的能力，智能体成功跨越了从非结构化视觉线索（如植被郁闭度、生物形态适应性）到形式化统计假设的鸿沟，让自主科学探索触达传统表格挖掘无法触碰的物理世界规律。

局限与展望¶

数据源代表性与观测偏倚：作者指出，系统无法介入实际数据的采样与采集实验过程。公民科学数据本身存在强烈的地理分布不均（如城市周边与高收入地区观测偏多）与物种认知偏差，若缺乏更严苛的逆概率加权等流行病学纠偏手段，智能体挖掘出的规律容易带有观测伪影。
视觉特征验证的统计效力瓶颈：在合成图像基准实验中，尽管 VLM 能够敏锐提议诸如“特定纹理排斥”等视觉假设，但在将离散图像打标与连续变量对接时，级联误差导致留出检验的统计效力不足，限制了跨模态复合规律的最终确认率。
未来方向：未来的演进可进一步打通从实证发现到真实物理/湿实验（Wet-lab）自动化干预流程的闭环，或者引入因果推断中的工具变量（IV）与双重稳健估计，使开放式科研智能体从单纯的“相关性与调节效应发现”迈向严格的“因果机制确证”。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将二阶元反思引入无预设目标的开放式多模态科学发现循环中，形式化定义了假设空间层级并消除了传统引导依赖。
实验充分度: ⭐⭐⭐⭐⭐ 不仅构建了涵盖 5 万样本与严谨同行评议真值的全新生态学基准，还设计了极其硬核的反事实修改实验（CF），充分确证了其扎根数据的实证能力。
写作质量: ⭐⭐⭐⭐⭐ 问题建模清晰，形式化符号规范，对各 baseline 的消融与公平控制叙述翔实，图表逻辑严密。
价值: ⭐⭐⭐⭐⭐ 为解决自主科研智能体易陷入局部思维、幻觉编造与 $p$-hacking 提供了兼具学术洞见与工程严谨性的示范方案。